1、前言

因為負責基礎服務,經常需要處理一些數據,但是大多時候采用awk以及java程序即可,但是這次突然有百萬級數據需要處理,通過awk無法進行匹配,然后我又采用java來處理,文件一分為8同時開啟8個線程并發處理,但是依然處理很慢,處理時長起碼在1天+所以無法忍受這樣的處理速度就采用python來處理,結果速度有了質的提升,大約處理時間為1個小時多一點,這個時間可以接受,后續可能繼續采用大數據思想來處理,相關的會在后續繼續更新。

2、安裝python 

第一步首先下載python軟件,在官網可以根據自己情況合理下載，大家也可以通過武林站長站進行下載其余就是下一步搞定,然后在開始里面找到python的exe,點擊開然后輸入1+1就可以看出是否安裝成功了.如下圖

3、IEDA編輯器如何使用python

首先我們在idea中打開設置然后點擊plugins,在里面有個輸入框中輸入python,根據提示找到如下的這個(idea版本不同可能影響python版本)

然后開始創建idea工程

file->New->Project->python然后出現如下圖情況(其他的下一步然后就會創建工程了)

4、開發前知識準備

文件的讀取,python讀取文件非常的簡單,我現在直接貼代碼提供給大家

def readData(fileName): result = "" count=0 with open(fileName, 'r') as f: for line in f.readlines():  result += line  count += 1  print count return result"""寫入文件"""def writeData(fileName, data): with open(fileName, 'a+')as f: f.write(data)

其中def是函數的定義,如果我們寫定義一個函數直接前面加上def,返回值可以獲取后直接用return即可

python我們直接采用with open('文件路徑',模式) as f的方式來打開文件

模式：