今天項(xiàng)目有個(gè)需求，就是把txt文件轉(zhuǎn)為csv，txt之間是空格隔開，轉(zhuǎn)為csv時(shí)需要把空格轉(zhuǎn)換為逗號(hào)，網(wǎng)上找的一個(gè)版本，只需要三行代碼，特別犀利：

import numpy as npimport pandas as pddata_txt = np.loadtxt('datas_train.txt')data_txtDF = pd.DataFrame(data_txt)data_txtDF.to_csv('datas_train.csv',index=False)

上述的datas_train.txt只有不到100MB，560W行數(shù)據(jù)，三分鐘之內(nèi)轉(zhuǎn)換完畢。

然后我換了一個(gè)5600W行共1.2G的txt文本，用上述代碼轉(zhuǎn)換，電腦直接卡死了。

原因在于上述代碼會(huì)把全部的txt加載進(jìn)內(nèi)存，然后再轉(zhuǎn)換，這就會(huì)造成電腦內(nèi)存耗盡。

然后就想到了切割數(shù)據(jù)的辦法，具體實(shí)現(xiàn)如下：

import numpy as npimport pandas as pdtrain_data = pd.read_table('big_data.txt',iterator=True,header=None)while True: try:  chunk = train_data.get_chunk(5600000)  chunk.columns = ['user_id','spu_id','buy_or_not','date']  chunk.to_csv('big_data111.csv', mode='a',header=False,index = None) except Exception as e:  break

這里我把數(shù)據(jù)分成了小塊，每塊數(shù)據(jù)有560W行，分11次加載就能全部加載完了，速度也很快，總共花了5分鐘左右。

注意，get_chunk()里面的參數(shù)表示文件的行數(shù)，而非字節(jié)數(shù)。

以上這篇python 快速把超大txt文件轉(zhuǎn)存為csv的實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持武林站長(zhǎng)站。