国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python分塊讀取大數據,避免內存不足的方法

2020-02-16 00:01:38
字體:
來源:轉載
供稿:網友

如下所示:

def read_data(file_name): ''' file_name:文件地址 ''' inputfile = open(file_name, 'rb') #可打開含有中文的地址 data = pd.read_csv(inputfile, iterator=True) loop = True chunkSize = 1000 #一千行一塊 chunks = [] while loop:  try:   chunk = dcs.get_chunk(chunkSize)   chunks.append(chunk)  except StopIteration:   loop = False   print("Iteration is stopped.") data = pd.concat(chunks, ignore_index=True) #print(train.head()) return data

以上這篇python分塊讀取大數據,避免內存不足的方法就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持武林站長站。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 游戏| 合山市| 津南区| 邛崃市| 团风县| 萍乡市| 垫江县| 盱眙县| 阜城县| 绩溪县| 安福县| 哈巴河县| 砚山县| 石景山区| 天等县| 哈尔滨市| 佛教| 图片| 新建县| 沙雅县| 泸定县| 开封市| 富平县| 同德县| 措美县| 犍为县| 洪雅县| 玉山县| 承德县| 家居| 丽江市| 凯里市| 鹤岗市| 仲巴县| 云梦县| 许昌市| 蓝山县| 浦北县| 武冈市| 翁牛特旗| 文水县|