国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python pandas 對時間序列文件處理的實例

2020-02-15 21:59:06
字體:
來源:轉載
供稿:網友

如下所示:

import pandas as pdfrom numpy import *import matplotlib.pylab as pltimport copydef read(filename): dat=pd.read_csv(filename,iterator=True) loop = True chunkSize = 1000000 R=[] while loop:  try:   data = dat.get_chunk(chunkSize)   data=data.loc[:,'B':'C'] # 切片   data=data[data.B==855]  #條件選擇   data['C']=pd.to_datetime(data['C']) # 轉換成時間格式   data=data.set_index(['C'])    # 設置索引   data.loc[:,'D']=array([1]*len(data)) #增加一列   data=data.resample('D').sum() #按天求和   data=data.loc[:,'D'] #截取   data.fillna(0) #填充缺失值   R.append(data)  except StopIteration:   loop = False   print ("Iteration is stopped.") R.to_csv('855_pay.csv') # 保存def read2(filename): reader=pd.read_csv(filename,iterator=True) loop = True chunkSize = 100000 chunks = [] while loop:  try:   chunk = reader.get_chunk(chunkSize)   chunks.append(chunk)  except StopIteration:   loop = False   print ("Iteration is stopped.") df = pd.concat(chunks, ignore_index=True) return dfdef read3save(filename): dat=pd.read_csv(filename) #data = dat.get_chunk(chunkSize) data=dat.loc[:,'B':'C'] # 切片 data=data[data.B==855]#條件選擇 print(shape(data)) data['C']=pd.to_datetime(data['C']) # 轉換成時間格式 data=data.set_index(['C'])# 設置索引 if len(data)==0:  return data.loc[:,'D']=array([1]*len(data)) #增加一列 data=data.resample('D').sum() #按天求和 data=data.loc[:,'D'] #截取 data.fillna(0) #填充缺失值 data.to_csv('855_pay.csv',mode='a') # 保存def loadDataSet(fileName, delim='/t'): fr = open(fileName) stringArr = [line.strip().split(delim) for line in fr.readlines()] datArr = [list(map(float,line)) for line in stringArr] return mat(datArr)def getShopData(): fr = open('shopInfo.txt') shopID = [line.strip().split('/n') for line in fr.readlines()] # datArr = [list(map(float,line))for line in stringArr] for i in range(1,9):  name="user_pay.001.00%d"%i  dat=pd.read_csv(name)  #data = dat.get_chunk(chunkSize)  data=dat.loc[:,'B':'C'] # 切片  for factor in shopID:   data=data[data.B==int(str(factor[0]))]#條件選擇   print(shape(data))   if len(data)==0: continue   data['C']=pd.to_datetime(data['C']) # 轉換成時間格式   data=data.set_index(['C'])# 設置索引   data.loc[:,'D']=array([1]*len(data)) #增加一列   data=data.resample('D').sum() #按天求和   data=data.loc[:,'D'] #截取   data.fillna(0) #填充缺失值   s=str(factor[0])   savename='D:/python/data/%s_pay.csv'%s   data.to_csv(savename,mode='a') # 保存   del dat print("over")def tset(filename): dat=pd.read_csv(filename) #data = dat.get_chunk(chunkSize) data=dat.loc[:,'B':'C'] # 切片 data=data[data.B==855]#條件選擇 print(shape(data)) data['C']=pd.to_datetime(data['C']) # 轉換成時間格式 data=data.set_index(['C'])# 設置索引 if len(data)==0:  return data.loc[:,'D']=array([1]*len(data)) #增加一列 data=data.resample('D').sum() #按天求和 data=data.loc[:,'D'] #截取 data.fillna(0) #填充缺失值 #data.to_csv('855_pay.csv',mode='a') # 保存 s='my' savename='D:/python/data/%s_pay.csv'%s data.to_csv(savename,mode='a') # 保存  def getShopData2(filename):  import csv # fr = open('shopInfo.txt')  # shopID = [line.strip().split('/n') for line in fr.readlines()] # datArr = [list(map(float,line))for line in stringArr] #for i in range(1,9): #name="user_pay.001.00%d"%i  dat=pd.read_csv(filename)  #data = dat.get_chunk(chunkSize)  data=dat.loc[:,'B':'C'] # 切片  data['C']=pd.to_datetime(data['C']) # 轉換成時間格式  data=data.set_index(['C'])# 設置索引  data.loc[:,'D']=array([1]*len(data)) #增加一列  for i in range(1,2001):   d=copy.copy(data)   d=d[data.B==i]#條件選擇   #print(shape(d))   print(i)   if len(d)==0: continue   d=d.resample('D').sum() #按天求和   d=d.loc[:,'D'] #截取   d.fillna(0) #填充缺失值   s=str(i)   #print(s)   savename='D:/python/data2/%s_pay.csv'%s   c=open(savename,'a')   writer=csv.writer(c)   writer.writerow(['C','D'])   c.close()   d.to_csv(savename,mode='a') # 保存   # del dat   print("over")def formatData():  #fr = open('shopInfo.txt')  #shopID = [line.strip().split('/n') for line in fr.readlines()] # datArr = [list(map(float,line))for line in stringArr]  #data = dat.get_chunk(chunkSize)  for i in range(1,2001):   s=str(i)   print(s)   name='D:/python/data2/%s_pay.csv'%s   dat=pd.read_csv(name)   data['C']=pd.to_datetime(data['C']) # 轉換成時間格式   data=data.set_index(['C'])# 設置索引   data=data.resample('D').sum() #按天求和   data.fillna(0) #填充缺失值   savename='D:/python/data3/%s_pay.csv'%s   data.to_csv(savename,mode='w') # 保存   del dat   print("over")            
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 文成县| 开原市| 旺苍县| 钟山县| 新巴尔虎左旗| 镇巴县| 洛浦县| 庆云县| 红安县| 湖南省| 红桥区| 宁强县| 延长县| 昌乐县| 大田县| 东乡族自治县| 昆山市| 工布江达县| 黄梅县| 安泽县| 肇东市| 永德县| 屯昌县| 藁城市| 蒙阴县| 张北县| 清涧县| 昌都县| 六枝特区| 库尔勒市| 玉屏| 垦利县| 察哈| 浠水县| 东乡族自治县| 尚志市| 武邑县| 社旗县| 垣曲县| 乐都县| 密云县|