Python 處理數(shù)據(jù)的實例詳解

最近用python（3.2的版本）寫了根據(jù)特定規(guī)則，處理數(shù)據(jù)的一個小程序，用到了一些python常用的基礎(chǔ)知識，在此總結(jié)一下：

1，python讀文件
2，python寫文件
3，python的流程控制
4，python的for循環(huán)
5，python的集合，或字符串里判斷是否存在某個元素
6，python的邏輯或，邏輯與
7，python的正則過濾
8，python的字符串忽略空格，和以某個字符串開頭和按某個字符拆分成list

python的打開文件的模式：

關(guān)于open 模式：

w     以寫方式打開，
a     以追加模式打開 (從 EOF 開始, 必要時創(chuàng)建新文件)
r+     以讀寫模式打開
w+     以讀寫模式打開 (參見 w )
a+     以讀寫模式打開 (參見 a )
rb     以二進制讀模式打開
wb     以二進制寫模式打開 (參見 w )
ab     以二進制追加模式打開 (參見 a )
rb+    以二進制讀寫模式打開 (參見 r+ )
wb+    以二進制讀寫模式打開 (參見 w+ )
ab+    以二進制讀寫模式打開 (參見 a+ )

處理代碼如下：

def showtxt(path,outpathname,detailpath):    greenpath=r"C://Users//qindongliang//Desktop//tnstxt//green.txt";   redpath=r"C://Users//qindongliang//Desktop//tnstxt//red.txt";   redset=listtxt(redpath)   greenset=listtxt(greenpath)   print("紅色詞數(shù)量: ",len(redset))   print("綠色詞數(shù)量: ",len(greenset))   #符合1條件的內(nèi)容寫入   f1=open(r"C:/Users/qindongliang/Desktop/tnstxt/result//"+detailpath+"http://1.txt",encoding="UTF-8",mode="a+")   #符合2條件的內(nèi)容寫入   f2=open(r"C:/Users/qindongliang/Desktop/tnstxt/result//"+detailpath+"http://2.txt",encoding="UTF-8",mode="a+")   #符合3條件的內(nèi)容寫入   f3=open(r"C:/Users/qindongliang/Desktop/tnstxt/result//"+detailpath+"http://3.txt",encoding="UTF-8",mode="a+")   #符合4條件的內(nèi)容寫入   f4=open(r"C:/Users/qindongliang/Desktop/tnstxt/result//"+detailpath+"http://4.txt",encoding="UTF-8",mode="a+")      delcount=1;   f=open(path,encoding="UTF-8",mode="r+")   fnew=open(outpathname,encoding="UTF-8",mode="a+")   flog=open(outpathname+".log",encoding="UTF-8",mode="a+")   #count=1;   for line in f:     list=line.strip().split("/t")     line=line.strip()     catalogid=list[0]     score=list[1]     keyword=clear(list[4].strip())     if keyword in redset:       if catalogid.startswith("018022") or catalogid.startswith("018035") or catalogid.startswith("014023003") :         f1.write(line+"/n")#符合1條件寫入         fnew.write(line+"/n")#符合1條件寫入       else:         flog.write(line+"  不符合條件1 "+"/n")         delcount=delcount+1      if keyword in greenset:       if not (catalogid.startswith("018022") or catalogid.startswith("018035") or catalogid.startswith("014023003")) :         fnew.write(line+"/n")       else:         f2.write(line+"/n")         flog.write(line+"  不符合條件2"+"/n")         delcount=delcount+1       flist=formatStrList(keyword)     if "sexy" in flist or "sex" in flist:       if catalogid.startswith("018022") or catalogid.startswith("018035") or catalogid.startswith("014023003") :         f3.write(line+"/n")         fnew.write(line+"/n")       else:         flog.write(line+" 不符合條件3"+"/n")         delcount=delcount+1      #if (keyword.find("underwear")!=-1) & keyword.find("sexy")==-1 & keyword.find("sex")==-1:     if "underwear" in flist and "sexy" not in flist and "sex" not in flist:       if catalogid.startswith("014032") :         f4.write(line+"/n")         fnew.write(line+"/n")       else:         flog.write(line+" 不符合條件4"+"/n")         delcount=delcount+1      #print(list[0]," ",list[1]," ",list[4])     #print()      flog.write("刪除總數(shù)目： "+str(delcount))   f.close()   f1.close()   f2.close()   f3.close()   f4.close()   fnew.close()   flog.close()  import re def clear(str):   str=re.sub("[/"/"/'/'+]","",str)   return str   def formatStrList(keyword):   list=keyword.split(" ")   for item in list:     item.strip();   return list     def listtxt(path):    f=open(path,encoding="UTF-8")    s=set()    for line in f:      s.add(line.strip())    f.close()    return s  path1=r"C://Users//qindongliang//Desktop//tnstxt//highfrequency.txt" pathout1=r"C://Users//qindongliang//Desktop//tnstxt//detail//a_highfrequency.txt" detail1path="highfrequency" path2=r"C://Users//qindongliang//Desktop//tnstxt//highfrequency_d1.txt" pathout2=r"C://Users//qindongliang//Desktop//tnstxt//detail//b_highfrequency_d1.txt" detail2path="highfrequency_d1"  #showtxt(path1,pathout1,detail1path)  showtxt(path2,pathout2,detail2path)