我在使用python讀取幾十萬行的文件中的數(shù)據(jù)，并構(gòu)造字典，列表等數(shù)據(jù)結(jié)構(gòu)時(shí)，再訪問字典，列表時(shí)，一般都會出現(xiàn)內(nèi)存不夠的問題，然后只能循環(huán)讀取幾百行或者一定數(shù)量的行數(shù)來循環(huán)操作。

keyword_list=[line.strip() for line in open("keywords.txt",'r')]#f1=open("part_wiki_vec.txt",'r')f1=open("wiki_vectors.txt")f2=open("result.txt",'w')i=0content=f1.readlines()while i<1150: for line in content[300*i:300*(i+1)]:  line=line.strip().split(' ')  if line[0] in keyword_list:   wordvec=' '.join(line)   print wordvec   f2.write(wordvec)  #print line i+=1

我是這樣讀取的

應(yīng)該還有很多好的方法，比如多線程等等。

做此記錄只為了學(xué)習(xí)

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對武林站長站的支持。如果你想了解更多相關(guān)內(nèi)容請查看下面相關(guān)鏈接