讀寫文件時應注意的問題包括：

1.字符編碼

2.操作完成即時關閉文件描述符

3.代碼兼容性

幾種方法：

#!/bin/python3original_list1=[" "]original_list2=[" "]original_list3=[" "]original_list4=[" "]newlist1=[" "]newlist2=[" "]newlist3=[" "]newlist4=[" "]newtxt1=""newtxt2=""newtxt3=""newtxt4=""#first way to readlinef = open("duplicate_txt.txt","r+")    # 返回一個文件對象  line = f.readline()           # 調用文件的 readline()方法 while line:    original_list1.append(line)            line = f.readline()  f.close() #use "set()" remove duplicate str in the list# in this way,list will sort randomlynewlist1 = list(set(original_list1))#newlist1 = {}.fromkeys(original_list1).keys() #faster #rebuild a new txt newtxt1="".join(newlist1)f1 = open("noduplicate1.txt","w")f1.write(newtxt1)f1.close()####################################################################second way to readlinefor line in open("duplicate_txt.txt","r+"):    original_list2.append(line)newlist2 = list(set(original_list2))newlist2.sort(key=original_list2.index)         #sort#newlist2 = sorted(set(original_list2),key=l1.index)  #other waynewtxt2="".join(newlist2)f2 = open("noduplicate2.txt","w")f2.write(newtxt2)f2.close()####################################################################third way to readlinef3 = open("duplicate_txt.txt","r")  original_list3 = f3.readlines()       #讀取全部內容 ，并以列表方式返回 for i in original_list3:          #遍歷去重  if not i in newlist3:      newlist3.append(i)newtxt3="".join(newlist3)f4 = open("noduplicate3.txt","w")f4.write(newtxt3)f4.close()####################################################################fourth wayf5 = open('duplicate_txt.txt',"r+") try:   original_list4 = f5.readlines()   [newlist4.append(i) for i in original_list4 if not i in newlist4]  newtxt4="".join(newlist4)  f6 = open("noduplicate4.txt","w")  f6.write(newtxt4)  f6.close()finally:   f5.close()

結果：

去重前：

去重后（無序）：

去重后（有序）：

總結

這段下程序涉及文件讀寫操作以及鏈表List的操作，文章開頭提到的幾個問題，由于并沒有使用中文，所以不關心編碼，但這里還是要提一提:

f = open("test.txt"，"w")f.write(u"你好")

上面這段代碼如果在python2中運行會報錯

報錯是因為程序沒辦法直接保存unicode字符串，要經過編碼轉換成str類型的二進制字節序列才可以保存。

write（）方法會自動編碼轉換，默認使用ascii編碼格式，而ascii不能處理中文，所以出現UnicodeEncodeError。