Python處理文本的功能非常強(qiáng)大，但是如果是初學(xué)者，沒有搞清楚python中的編碼機(jī)制，也經(jīng)常會遇到亂碼或者decode error。本文的目的是簡明扼要地說明python的編碼機(jī)制，并給出一些建議。

問題1：問題在哪里？

問題是我們的靶子，心中沒有問題去學(xué)習(xí)就會抓不住重點。

本文使用的編程環(huán)境是centos6.7，python2.7。我們在shell中鍵入python以打開python命令行，并鍵入如下兩句話：

 s = "中國zg" e = s.encode("utf-8")

現(xiàn)在的問題是：這段代碼能運行嗎？

答案是不能，會報如下的錯：

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 0: ordinal not in range(128)

請留意一下錯誤中說明的0xe4，它是我們分析錯誤的突破口。

相信很多人都遇到過這個錯誤。那么新的問題來了。

問題2：Why？

要搞清楚原因，我們不妨認(rèn)真分析下這兩句話的執(zhí)行流程：

首先，我們通過鍵盤在python命令行解釋器中鍵入了 中國zg 并且給它加上了英文的雙引號，然后又賦值給了變量s，看起來很稀松平常是不是？其實里面大有玄機(jī)。

當(dāng)我們通過鍵盤在程序中輸入字符時，我們是通過操作系統(tǒng)完成這個功能的。我們在屏幕上看到的 中國zg 實際上是操作系統(tǒng)給我們?nèi)祟惖囊粋€反饋，告訴你：“嗨，哥們，你在程序中輸入了字符 中國zg ”

那操作系統(tǒng)給程序的反饋是什么呢？答案就是01串，這個01串是什么樣子，又是怎么生成的呢？

答案就是操作系統(tǒng)使用自己的默認(rèn)編碼方式，將中國zg進(jìn)行了編碼，并把編碼后的01串給了程序。

我們用的centos系統(tǒng)默認(rèn)的編碼是utf-8，所以，只要知道中國zg每個字符的utf-8的編碼就可以知道01串是什么了。

查詢后，可以獲得它們的編碼是(以16進(jìn)制和2進(jìn)制表示)：

現(xiàn)在我們知道操作系統(tǒng)傳給程序的01串長什么樣子了。然后，程序會怎么處理它呢？

程序看到這個01串被雙引號包圍著，自然知道這個01串是一個字符串。然后這個字符串被賦值給了s。

到此，就是第一句的執(zhí)行邏輯。

現(xiàn)在繼續(xù)進(jìn)行第二句的執(zhí)行。

e = s.encode("utf-8")的意思是將字符串s用utf-8進(jìn)行編碼，并將編碼后的字符串賦值給e。問題來了，程序現(xiàn)在知道s中的01串，還知道這個01串表示的是字符串，但這個字符串的編碼是什么呢？我們必須知道01串的現(xiàn)有編碼才能解析出里面的字符，也才能用新的編碼方式，如utf-8來重新編碼它。操作系統(tǒng)只給程序傳來了01串，并沒有告訴程序這個01串用的字符編碼是什么。

此時，python程序就會用它自己默認(rèn)的編碼當(dāng)作s的編碼，進(jìn)而來識別s中的內(nèi)容。這個默認(rèn)的編碼是ASCII，所以，它會用ASCII來解釋這個01串，識別出字符串的內(nèi)容，再將這個字符串轉(zhuǎn)為utf-8編碼。

好了，程序碰到的第一個字節(jié)就是E4（11100101 ），傻眼！ ASCII編碼中沒有這玩意兒，因為ASCII編碼中字節(jié)第一位都是0。

怎么辦？

報錯唄，于是我們就看到了上面的錯誤。

錯誤中的0xe4就是字符 “中” 的utf8編碼的第一個字節(jié)。

問題3：How？