解決方法一：

使用python的BeautifulSoup來抓取網(wǎng)頁然后輸出網(wǎng)頁標(biāo)題,但是輸出的總是亂碼,找了好久找到解決辦法,下面分享給大家
首先是代碼
代碼如下:
from bs4 import BeautifulSoup
import urllib2

url = '//www.jb51.net/'
page = urllib2.urlopen(url)

soup = BeautifulSoup(page,from_encoding="utf8")
print soup.original_encoding
print (soup.title).encode('gb18030')

file = open("title.txt","w")
file.write(str(soup.title))
file.close()

 

for link in soup.find_all('a'):
    print link['href']
在剛開始測試的時候發(fā)現(xiàn),雖然輸出是亂碼的,但是寫在文件里面卻是正常的.然后在網(wǎng)上找了找解決辦法才發(fā)現(xiàn)
print一個對象的邏輯：內(nèi)部是調(diào)用對象的__str__得到對應(yīng)的字符串的，此處對應(yīng)的是soup的__str__ 而針對于soup本身，其實(shí)已經(jīng)是Unicode編碼，所以可以通過指定__str__輸出時的編碼為GBK，以使得此處正確顯示非亂碼的中文
而對于cmd：（中文的系統(tǒng)中）編碼為GBK,所以只要重新編碼為gb18030就可以正常輸出了
就是下面這行代碼
代碼如下:
print (soup.title).encode('gb18030')

解決方法二：

BeautifulSoup在解析utf-8編碼的網(wǎng)頁時，如果不指定fromEncoding或者將fromEncoding指定為utf-8會出現(xiàn)中文亂碼的現(xiàn)象。

解決此問題的方法是將Beautifulsoup構(gòu)造函數(shù)中的fromEncoding參數(shù)的值指定為：gb18030
代碼如下:
import urllib2
from BeautifulSoup import BeautifulSoup

page = urllib2.urlopen('//www.jb51.net/');
soup = BeautifulSoup(page,fromEncoding="gb18030")
print soup.originalEncoding
print soup.prettify()