国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學院 > 開發設計 > 正文

Python開源框架Scrapy安裝及使用

2019-11-14 17:49:17
字體:
來源:轉載
供稿:網友

一、安裝問題
環境: CentOS  + Python 2.7 + Pip

1) 安裝時遇到 ”UnicodeDecodeError: 'ascii' codec can't decode byte 0xe9” 錯誤,安裝libffi-devel 和 Python-devel:

yum install libffi-devel
yum install python-devel

2) 安裝 lxml 時 遇到錯誤,可能是缺少 libxml2-devel 和 libxslt-devel,使用yum安裝:
yum install libxslt-devel libxml2-devel

3) 遇到 bz2 錯誤,則需要:
yum install bzip2-devel

4) 安裝 Twisted 時遇到解壓錯誤,需要先手動將twisted 包當下來,自行解壓進行安裝:
cd ~
wget http://pypi.python.org/packages/source/T/Twisted/Twisted-13.2.0.tar.bz2
tar xjvf Twisted-13.2.0.tar.bz2 
cd Twisted-13.2.0
python2.7 setup.py install     
然后使用 pip 安裝 Scrapy:
pip2.7 install Scrapy

二、中文亂碼問題
先安裝一個chardet:
pip2.7 install chardet

在程序中判斷一下輸入并轉碼輸出:

text = response.bodycontent_type = chardet.detect(text)if content_type['encoding'] != 'UTF-8':        text = text.decode(content_type['encoding'])text = text.encode('utf-8')

 


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 成安县| 台山市| 万荣县| 灵台县| 庄浪县| 江北区| 湖南省| 宜黄县| 齐齐哈尔市| 固阳县| 沂源县| 弥渡县| 泰州市| 普格县| 琼海市| 罗田县| 寿宁县| 舒城县| 寿阳县| 万山特区| 琼结县| 西平县| 新平| 郎溪县| 田阳县| 庄浪县| 廊坊市| 荣昌县| 广元市| 高州市| 南丹县| 仁化县| 万源市| 罗平县| 临高县| 闻喜县| 象山县| 师宗县| 嘉峪关市| 青岛市| 乐业县|