国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁(yè) > 編程 > Python > 正文

零基礎(chǔ)寫python爬蟲之爬蟲框架Scrapy安裝配置

2020-02-23 06:09:34
字體:
來(lái)源:轉(zhuǎn)載
供稿:網(wǎng)友

前面十章爬蟲筆記陸陸續(xù)續(xù)記錄了一些簡(jiǎn)單的Python爬蟲知識(shí),
用來(lái)解決簡(jiǎn)單的貼吧下載,績(jī)點(diǎn)運(yùn)算自然不在話下。
不過(guò)要想批量下載大量的內(nèi)容,比如知乎的所有的問答,那便顯得游刃不有余了點(diǎn)。
于是乎,爬蟲框架Scrapy就這樣出場(chǎng)了!
Scrapy = Scrach+Python,Scrach這個(gè)單詞是抓取的意思,

Scrapy的官網(wǎng)地址:點(diǎn)我點(diǎn)我。

那么下面來(lái)簡(jiǎn)單的演示一下Scrapy的安裝流程。
具體流程參照://www.jb51.net/article/48607.htm
友情提醒:一定要按照Python的版本下載,要不然安裝的時(shí)候會(huì)提醒找不到Python。建議大家安裝32位是因?yàn)橛行┌姹镜谋貍滠浖?4位不好找。

1.安裝Python(建議32位)

建議安裝Python2.7.x,3.x貌似還不支持。
安裝完了記得配置環(huán)境,將python目錄和python目錄下的Scripts目錄添加到系統(tǒng)環(huán)境變量的Path里。
在cmd中輸入python如果出現(xiàn)版本信息說(shuō)明配置完畢。

2.安裝lxml

lxml是一種使用 Python 編寫的庫(kù),可以迅速、靈活地處理 XML。點(diǎn)擊這里選擇對(duì)應(yīng)的Python版本安裝。

3.安裝setuptools

用來(lái)安裝egg文件,點(diǎn)擊這里下載python2.7的對(duì)應(yīng)版本的setuptools。

4.安裝zope.interface

可以使用第三步下載的setuptools來(lái)安裝egg文件,現(xiàn)在也有exe版本,點(diǎn)擊這里下載。

5.安裝Twisted

Twisted是用Python實(shí)現(xiàn)的基于事件驅(qū)動(dòng)的網(wǎng)絡(luò)引擎框架,點(diǎn)擊這里下載。

6.安裝pyOpenSSL

pyOpenSSL是Python的OpenSSL接口,點(diǎn)擊這里下載。

7.安裝win32py

提供win32api,點(diǎn)擊這里下載

8.安裝Scrapy

終于到了激動(dòng)人心的時(shí)候了!安裝了那么多小部件之后終于輪到主角登場(chǎng)。
直接在cmd中輸入easy_install scrapy回車即可。

9.檢查安裝

打開一個(gè)cmd窗口,在任意位置執(zhí)行scrapy命令,得到下列頁(yè)面,表示環(huán)境配置成功。

發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 淅川县| 凤凰县| 手游| 高唐县| 景宁| 新泰市| 湾仔区| 渝北区| 运城市| 毕节市| 连江县| 清丰县| 淮阳县| 通江县| 乌审旗| 奉化市| 孙吴县| 怀化市| 雷山县| 莱州市| 三亚市| 乐昌市| 保亭| 皋兰县| 水富县| 米易县| 祥云县| 双城市| 郓城县| 旬邑县| 汽车| 迁西县| 余干县| 汝城县| 宁晋县| 府谷县| 广灵县| 古丈县| 铜梁县| 山东省| 扎赉特旗|