scrapy是用python開(kāi)發(fā)的爬蟲框架，從網(wǎng)上查了安裝方法，感覺(jué)都說(shuō)的挺復(fù)雜，而且很多教程都很有年頭了，于是記錄了自己的安裝過(guò)程。

首先安裝python，地址：https://www.python.org/downloads/release/python-2710/，注意根據(jù)你的系統(tǒng)下64位（Windows x86-64 MSI installer）還是32位的（Windows x86 MSI installer）。

現(xiàn)在是python3.6的天下了，建議大家安裝python3版本。

裝完以后就可以安裝scrapy了，推薦使用pip方式安裝，因?yàn)閟crapy需要調(diào)用很多額外的庫(kù),pip會(huì)全部幫你安裝好，不需要你在到處翻找了。

pip在python安裝完后就已經(jīng)有了，不需要額外安裝，下面只要按照scrapy官網(wǎng)推薦的方法在命令提示符中輸入pip installscrapy（圖1），然后只需靜靜等待即可大功告成。

圖1

裝完以后可以敲入命令pip list看看已安裝的庫(kù)（圖2），出來(lái)很多啊，pip真是好東西。

圖2

現(xiàn)在試下看看建個(gè)爬蟲項(xiàng)目，按照說(shuō)明文檔鍵入命令scrapy startproject tutorial，目錄已經(jīng)出來(lái)（圖3），看來(lái)是沒(méi)問(wèn)題了。但為了驗(yàn)證是否安裝成功，還得跑一下看看，第一次創(chuàng)建項(xiàng)目的時(shí)候，系統(tǒng)會(huì)提示可以跑個(gè)例子看看（圖4）。按照提示鍵入命令

圖3

圖4

scrapy genspider example example.com創(chuàng)建一個(gè)爬蟲，再鍵入命令scrapy crawl example

運(yùn)行爬蟲，結(jié)果如下（圖5），報(bào)錯(cuò)了，貌似是缺少win32api，立即上網(wǎng)下了一個(gè)（http://sourceforge.net/projects/pywin32/files/pywin32/Build%20219/），

圖5

下的時(shí)候注意對(duì)應(yīng)的python版本。win32api裝好以后再運(yùn)行一次爬蟲（圖6），這次成功了，應(yīng)該是沒(méi)問(wèn)題了。

圖6

總結(jié)一下，其實(shí)剛開(kāi)始網(wǎng)上找資料的時(shí)候看到上面寫的要先裝這個(gè)庫(kù)那個(gè)庫(kù)的時(shí)候心中很忐忑，結(jié)果發(fā)現(xiàn)不是很復(fù)雜，大多數(shù)問(wèn)題pip都給解決了，剩下的就是具體問(wèn)題具體研究，不過(guò)也沒(méi)碰到很復(fù)雜解決不了的問(wèn)題。另外吐下槽就是網(wǎng)上的教程互抄的太厲害，看著一搜一堆，其實(shí)多數(shù)都大同小異，真正有價(jià)值的沒(méi)幾個(gè)，沒(méi)大腿抱就是辛苦呀。

最后說(shuō)一下，scrapy目前還不支持python3.x版本，我用的是python2.7，如果你碰到莫名其妙的問(wèn)題時(shí)請(qǐng)先看看自己有沒(méi)有裝錯(cuò)python版本。

下面是其他網(wǎng)友補(bǔ)充的文章

環(huán)境

Windows7 64位
Python2.7.6 64位