本文介紹了Python3安裝Scrapy的方法步驟，分享給大家，具體如下：

運行平臺：Windows Python版本：Python3.x IDE：Sublime text3

一、Scrapy簡介

Scrapy是一個為了爬取網站數據提取結構性數據而編寫的應用框架，可以應用于數據挖掘，信息處理或存儲歷史數據等一些列的程序中。Scrapy最初就是為了網絡爬取而設計的。現在，Scrapy已經推出了曾承諾過的Python3.x版本。

為什么學習Scrapy呢？它能我們更好的完成爬蟲任務，自己寫Python爬蟲程序好比孤軍奮戰，而使用了Scrapy就好比手底下有了千軍萬馬。Scrapy可以起到事半功倍(甚至好幾倍*.*)的效果。所以，學習Scrapy也就顯得很有必要了。

二、Scrapy安裝

1.直接使用指令pip3 install scrapy，發現有諸多錯誤。

Failed building wheel for lxml Microsoft Visual C++ 10.0 is required Failed building twisted Unable to find vcvarsall.bat

遇到的錯誤，如下圖所示：

2.解決辦法

在http://www.lfd.uci.edu/~gohlke/pythonlibs/有很多用于windows的編譯好的Python第三方庫，我們下載好對應自己Python版本的庫即可。

(1)在cmd中輸入指令python，查看python的版本，如下：

從上圖可以看出可以看出我的Python版本為Python3.5.2-64bit。

(2)登陸http://www.lfd.uci.edu/~gohlke/pythonlibs/，Ctrl+F搜索Lxml、Twisted、Scrapy，下載對應的版本，例如：lxml-3.7.3-cp35-cp35m-win_adm64.whl，表示lxml的版本為3.7.3，對應的python版本為3.5-64bit。我下載的版本如下圖所示：

(3)在cmd中輸入DOS指令，進入下載好的whl文件夾下，例如我的三個whl文件放在了Scrapy文件夾下：

(4)依次執行如下命令：

a.pip3 install wheel

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl