題記：早已聽聞python爬蟲框架的大名。近些天學(xué)習(xí)了下其中的Scrapy爬蟲框架，將自己理解的跟大家分享。有表述不當(dāng)之處，望大神們斧正。

一、初窺Scrapy

Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù)，提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架。 可以應(yīng)用在包括數(shù)據(jù)挖掘，信息處理或存儲歷史數(shù)據(jù)等一系列的程序中。

其最初是為了 頁面抓取 (更確切來說, 網(wǎng)絡(luò)抓取 )所設(shè)計(jì)的， 也可以應(yīng)用在獲取API所返回的數(shù)據(jù)(例如 Amazon Associates Web Services ) 或者通用的網(wǎng)絡(luò)爬蟲。

本文檔將通過介紹Scrapy背后的概念使您對其工作原理有所了解， 并確定Scrapy是否是您所需要的。

當(dāng)您準(zhǔn)備好開始您的項(xiàng)目后，您可以參考 入門教程 。

二、Scrapy安裝介紹

Scrapy框架運(yùn)行平臺及相關(guān)輔助工具

Python 2.7（Python最新版3.5，這里選擇了2.7版本）
Python Package: pip and setuptools. 現(xiàn)在 pip 依賴 setuptools ，如果未安裝，則會自動安裝setuptools 。
lxml. 大多數(shù)Linux發(fā)行版自帶了lxml。如果缺失，請查看http://lxml.de/installation.html
OpenSSL. 除了Windows(請查看 平臺安裝指南)之外的系統(tǒng)都已經(jīng)提供。
您可以使用pip來安裝Scrapy(推薦使用pip來安裝Python package).

pip install Scrapy

Windows下安裝流程：

1、安裝Python 2.7之后，您需要修改 PATH 環(huán)境變量，將Python的可執(zhí)行程序及額外的腳本添加到系統(tǒng)路徑中。將以下路徑添加到 PATH 中:

 C:/Python27/;C:/Python27/Scripts/;

除此之外，還可以用cmd命令來設(shè)置Path：

c:/python27/python.exe c:/python27/tools/scripts/win_add2path.py

安裝配置完成之后，可以執(zhí)行命令python --version查看安裝的python版本。（如圖所示）

2、從 http://sourceforge.net/projects/pywin32/ 安裝 pywin32

請確認(rèn)下載符合您系統(tǒng)的版本(win32或者amd64)

從 https://pip.pypa.io/en/latest/installing.html 安裝 pip

3、打開命令行窗口，確認(rèn) pip 被正確安裝:

pip --version

4、到目前為止Python 2.7 及 pip 已經(jīng)可以正確運(yùn)行了。接下來安裝Scrapy:

pip install Scrapy

至此windows下Scrapy安裝已經(jīng)結(jié)束。

三、Scrapy入門教程

1、在cmd中創(chuàng)建Scrapy項(xiàng)目工程。

 scrapy startproject tutorial

H:/python/scrapyDemo>scrapy startproject tutorialNew Scrapy project 'tutorial', using template directory 'f://python27//lib//site-packages//scrapy//templates//project', created in: H:/python/scrapyDemo/tutorialYou can start your first spider with: cd tutorial scrapy genspider example example.com

2、文件目錄結(jié)構(gòu)如下：