在這篇入門教程中，我們假定你已經安裝了Scrapy。如果你還沒有安裝，那么請參考安裝指南。
我們將使用開放目錄項目(dmoz)作為抓取的例子。
這篇入門教程將引導你完成如下任務：
Scrapy是由Python編寫的。如果你是Python新手，你也許希望從了解Python開始，以期最好的使用Scrapy。如果你對其它編程語言熟悉，想快速的學習Python，這里推薦 Dive Into Python。如果你對編程是新手，且想從Python開始學習編程，請看下面的對非程序員的Python資源列表。
新建工程
在抓取之前，你需要新建一個Scrapy工程。進入一個你想用來保存代碼的目錄，然后執行：
Microsoft Windows xp [Version 5.1.2600](C) Copyright 1985-2001 Microsoft Corp.T:/>scrapy startPRoject tutorialT:/>
這個命令會在當前目錄下創建一個新目錄tutorial，它的結構如下：
T:/tutorial>tree /fFolder PATH listingVolume serial number is 0006EFCF C86A:7C52T:.│ scrapy.cfg│└─tutorial │ items.py │ pipelines.py │ settings.py │ __init__.py │ └─spiders __init__.py這些文件主要是：
定義Item
Items是將要裝載抓取的數據的容器，它工作方式像python里面的字典，但它提供更多的保護，比如對未定義的字段填充以防止拼寫錯誤。
它通過創建一個scrapy.item.Item類來聲明，定義它的屬性為scrpy.item.Field對象，就像是一個對象關系映射(ORM).
我們通過將需要的item模型化，來控制從dmoz.org獲得的站點數據，比如我們要獲得站點的名字，url和網站描述，我們定義這三種屬性的域。要做到這點，我們編輯在tutorial目錄下的items.py文件，我們的Item類將會是這樣
from scrapy.item import Item, Field class DmozItem(Item): title = Field() link = Field() desc = Field()剛開始看起來可能會有些困惑，但是定義這些item能讓你用其他Scrapy組件的時候知道你的 items到底是什么。
我們的第一個爬蟲(Spider)
Spider是用戶編寫的類，用于從一個域（或域組）中抓取信息。
他們定義了用于下載的URL的初步列表，如何跟蹤鏈接，以及如何來解析這些網頁的內容用于提取items。
要建立一個Spider，你必須為scrapy.spider.BaseSpider創建一個子類，并確定三個主要的、強制的屬性：
這個方法負責解析返回的數據、匹配抓取的數據(解析為item)并跟蹤更多的URL。
這是我們的第一只爬蟲的代碼，將其命名為dmoz_spider.py并保存在tutorial/spiders目錄下。
from scrapy.spider import BaseSpiderclass DmozSpider(BaseSpider): name = "dmoz" allowed_domains = ["dmoz.org"] start_urls = [ "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" ] def parse(self, response): filename = response.url.split("/")[-2] open(filename, 'wb').write(response.body)
爬爬爬
為了讓我們的爬蟲工作，我們返回項目主目錄執行以下命令
T:/tutorial>scrapy crawl dmoz
crawl dmoz 命令從dmoz.org域啟動爬蟲。 你將會獲得如下類似輸出
T:/tutorial>scrapy crawl dmoz2012-07-13 19:14:45+0800 [scrapy] INFO: Scrapy 0.14.4 started (bot: tutorial)2012-07-13 19:14:45+0800 [scrapy] DEBUG: Enabled extensions: LogStats, TelnetConsole, CloseSpider, WebService, CoreStats, SpiderState2012-07-13 19:14:45+0800 [scrapy] DEBUG: Enabled downloader middlewares: HttpAuthMiddleware, DownloadTimeoutMiddleware, UserAgentMiddleware, RetryMiddleware, DefaultHeadersMiddleware, RedirectMiddleware, CookiesMiddleware, HttpCompressionMiddleware, ChunkedTransferMiddleware, DownloaderStats2012-07-13 19:14:45+0800 [scrapy] DEBUG: Enabled spider middlewares: HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware, DepthMiddleware2012-07-13 19:14:45+0800 [scrapy] DEBUG: Enabled item pipelines:2012-07-13 19:14:45+0800 [dmoz] INFO: Spider opened2012-07-13 19:14:45+0800 [dmoz] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)2012-07-13 19:14:45+0800 [scrapy] DEBUG: Telnet console listening on 0.0.0.0:60232012-07-13 19:14:45+0800 [scrapy] DEBUG: Web service listening on 0.0.0.0:60802012-07-13 19:14:46+0800 [dmoz] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> (referer: None)2012-07-13 19:14:46+0800 [dmoz] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Books/> (referer: None)2012-07-13 19:14:46+0800 [dmoz] INFO: Closing spider (finished)2012-07-13 19:14:46+0800 [dmoz] INFO: Dumping spider stats: {'downloader/request_bytes': 486, 'downloader/request_count': 2, 'downloader/request_method_count/GET': 2, 'downloader/response_bytes': 13063, 'downloader/response_count': 2, 'downloader/response_status_count/200': 2, 'finish_reason': 'finished', 'finish_time': datetime.datetime(2012, 7, 13, 11, 14, 46, 703000), 'scheduler/memory_enqueued': 2, 'start_time': datetime.datetime(2012, 7, 13, 11, 14, 45, 500000)}2012-07-13 19:14:46+0800 [dmoz] INFO: Spider closed (finished)2012-07-13 19:14:46+0800 [scrapy] INFO: Dumping global stats: {}注意包含 [dmoz]的行 ，那對應著我們的爬蟲。你可以看到start_urls中定義的每個URL都有日志行。因為這些URL是起始頁面，所以他們沒有引用(referrers)，所以在每行的末尾你會看到 (referer: <None>).
有趣的是，在我們的 parse 方法的作用下，兩個文件被創建：分別是 Books 和 Resources，這兩個文件中有URL的頁面內容。
發生了什么事情?
Scrapy為爬蟲的 start_urls屬性中的每個URL創建了一個 scrapy.http.Request 對象 ，并將爬蟲的parse 方法指定為回調函數。
這些 Request首先被調度，然后被執行，之后通過parse()方法，scrapy.http.Response 對象被返回，結果也被反饋給爬蟲。
提取Item
選擇器介紹
我們有很多方法從網站中提取數據。Scrapy 使用一種叫做 XPath selectors的機制，它基于 XPath表達式。如果你想了解更多selectors和其他機制你可以查閱資料http://doc.scrapy.org/topics/selectors.html#topics-selectors
這是一些XPath表達式的例子和他們的含義
這只是幾個使用XPath的簡單例子，但是實際上XPath非常強大。如果你想了解更多XPATH的內容，我們向你推薦這個XPath教程http://www.vevbs.com/XPath/default.asp
為了方便使用XPaths，Scrapy提供XPathSelector 類， 有兩種口味可以選擇， HtmlXPathSelector (HTML數據解析) 和xmlXPathSelector (XML數據解析)。 為了使用他們你必須通過一個 Response 對象對他們進行實例化操作。你會發現Selector對象展示了文檔的節點結構。因此，第一個實例化的selector必與根節點或者是整個目錄有關 。
Selectors 有三種方法
嘗試在shell中使用Selectors
為了演示Selectors的用法，我們將用到 內建的Scrapy shell，這需要系統已經安裝IPython (一個擴展python交互環境) 。
附IPython下載地址：http://pypi.python.org/pypi/ipython
要開始shell，首先進入項目頂層目錄，然后輸入
T:/tutorial>scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python/Books/輸出結果類似這樣：
2012-07-16 10:58:13+0800 [scrapy] INFO: Scrapy 0.14.4 started (bot: tutorial)2012-07-16 10:58:13+0800 [scrapy] DEBUG: Enabled extensions: TelnetConsole, CloseSpider, WebService, CoreStats, SpiderState2012-07-16 10:58:13+0800 [scrapy] DEBUG: Enabled downloader middlewares: HttpAuthMiddleware, DownloadTimeoutMiddleware, UserAgentMiddleware, RetryMiddleware, DefaultHeadersMiddleware, RedirectMiddleware, CookiesMiddleware, HttpCompressionMiddleware, ChunkedTransferMiddleware, DownloaderStats2012-07-16 10:58:13+0800 [scrapy] DEBUG: Enabled spider middlewares: HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware, DepthMiddleware2012-07-16 10:58:13+0800 [scrapy] DEBUG: Enabled item pipelines:2012-07-16 10:58:13+0800 [scrapy] DEBUG: Telnet console listening on 0.0.0.0:60232012-07-16 10:58:13+0800 [scrapy] DEBUG: Web service listening on 0.0.0.0:60802012-07-16 10:58:13+0800 [dmoz] INFO: Spider opened2012-07-16 10:58:18+0800 [dmoz] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Books/> (referer: None)[s] Available Scrapy objects:[s] hxs <HtmlXPathSelector xpath=None data=u'<html><head><meta http-equiv="Content-Ty'>[s] item {}[s] request <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Books/>[s] response <200 http://www.dmoz.org/Computers/Programming/Languages/Python/Books/>[s] settings <CrawlerSettings module=<module 'tutorial.settings' from 'T:/tutorial/tutorial/settings.pyc'>>[s] spider <DmozSpider 'dmoz' at 0x1f68230>[s] Useful shortcuts:[s] shelp() Shell help (print this help)[s] fetch(req_or_url) Fetch request (or URL) and update local objects[s] view(response) View response in a browserWARNING: Readline services not available or not loaded.WARNING: Proper color support under MS Windows requires the pyreadline library.You can find it at:http://ipython.org/pyreadline.htmlGary's readline needs the ctypes module, from:http://starship.python.net/crew/theller/ctypes(Note that ctypes is already part of Python versions 2.5 and newer).Defaulting color scheme to 'NoColor'Python 2.7.3 (default, Apr 10 2012, 23:31:26) [MSC v.1500 32 bit (Intel)]Type "copyright", "credits" or "license" for more information.IPython 0.13 -- An enhanced Interactive Python.? -> Introduction and overview of IPython's features.%quickref -> Quick reference.help -> Python's own help system.object? -> Details about 'object', use 'object??' for extra details.In [1]:Shell載入后，你將獲得回應，這些內容被存儲在本地變量 response 中，所以如果你輸入response.body 你將會看到response的body部分，或者輸入response.headers 來查看它的 header部分。
Shell也實例化了兩種selectors，一個是解析HTML的 hxs 變量，一個是解析 XML 的 xxs 變量。我們來看看里面有什么：
In [1]: hxs.path('//title')Out[1]: [<HtmlXPathSelector xpath='//title' data=u'<title>Open Directory - Computers: Progr'>]In [2]: hxs.path('//title').extract()Out[2]: [u'<title>Open Directory - Computers: Programming: Languages: Python: Books</title>']In [3]: hxs.path('//title/text()')Out[3]: [<HtmlXPathSelector xpath='//title/text()' data=u'Open Directory - Computers: Programming:'>]In [4]: hxs.path('//title/text()').extract()Out[4]: [u'Open Directory - Computers: Programming: Languages: Python: Books']In [5]: hxs.path('//title/text()').re('(/w+):')Out[5]: [u'Computers', u'Programming', u'Languages', u'Python']In [6]:
提取數據
現在我們嘗試從網頁中提取數據。
你可以在控制臺輸入 response.body， 檢查源代碼中的 XPaths 是否與預期相同。然而，檢查HTML源代碼是件很枯燥的事情。為了使事情變得簡單，我們使用Firefox的擴展插件Firebug。更多信息請查看Using Firebug for scraping 和Using Firefox for scraping.
txw1958注：事實上我用的是Google Chrome的Inspect Element功能，而且可以提取元素的XPath。
檢查源代碼后，你會發現我們需要的數據在一個 <ul>元素中，而且是第二個<ul>。
我們可以通過如下命令選擇每個在網站中的 <li> 元素:
hxs.path('//ul/li') 然后是網站描述:
hxs.path('//ul/li/text()').extract()網站標題:
hxs.path('//ul/li/a/text()').extract()網站鏈接:
hxs.path('//ul/li/a/@href').extract()如前所述，每個path()調用返回一個selectors列表，所以我們可以結合path()去挖掘更深的節點。我們將會用到這些特性，所以:
sites = hxs.path('//ul/li')for site in sites: title = site.path('a/text()').extract() link = site.path('a/@href').extract() desc = site.path('text()').extract() print title, link, desc
Note
更多關于嵌套選擇器的內容，請閱讀Nesting selectors 和 Working with relative XPaths
將代碼添加到爬蟲中：
txw1958注：代碼有修改，綠色注釋掉的代碼為原教程的，你懂的
from scrapy.spider import BaseSpiderfrom scrapy.selector import HtmlXPathSelectorclass DmozSpider(BaseSpider): name = "dmoz" allowed_domains = ["dmoz.org"] start_urls = [ "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"] def parse(self, response): hxs = HtmlXPathSelector(response) sites = hxs.path('//fieldset/ul/li') #sites = hxs.path('//ul/li') for site in sites: title = site.path('a/text()').extract() link = site.path('a/@href').extract() desc = site.path('text()').extract() #print title, link, desc print title, link現在我們再次抓取dmoz.org，你將看到站點在輸出中被打印 ，運行命令
T:/tutorial>scrapy crawl dmoz
使用條目(Item)
Item 對象是自定義的python字典，使用標準字典類似的語法，你可以獲取某個字段(即之前定義的類的屬性)的值:
>>> item = DmozItem() >>> item['title'] = 'Example title' >>> item['title'] 'Example title' Spiders希望將其抓取的數據存放到Item對象中。為了返回我們抓取數據，spider的最終代碼應當是這樣:
from scrapy.spider import BaseSpiderfrom scrapy.selector import HtmlXPathSelectorfrom tutorial.items import DmozItemclass DmozSpider(BaseSpider): name = "dmoz" allowed_domains = ["dmoz.org"] start_urls = [ "http://www.dmoz.org/Computers/Programming/Languages/Python/Books/", "http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/" ] def parse(self, response): hxs = HtmlXPathSelector(response) sites = hxs.path('//fieldset/ul/li') #sites = hxs.path('//ul/li') items = [] for site in sites: item = DmozItem() item['title'] = site.path('a/text()').extract() item['link'] = site.path('a/@href').extract() item['desc'] = site.path('text()').extract() items.append(item) return items現在我們再次抓取 :
2012-07-16 14:52:36+0800 [dmoz] DEBUG: Scraped from <200 http://www.dmoz.org/Computers/Programming/Languages/Python/Books/> {'desc': [u'/n/t/t/t/n/t', u' /n/t/t/t/n/t/t/t/t/t/n - Free Python books and tutorials./n /n'], 'link': [u'http://www.techbooksforfree.com/perlpython.shtml'], 'title': [u'Free Python books']}2012-07-16 14:52:36+0800 [dmoz] DEBUG: Scraped from <200 http://www.dmoz.org/Computers/Programming/Languages/Python/Books/> {'desc': [u'/n/t/t/t/n/t', u' /n/t/t/t/n/t/t/t/t/t/n - Annotated list of free online books on Python scripting language. Topics range from beginner to advanced./n /n '], 'link': [u'http://www.freetechbooks.com/python-f6.html'], 'title': [u'FreeTechBooks: Python Scripting Language']}2012-07-16 14:52:36+0800 [dmoz] DEBUG: Crawled (200) <GET http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> (referer: None)2012-07-16 14:52:36+0800 [dmoz] DEBUG: Scraped from <200 http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> {'desc': [u'/n/t/t/t/n/t', u' /n/t/t/t/n/t/t/t/t/t/n - A directory of free Python and Zope hosting providers, with reviews and ratings./n /n'], 'link': [u'http://www.oinko.net/freepython/'], 'title': [u'Free Python and Zope Hosting Directory']}2012-07-16 14:52:36+0800 [dmoz] DEBUG: Scraped from <200 http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> {'desc': [u'/n/t/t/t/n/t', u' /n/t/t/t/n/t/t/t/t/t/n - Features Python books, resources, news and articles./n /n'], 'link': [u'http://oreilly.com/python/'], 'title': [u"O'Reilly Python Center"]}2012-07-16 14:52:36+0800 [dmoz] DEBUG: Scraped from <200 http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/> {'desc': [u'/n/t/t/t/n/t', u' /n/t/t/t/n/t/t/t/t/t/n - Resources for reporting bugs, accessing the Python source tree with CVS and taking part in the development of Python./n/n'], 'link': [u'http://www.python.org/dev/'], 'title': [u"Python Developer's Guide"]}
保存抓取的數據
保存信息的最簡單的方法是通過Feed exports，命令如下：
T:/tutorial>scrapy crawl dmoz -o items.json -t json
所有抓取的items將以JSON格式被保存在新生成的items.json 文件中
在像本教程一樣的小型項目中，這些已經足夠。然而，如果你想用抓取的items做更復雜的事情，你可以寫一個 Item Pipeline(條目管道)。因為在項目創建的時候，一個專門用于條目管道的占位符文件已經隨著items一起被建立，目錄在tutorial/pipelines.py。如果你只需要存取這些抓取后的items的話，就不需要去實現任何的條目管道。
結束語
本教程簡要介紹了Scrapy的使用，但是許多其他特性并沒有提及。
對于基本概念的了解，請訪問Basic concepts
我們推薦你繼續學習Scrapy項目的例子dirbot，你將從中受益更深，該項目包含本教程中提到的dmoz爬蟲。
Dirbot項目位于https://github.com/scrapy/dirbot
項目包含一個README文件，它詳細描述了項目的內容。
如果你熟悉git，你可以checkout它的源代碼。或者你可以通過點擊Downloads下載tarball或zip格式的文件。
另外這有一個代碼片斷共享網站，里面共享內容包括爬蟲，中間件，擴展應用，腳本等。網站名字叫Scrapy snippets，有好的代碼要記得共享哦:-)
本教程的源代碼下載：http://files.VEVb.com/txw1958/scrapy_tutorial.rar
新聞熱點
疑難解答
