簡介

scrapy 是一個 python 下面功能豐富、使用快捷方便的爬蟲框架。用 scrapy 可以快速的開發一個簡單的爬蟲，官方給出的一個簡單例子足以證明其強大：

快速開發

下面開始10分鐘倒計時：

當然開始前，可以先看看之前我們寫過的 scrapy 入門文章 《零基礎寫python爬蟲之使用Scrapy框架編寫爬蟲

1. 初始化項目

scrapy startproject mztcd mztscrapy genspider meizitu meizitu.com

2. 添加 spider 代碼：

定義 scrapy.Item ，添加 image_urls 和 images ，為下載圖片做準備。

修改 start_urls 為初始頁面, 添加 parse 用于處理列表頁， 添加 parse_item 處理項目頁面。

3. 修改配置文件：

DOWNLOAD_DELAY = 1 # 添加下載延遲配置ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加圖片下載 pipelineIMAGES_STORE = '.' # 設置圖片保存目錄

4. 運行項目：

scrapy crawl meizitu

看，項目運行效果圖

等待一會兒，就是收獲的時候了

總結

以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作能帶來一定的幫助，如果有疑問大家可以留言交流。