先說下自己的環境，redis是部署在centos上的，爬蟲運行在windows上，

1. 安裝redis

yum install -y redis

2. 修改配置文件

vi /etc/redis.conf

將 protected-mode no解注釋，否則的話，在不設置密碼情況下遠程無法連接redis

3. 重啟redis

systemctl restart redis

4. 關閉防火墻

systemctl stop firewalld.service

5. 開始創建scrapy-redis的相關，和普通的scrapy一樣的創建，只不過修改setting.py文件，添加一行

REDIS_URL = 'redis://192.168.61.130:6379'

6. 修改spiders.py文件

# -*- coding: utf-8 -*-from scrapy_redis.spiders import RedisSpiderclass ExampleSpider(RedisSpider):  name = 'myspider'  redis_key = 'test_key'  allowed_domains = ['www.example.com']  def parse(self, response):    print(1111)    pass

7. 可以執行這個爬蟲了

scrapy runspider example.py

8. 進入redis 

redis-cli -h 127.0.0.1 -prpush test_key http://test.com

即可看到爬蟲開始運行了

總結

以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對武林站長站的支持。如果你想了解更多相關內容請查看下面相關鏈接