国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

pycharm下打開、執行并調試scrapy爬蟲程序的方法

2020-02-16 10:53:38
字體:
來源:轉載
供稿:網友

首先得有一個Scrapy項目,我在Desktop上新建一個Scrapy的項目叫test,在Desktop目錄打開命令行,鍵入命令:scrapy startproject test1


目錄結構如下:




打開Pycharm,選擇open


選擇項目,ok

打開如下界面之后,按alt + 1, 打開project 面板


在test1/spiders/,文件夾下,新建一個爬蟲spider.py, 注意代碼中的name="dmoz"。這個名字后面會用到。

在test1目錄和scrapy.cfg同級目錄下面,新建一個begin.py文件(便于理解可以寫成main.py),注意箭頭2所指的名字和第5步中的name='dmoz'名字是一樣的。

from scrapy import cmdlinecmdline.execute("scrapy crawl dmoz".split())

7. 上面把文件搞定了,下面要配置一下pycharm了。點擊Run->Edit Configurations

8. 新建一個運行的python模塊

9. Name:改成spider; script:選擇剛才新建的那個begin.py文件;Working Direciton:改成自己的工作目錄


10. 至此,大功告成了,點擊下圖,右上角的按鈕就能運行了。

調試

可以在其他代碼中設置斷點,就可以debug運行



遇到問題

1. Unknown command: crawl

調試運行,斷點并未命中,控制臺輸出信息如下:

H:/Python/Python36/python.exe "H:/Program Files (x86)/JetBrains/PyCharm Community Edition 4.5.4/helpers/pydev/pydevd.py" --multiproc --client 127.0.0.1 --port 59810 --file H:/Python/Python36/Lib/site-packages/scrapy/cmdline.py crawl quotes -o quotes.jlpydev debugger: process 4740 is connectingConnected to pydev debugger (build 141.3058)Scrapy 1.3.2 - no active projectUnknown command: crawlUse "scrapy" to see available commandsProcess finished with exit code 2            
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 北票市| 交城县| 寿光市| 南京市| 潞城市| 二手房| 安岳县| 富裕县| 财经| 安徽省| 綦江县| 拉萨市| 遵义市| 盐边县| 泰宁县| 平顺县| 遵义市| 包头市| 钦州市| 防城港市| 获嘉县| 静海县| 泰安市| 萨嘎县| 建平县| 阳高县| 胶南市| 兴安县| 龙江县| 壶关县| 潞城市| 申扎县| 怀宁县| 山西省| 和林格尔县| 石林| 宁河县| 商都县| 马鞍山市| 德格县| 易门县|