国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

pycharm下打開、執行并調試scrapy爬蟲程序的方法

2020-02-16 10:53:38
字體:
來源:轉載
供稿:網友

首先得有一個Scrapy項目,我在Desktop上新建一個Scrapy的項目叫test,在Desktop目錄打開命令行,鍵入命令:scrapy startproject test1


目錄結構如下:




打開Pycharm,選擇open


選擇項目,ok

打開如下界面之后,按alt + 1, 打開project 面板


在test1/spiders/,文件夾下,新建一個爬蟲spider.py, 注意代碼中的name="dmoz"。這個名字后面會用到。

在test1目錄和scrapy.cfg同級目錄下面,新建一個begin.py文件(便于理解可以寫成main.py),注意箭頭2所指的名字和第5步中的name='dmoz'名字是一樣的。

from scrapy import cmdlinecmdline.execute("scrapy crawl dmoz".split())

7. 上面把文件搞定了,下面要配置一下pycharm了。點擊Run->Edit Configurations

8. 新建一個運行的python模塊

9. Name:改成spider; script:選擇剛才新建的那個begin.py文件;Working Direciton:改成自己的工作目錄


10. 至此,大功告成了,點擊下圖,右上角的按鈕就能運行了。

調試

可以在其他代碼中設置斷點,就可以debug運行



遇到問題

1. Unknown command: crawl

調試運行,斷點并未命中,控制臺輸出信息如下:

H:/Python/Python36/python.exe "H:/Program Files (x86)/JetBrains/PyCharm Community Edition 4.5.4/helpers/pydev/pydevd.py" --multiproc --client 127.0.0.1 --port 59810 --file H:/Python/Python36/Lib/site-packages/scrapy/cmdline.py crawl quotes -o quotes.jlpydev debugger: process 4740 is connectingConnected to pydev debugger (build 141.3058)Scrapy 1.3.2 - no active projectUnknown command: crawlUse "scrapy" to see available commandsProcess finished with exit code 2            
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 望谟县| 探索| 筠连县| 辽阳县| 庆云县| 双江| 建宁县| 明水县| 石城县| 红河县| 青铜峡市| 上思县| 罗平县| 永寿县| 化隆| 清新县| 溆浦县| 绥棱县| 湄潭县| 洪湖市| 库车县| 龙海市| 屏边| 巩留县| 济阳县| 游戏| 华安县| 正安县| 夏河县| 平顶山市| 金门县| 马山县| 集贤县| 濮阳县| 临邑县| 涿州市| 西乡县| 云和县| 尉犁县| 鄂伦春自治旗| 准格尔旗|