在Windows平臺下,如果想運行爬蟲的話,就需要在cmd中輸入:
scrapy crawl spider_name
這時,爬蟲就能啟動,并在控制臺(cmd)中打印一些信息,如下圖所示:

但是,cmd中默認只能顯示幾屏的信息,其他的信息就無法看到。
如果我們想查看爬蟲在運行過程中的調試信息或錯誤信息的話,會很不方便。
此時,我們就可以將控制臺的信息寫入的一個文本文件中去,方便我們查看。
命令如下:
D:/>scrapy crawl spder_name -s LOG_FILE=scrapy.log
總結
以上就是本文關于Python使用Scrapy保存控制臺信息到文本解析的全部內容,希望對大家有所幫助。感興趣的朋友可以繼續參閱本站其他相關專題,如有不足之處,歡迎留言指出。感謝朋友們對本站的支持!
新聞熱點
疑難解答