有的時候，我們本來寫得好好的爬蟲代碼，之前還運行得Ok, 一下子突然報錯了。

報錯信息如下：

Http 800 Internal internet error

這是因為你的對象網站設置了反爬蟲程序，如果用現有的爬蟲代碼，會被拒絕。

之前正常的爬蟲代碼如下：

from urllib.request import urlopen...html = urlopen(scrapeUrl)bsObj = BeautifulSoup(html.read(), "html.parser")

這個時候，需要我們給我們的爬蟲代碼做下偽裝，

給它添加表頭偽裝成是來自瀏覽器的請求

修改后的代碼如下：

import urllib.parseimport urllib.requestfrom bs4 import BeautifulSoup...req = urllib.request.Request(scrapeUrl)req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)') response = urllib.request.urlopen(req) html = response.read() bsObj = BeautifulSoup(html, "html.parser")

Ok,一切搞定，又可以繼續爬了。

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持武林站長站。