綜述

本系列文檔用于對Python爬蟲技術(shù)進(jìn)行簡單的教程講解，鞏固自己技術(shù)知識的同時，萬一一不小心又正好對你有用那就更好了。

Python 版本是3.7.4

urllib庫介紹

它是 Python 內(nèi)置的HTTP請求庫，也就是說我們不需要額外安裝即可使用，它包含四個模塊(主要對前三個模塊進(jìn)行學(xué)習(xí))：

urllib.request 介紹

urlopen()

1.參數(shù)說明(僅寫了四個最常用的參數(shù))

url : 爬取目標(biāo)的URL；
data : 請求參數(shù)，如果設(shè)置該參數(shù)，則請求默認(rèn)為post請求；沒有默認(rèn)為get請求；
timeout : 用于設(shè)置超時時間，單位為秒；
context : 必須是一個ssl.SSLContext類型,用來指定SSL設(shè)置,忽略未認(rèn)證的CA證書;

2.具體用法

GET 請求方式

# 導(dǎo)入urllib庫import urllib.request  # 向指定的url發(fā)送請求，并返回服務(wù)器響應(yīng)的類文件對象 url = "http://www.baidu.com" response = urllib.request.urlopen(url=url) print(type(response))  # 類文件對象支持文件對象的操作方法，如read()方法讀取文件全部內(nèi)容，返回字符串 html = response.read() # html = response.readline() # 讀取一行 # html = response.readlines() # 讀取多行，返回列表 # 打印響應(yīng)結(jié)果（byte類型） print(html) # 打印響應(yīng)結(jié)果（utf-8類型） # 二進(jìn)制和字符串之間的相互轉(zhuǎn)碼使用 encode() 和 decode() 函數(shù) # encode() 和 decode() 可帶參數(shù)，不寫默認(rèn)utf-8，其他不再特別說明 print(html.decode()) # 打印狀態(tài)碼 # print(response.get_code()) print(response.status) # 獲取響應(yīng)頭 print(response.getheaders()) # 獲取響應(yīng)頭Server信息 print(response.getheader('Server')) # 獲取響應(yīng)結(jié)果原因 print(response.reason)

POST 請求方式

# 導(dǎo)入urllib庫import urllib.parseimport urllib.request  # 向指定的url發(fā)送請求，并返回 post_url = 'https://fanyi.baidu.com/sug' # 傳入?yún)?shù) form_data = { 'kw': 'honey' } # 格式化參數(shù) form_data = urllib.parse.urlencode(form_data).encode()  response = urllib.request.urlopen(url=post_url, data=form_data) # 打印服務(wù)器響應(yīng)的類文件對象 print(type(response))  # 類文件對象支持文件對象的操作方法，如read()方法讀取文件全部內(nèi)容，返回字符串 html = response.read() # 打印響應(yīng)結(jié)果（byte類型） print(html) # 打印響應(yīng)結(jié)果（utf-8類型） print(html.decode()) # 打印狀態(tài)碼 print(response.status) # print(response.getcode()) # 獲取響應(yīng)頭 print(response.getheaders()) # 獲取響應(yīng)頭Server信息 print(response.getheader('Server')) # 獲取響應(yīng)結(jié)果原因 print(response.reason)

urlretrleve()

1.參數(shù)說明

url : 下載鏈接地址；
filename : 指定保存本地路徑(如果參數(shù)未指定，urllib會生成一個臨時文件保存數(shù)據(jù))；