国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python標準庫urllib2的一些使用細節總結

2020-02-23 00:22:13
字體:
來源:轉載
供稿:網友

Python 標準庫中有很多實用的工具類,但是在具體使用時,標準庫文檔上對使用細節描述的并不清楚,比如 urllib2 這個 HTTP 客戶端庫。這里總結了一些 urllib2 的使用細節。

1.Proxy 的設置
2.Timeout 設置
3.在 HTTP Request 中加入特定的 Header
4.Redirect
5.Cookie
6.使用 HTTP 的 PUT 和 DELETE 方法
7.得到 HTTP 的返回碼
8.Debug Log

Proxy 的設置

urllib2 默認會使用環境變量 http_proxy 來設置 HTTP Proxy。如果想在程序中明確控制 Proxy 而不受環境變量的影響,可以使用下面的方式

代碼如下:
import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
 
if enable_proxy:
opener = urllib2.build_opener(proxy_handler)
else:
opener = urllib2.build_opener(null_proxy_handler)
 
urllib2.install_opener(opener)

這里要注意的一個細節,使用 urllib2.install_opener() 會設置 urllib2 的全局 opener 。這樣后面的使用會很方便,但不能做更細粒度的控制,比如想在程序中使用兩個不同的 Proxy 設置等。比較好的做法是不使用 install_opener 去更改全局的設置,而只是直接調用 opener 的 open 方法代替全局的 urlopen 方法。

Timeout 設置

在老版 Python 中,urllib2 的 API 并沒有暴露 Timeout 的設置,要設置 Timeout 值,只能更改 Socket 的全局 Timeout 值。

代碼如下:
import urllib2
import socket
socket.setdefaulttimeout(10) # 10 秒鐘后超時
urllib2.socket.setdefaulttimeout(10) # 另一種方式

在 Python 2.6 以后,超時可以通過 urllib2.urlopen() 的 timeout 參數直接設置。

代碼如下:
import urllib2
response = urllib2.urlopen('http://www.google.com', timeout=10)

在 HTTP Request 中加入特定的 Header

要加入 header,需要使用 Request 對象:
代碼如下:
import urllib2
request = urllib2.Request(uri)
request.add_header('User-Agent', 'fake-client')
response = urllib2.urlopen(request)

對有些 header 要特別留意,服務器會針對這些 header 做檢查

User-Agent : 有些服務器或 Proxy 會通過該值來判斷是否是瀏覽器發出的請求

Content-Type : 在使用 REST 接口時,服務器會檢查該值,用來確定 HTTP Body 中的內容該怎樣解析。常見的取值有:

application/xml : 在 XML RPC,如 RESTful/SOAP 調用時使用
application/json : 在 JSON RPC 調用時使用
application/x-www-form-urlencoded : 瀏覽器提交 Web 表單時使用

在使用服務器提供的 RESTful 或 SOAP 服務時, Content-Type 設置錯誤會導致服務器拒絕服務

Redirect

urllib2 默認情況下會針對 HTTP 3XX 返回碼自動進行 redirect 動作,無需人工配置。要檢測是否發生了 redirect 動作,只要檢查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 麻阳| 德江县| 鄄城县| 图木舒克市| 景宁| 新竹县| 长乐市| 合作市| 海林市| 平阴县| 达尔| 永川市| 自治县| 嘉禾县| 韶关市| 平遥县| 杂多县| 全椒县| 浦江县| 沈丘县| 凤山市| 当阳市| 泾源县| 延边| 尼玛县| 克拉玛依市| 灵寿县| 赤峰市| 新丰县| 当涂县| 丰镇市| 天柱县| 五华县| 迁安市| 成武县| 宜阳县| 旺苍县| 平泉县| 平遥县| 旺苍县| 临颍县|