Python 標(biāo)準(zhǔn)庫中有很多實(shí)用的工具類，但是在具體使用時(shí)，標(biāo)準(zhǔn)庫文檔上對使用細(xì)節(jié)描述的并不清楚，比如 urllib2 這個(gè) HTTP 客戶端庫。這里總結(jié)了一些 urllib2 庫的使用細(xì)節(jié)。

1 Proxy 的設(shè)置

urllib2 默認(rèn)會(huì)使用環(huán)境變量 http_proxy 來設(shè)置 HTTP Proxy。如果想在程序中明確控制 Proxy，而不受環(huán)境變量的影響，可以使用下面的方式
代碼如下:
import urllib2
 
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
 
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
 
urllib2.install_opener(opener)

這里要注意的一個(gè)細(xì)節(jié)，使用 urllib2.install_opener() 會(huì)設(shè)置 urllib2 的全局 opener。這樣后面的使用會(huì)很方便，但不能做更細(xì)粒度的控制，比如想在程序中使用兩個(gè)不同的 Proxy 設(shè)置等。比較好的做法是不使用 install_opener 去更改全局的設(shè)置，而只是直接調(diào)用 opener 的 open 方法代替全局的 urlopen 方法。

2 Timeout 設(shè)置

在老版本中，urllib2 的 API 并沒有暴露 Timeout 的設(shè)置，要設(shè)置 Timeout 值，只能更改 Socket 的全局 Timeout 值。
代碼如下:
import urllib2
import socket
 
socket.setdefaulttimeout(10) # 10 秒鐘后超時(shí)
urllib2.socket.setdefaulttimeout(10) # 另一種方式

在新的 Python 2.6 版本中，超時(shí)可以通過 urllib2.urlopen() 的 timeout 參數(shù)直接設(shè)置。
代碼如下:
import urllib2
response = urllib2.urlopen('http://www.google.com', timeout=10)

3 在 HTTP Request 中加入特定的 Header
要加入 Header，需要使用 Request 對象：
代碼如下:
import urllib2
 
request = urllib2.Request(uri)
request.add_header('User-Agent', 'fake-client')
response = urllib2.urlopen(request)

對有些 header 要特別留意，Server 端會(huì)針對這些 header 做檢查

1.User-Agent 有些 Server 或 Proxy 會(huì)檢查該值，用來判斷是否是瀏覽器發(fā)起的 Request
2.Content-Type 在使用 REST 接口時(shí)，Server 會(huì)檢查該值，用來確定 HTTP Body 中的內(nèi)容該怎樣解析。

常見的取值有：

1.application/xml ：在 XML RPC，如 RESTful/SOAP 調(diào)用時(shí)使用
2.application/json ：在 JSON RPC 調(diào)用時(shí)使用
3.application/x-www-form-urlencoded ：瀏覽器提交 Web 表單時(shí)使用
……

在使用 RPC 調(diào)用 Server 提供的 RESTful 或 SOAP 服務(wù)時(shí)， Content-Type 設(shè)置錯(cuò)誤會(huì)導(dǎo)致 Server 拒絕服務(wù)。

4 Redirect

urllib2 默認(rèn)情況下會(huì)針對 3xx HTTP 返回碼自動(dòng)進(jìn)行 Redirect 動(dòng)作，無需人工配置。要檢測是否發(fā)生了 Redirect 動(dòng)作，只要檢查一下 Response 的 URL 和 Request 的 URL 是否一致就可以了。