国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python urllib模塊urlopen()與urlretrieve()詳解

2020-02-23 04:54:44
字體:
來源:轉載
供稿:網友

1.urlopen()方法
urllib.urlopen(url[, data[, proxies]]) :創建一個表示遠程url的類文件對象,然后像本地文件一樣操作這個類文件對象來獲取遠程數據。
參數url表示遠程數據的路徑,一般是網址;
參數data表示以post方式提交到url的數據(玩過web的人應該知道提交數據的兩種方式:post與get。如果你不清楚,也不必太在意,一般情況下很少用到這個參數);
參數proxies用于設置代理。
urlopen返回 一個類文件對象,它提供了如下方法:
read() , readline() , readlines() , fileno() , close() :這些方法的使用方式與文件對象完全一樣;
info():返回一個httplib.HTTPMessage 對象,表示遠程服務器返回的頭信息
getcode():返回Http狀態碼。如果是http請求,200表示請求成功完成;404表示網址未找到;
geturl():返回請求的url;
代碼示例:
代碼如下:
import urllib

url = "http://www.baidu.com/"

#urlopen()
sock = urllib.urlopen(url)
htmlCode = sock.read()
sock.close
fp = open("e:/1.html","wb")
fp.write(htmlCode)
fp.close

#urlretrieve()
urllib.urlretrieve(url, 'e:/2.html')

2.urlretrieve方法
直接將遠程數據下載到本地。
代碼如下:
urllib.urlretrieve(url[, filename[, reporthook[, data]]])
參數說明:
url:外部或者本地url
filename:指定了保存到本地的路徑(如果未指定該參數,urllib會生成一個臨時文件來保存數據);
reporthook:是一個回調函數,當連接上服務器、以及相應的數據塊傳輸完畢的時候會觸發該回調。我們可以利用這個回調函數來顯示當前的下載進度。
data:指post到服務器的數據。該方法返回一個包含兩個元素的元組(filename, headers),filename表示保存到本地的路徑,header表示服務器的響應頭。

下面通過例子來演示一下這個方法的使用,這個例子將新浪首頁的html抓取到本地,保存在D:/sina.html文件中,同時顯示下載的進度。
代碼如下:
import urllib
def callbackfunc(blocknum, blocksize, totalsize):
    '''回調函數
    @blocknum: 已經下載的數據塊
    @blocksize: 數據塊的大小
    @totalsize: 遠程文件的大小
    '''
    percent = 100.0 * blocknum * blocksize / totalsize
    if percent > 100:
        percent = 100
    print "%.2f%%"% percent

url = 'http://www.sina.com.cn'
local = 'd://sina.html'
urllib.urlretrieve(url, local, callbackfunc)

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 安乡县| 海原县| 桃园县| 阿拉尔市| 阿克苏市| 成都市| 安福县| 威信县| 长泰县| 泽州县| 霍城县| 鹤壁市| 花莲县| 高安市| 富宁县| 原平市| 西昌市| 三都| 长宁县| 璧山县| 赣州市| 日土县| 苏尼特左旗| 上虞市| 梅河口市| 芒康县| 青阳县| 玉山县| 繁昌县| 福建省| 肥城市| 灵丘县| 临武县| 开平市| 邢台市| 扎赉特旗| 江阴市| 寻甸| 大洼县| 马龙县| 商河县|