国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學(xué)院 > 開發(fā)設(shè)計(jì) > 正文

第一天定向爬蟲學(xué)習(xí)筆記

2019-11-08 18:51:51
字體:
供稿:網(wǎng)友

      python3的爬蟲庫與python2庫的區(qū)別較大,python3將urllib2和urllib直接合并成了一個庫——urllib,在其下面有四個模塊,分別為request,parse,error,robotparser模塊,在request之下的urlopen方法,方法原型如下:urlopen(url,data=none),這個方法返回的是一個response對象,其中參數(shù)url可以使一個request對象,也可以是一個字符串,該方法等價于:

res=urlib.request.Request(url)

response=urlli.request.urlopen(res)

再回過頭來說一下urlopen里面的data參數(shù),首先需要構(gòu)造一個字典,然后再用urllib.urlencode()進(jìn)行轉(zhuǎn)化為相應(yīng)的格式。

由于我的機(jī)器裝的是python2.7版本,所以需要將這個代碼進(jìn)行轉(zhuǎn)化,所以,我在網(wǎng)上查閱了一下相應(yīng)的對應(yīng)代碼:

Python 2 name

 Python 3 name
urllib.urlretrieve()urllib.request.urlretrieve()
urllib.urlcleanup()urllib.request.urlcleanup()
urllib.quote()urllib.parse.quote() 
urllib.quote_plus()urllib.parse.quote_plus()
urllib.unquote()urllib.parse.unquote()
urllib.unquote_plus()urllib.parse.unquote_plus()
urllib.urlencode()urllib.parse.urlencode()
urllib.pathname2url()urllib.request.pathname2url()
urllib.url2pathname()urllib.request.url2pathname()
urllib.getPRoxies()urllib.request.getproxies()
urllib.URLopenerurllib.request.URLopener 
urllib.FancyURLopenerurllib.request.FancyURLopener
urllib.ContentTooShortErrorurllib.error.ContentTooShortError
urllib2.urlopen()urllib.request.urlopen()
urllib2.install_opener()urllib.request.install_opener()
urllib2.build_opener()urllib.request.build_opener()
urllib2.URLErrorurllib.error.URLError
urllib2.HTTPErrorurllib.error.HTTPError
urllib2.Requesturllib.request.Request
urllib2.OpenerDirectorurllib.request.OpenerDirector
urllib2.BaseHandlerurllib.request.BaseHandler
urllib2.HTTPDefaultErrorHandlerurllib.request.HTTPDefaultErrorHandler
urllib2.HTTPRedirectHandlerurllib.request.HTTPRedirectHandler
urllib2.HTTPCookieProcessorurllib.request.HTTPCookieProcessor
urllib2.ProxyHandlerurllib.request.ProxyHandler
urllib2.HTTPPassWordMgrurllib.request.HTTPPasswordMgr
urllib2.HTTPPasswordMgrWithDefaultRealmurllib.request.HTTPPasswordMgrWithDefaultRealm
urllib2.AbstractBasicAuthHandlerurllib.request.AbstractBasicAuthHandler
urllib2.HTTPBasicAuthHandlerurllib.request.HTTPBasicAuthHandler
urllib2.ProxyBasicAuthHandlerurllib.request.ProxyBasicAuthHandler
urllib2.AbstractDigestAuthHandlerurllib.request.AbstractDigestAuthHandler
urllib2.HTTPDigestAuthHandlerurllib.request.HTTPDigestAuthHandler
urllib2.ProxyDigestAuthHandlerurllib.request.ProxyDigestAuthHandler
urllib2.HTTPHandlerurllib.request.HTTPHandler
urllib2.HTTPSHandlerurllib.request.HTTPSHandler
urllib2.FileHandlerurllib.request.FileHandler
urllib2.FTPHandlerurllib.request.FTPHandler
urllib2.CacheFTPHandlerurllib.request.CacheFTPHandler 
urllib2.UnknownHandlerurllib.request.UnknownHandler


發(fā)表評論 共有條評論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 嵊泗县| 金塔县| 肇庆市| 濉溪县| 翁牛特旗| 汝南县| 石渠县| 锡林郭勒盟| 东乡县| 安塞县| 抚远县| 石景山区| 北川| 福海县| 沅陵县| 北辰区| 台南县| 曲麻莱县| 余姚市| 台中市| 钟祥市| 太仆寺旗| 隆回县| 霍山县| 开阳县| 依安县| 双辽市| 凤山县| 仙居县| 高要市| 丹江口市| 新龙县| 崇左市| 扶沟县| 灌南县| 永善县| 虞城县| 达州市| 湟源县| 易门县| 遵义县|