国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python利用urllib實現(xiàn)爬取京東網(wǎng)站商品圖片的爬蟲實例

2020-02-16 02:10:12
字體:
供稿:網(wǎng)友

本例程使用urlib實現(xiàn)的,基于python2.7版本,采用beautifulsoup進行網(wǎng)頁分析,沒有第三方庫的應該安裝上之后才能運行,我用的IDE是pycharm,閑話少說,直接上代碼!

# -*- coding: utf-8 -*import reimport osimport urllibimport urllib2from bs4 import BeautifulSoupdef craw(url,page): html1=urllib2.urlopen(url).read() html1=str(html1) soup=BeautifulSoup(html1,'lxml') imagelist=soup.select('#J_goodsList > ul > li > div > div.p-img > a > img') namelist=soup.select('#J_goodsList > ul > li > div > div.p-name > a > em') #pricelist=soup.select('#plist > ul > li > div > div.p-price > strong') #print pricelist path = "E:/{}/".format(str(goods)) if not os.path.exists(path):  os.mkdir(path) for (imageurl,name) in zip(imagelist,namelist):  name=name.get_text()  imagename=path + name +".jpg"  imgurl="http:"+str(imageurl.get('data-lazy-img'))  if imgurl == 'http:None':   imgurl = "http:" + str(imageurl.get('src'))  try:   urllib.urlretrieve(imgurl,filename=imagename)  except:   continue'''#J_goodsList > ul > li:nth-child(1) > div > div.p-img > a > img#plist > ul > li:nth-child(1) > div > div.p-name.p-name-type3 > a > em#plist > ul > li:nth-child(1) > div > div.p-price > strong:nth-child(1) > i'''if __name__ == "__main__": goods=raw_input('please input the goos you want:') pages=input('please input the pages you want:') count =0.0 for i in range(1,int(pages+1),2):  url="https://search.jd.com/Search?keyword={}&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.def.0.T06&wq=diann&page={}".format(str(goods),str(i))  craw(url,i)  count += 1  print 'work completed {:.2f}%'.format(count/int(pages)*100)

圖片的命名為商品的名稱,京東商品圖片地址的屬性很可能會有所變動,所以大家進行編寫的時候應該舉一反三,靈活運用! 
這是我下載下來的手機類圖片文件的截圖: 

我本地的爬取的速度很快,不到一分鐘就能爬取100頁上千個商品的圖片!

以上這篇python利用urllib實現(xiàn)爬取京東網(wǎng)站商品圖片的爬蟲實例就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持武林站長站。

發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 泾源县| 土默特左旗| 公安县| 绥德县| 凤山县| 曲沃县| 云安县| 浑源县| 芦山县| 维西| 南昌县| 绿春县| 乌鲁木齐市| 闽清县| 鲁甸县| 峡江县| 诏安县| 高淳县| 锡林浩特市| 蒙山县| 天长市| 沙田区| 晋江市| 中西区| 密山市| 舞阳县| 玛曲县| 乌拉特后旗| 海晏县| 阿拉善左旗| 靖江市| 云梦县| 巫山县| 阳西县| 若羌县| 囊谦县| 黄山市| 曲靖市| 额济纳旗| 桓仁| 乌什县|