国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

Python 爬蟲學習3

2019-11-06 07:14:51
字體:
來源:轉載
供稿:網友

任務:異步數據、爬取圖片放置本地文件夾中

動態數據:Network-XHR-Response(鏈接、圖片鏈接),在Request中尋找URL

異步加載網站:新浪微博評論、豆瓣電影

注意:要知道每一次加載的元素個數(這個網站是12個)、本地文件夾路徑、文件夾權限

動態網站的參數可以在Network中查到! 

 

 

from bs4 import BeautifulSoupimport requests, time, urllib.requesturl = 'https://knewone.com/discover?page='data = {}# folder_path = (r'C:/Users/Jing/Desktop/a4')     #創建文件夾folder_path = ('D://data//imgs//')     #創建文件夾def get_gage(url, data=None):   #獲取每一個產品的信息    wb_data = requests.get(url)    soup = BeautifulSoup(wb_data.text, 'lxml')    imgs = soup.select('a.cover-inner > img')    titles = soup.select('section.content > h4.title > a')    links = soup.select('section.content > h4 > a')    if data==None:        for img, title, link in zip(imgs, titles, links):            data = {                'img': img.get('src'),                'title': title.get('title'),                'link': link.get('href')            }            PRint(data)            item = data['img']            print(item)            urllib.request.urlretrieve(item, folder_path + item[-21:-16])       #截取圖片鏈接字符串作為文件后綴def get_more_gages(start,end):  #控制爬取頁數    for one in range(start, end):        get_gage(url+str(one))        time.sleep(2)get_more_gages(1,3) #一組12個圖片

 


發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 新巴尔虎右旗| 湖北省| 淳安县| 汨罗市| 张家港市| 皮山县| 铜陵市| 防城港市| 甘孜| 杭锦后旗| 泰来县| 铅山县| 徐闻县| 耿马| 平凉市| 班戈县| 北川| 界首市| 晋州市| 乐业县| 广南县| 临沧市| 太仓市| 乌兰察布市| 卫辉市| 独山县| 铜鼓县| 龙里县| 乡宁县| 香河县| 宁夏| 平南县| 上栗县| 德江县| 韩城市| 军事| 阿巴嘎旗| 呼图壁县| 七台河市| 马关县| 乐至县|