国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 開發 > AJAX > 正文

爬取今日頭條Ajax請求

2024-09-01 08:31:13
字體:
來源:轉載
供稿:網友

網址:https://www.toutiao.com/

搜索頭條

可以得到這個網址:

https://www.toutiao.com/search/?keyword=%E8%A1%97%E6%8B%8D

開發者工具查看:

我們在搜索中并沒有發現上面的文字,那么我們可以初步判定,這個由Ajax加載,然后渲染出來的。此時切換到xhr過濾,可以看到確實是ajax請求。

觀察請求的特點,發現只有offset是改變的,而且一次加20,。

我們可以用它來控制數據分頁,然后把圖片下載下來。代碼如下:

import requestsimport osfrom urllib.parse import urlencodefrom hashlib import md5from multiprocessing.pool import Poolfrom requests import codesdef get_page(offset):  params = {    "offset":offset,    "format":"json",    "keyword":"街拍",    "autoload":"true",    "count":"20",    "cur_tab":"1",    "from":"search_tab"  }  url = 'https://www.toutiao.com/search_content/?'+urlencode(params)  try:    response = requests.get(url)    if response.status_code == 200:      # print(url)      return response.json()  except requests.ConnectionError:    return None# get_page(0)def get_images(json):  if json.get('data'):    for item in json.get('data'):      if item.get('cell_type') is not None:        continue      title = item.get('title')      images = item.get('image_list')      for image in images:        yield {          'title':title,          'image':'https:' + image.get('url'),        }def save_image(item):  #os.path.sep  路徑分隔符‘//'  img_path = 'img' + os.path.sep + item.get('title')  if not os.path.exists(img_path):    os.makedirs(img_path)  try:    resp = requests.get(item.get('image'))    # print(type(resp))    if codes.ok == resp.status_code:      file_path = img_path + os.path.sep + '{file_name}.{file_suffix}'.format(        file_name=md5(resp.content).hexdigest(),#md5是一種加密算法獲取圖片的二進制數據,以二進制形式寫入文件        file_suffix='jpg')      if not os.path.exists(file_path):        with open(file_path,'wb')as f:          f.write(resp.content)          print('Downladed image path is %s' % file_path)      else:        print('Already Downloaded',file_path)  except requests.ConnectionError:    print('Failed to Save Image,item %s' % item)def main(offset):  json = get_page(offset)  for item in get_images(json):    print(item)    save_image(item)GROUP = 0GROUP_END = 2if __name__ == '__main__':  pool = Pool()  groups = ([x*20 for x in range(GROUP,GROUP_END)])  pool.map(main,groups)  #將groups一個個調出來傳給main函數  pool.close()  pool.join()   #保證子進程結束后再向下執行 pool.join(1) 等待一秒

總結

以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對武林網的支持。如果你想了解更多相關內容請查看下面相關鏈接

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 洪江市| 夏邑县| 武安市| 鄄城县| 定襄县| 鄂伦春自治旗| 定襄县| 呼伦贝尔市| 隆回县| 芷江| 灵石县| 渭南市| 炎陵县| 襄樊市| 荣成市| 垫江县| 安阳市| 西昌市| 漳平市| 旬邑县| 广饶县| 犍为县| 全州县| 中西区| 侯马市| 巩义市| 吉林市| 麻栗坡县| 隆林| 桐柏县| 雷山县| 西林县| 东丽区| 榆中县| 赣州市| 平顺县| 祁门县| 金门县| 罗源县| 伊宁市| 漳州市|