国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python抓取網頁圖片示例(python爬蟲)

2020-02-23 05:22:05
字體:
來源:轉載
供稿:網友

代碼如下:
#-*- encoding: utf-8 -*-
'''
Created on 2014-4-24

@author: Leon Wong
'''

import urllib2
import urllib
import re
import time
import os
import uuid

#獲取二級頁面url
def findUrl2(html):
    re1 = r'http://tuchong.com//d+//d+/|http:///w+(?<!photos).tuchong.com//d+/'
    url2list = re.findall(re1,html)
    url2lstfltr = list(set(url2list))
    url2lstfltr.sort(key=url2list.index)
    #print url2lstfltr
    return url2lstfltr

#獲取html文本
def getHtml(url):
    html = urllib2.urlopen(url).read().decode('utf-8')#解碼為utf-8
    return html

#下載圖片到本地
def download(html_page , pageNo):  
    #定義文件夾的名字
    x = time.localtime(time.time())
    foldername = str(x.__getattribute__("tm_year"))+"-"+str(x.__getattribute__("tm_mon"))+"-"+str(x.__getattribute__("tm_mday"))
    re2=r'http://photos.tuchong.com/.+/f/.+/.jpg'
    imglist=re.findall(re2,html_page)
    print imglist
    download_img=None
    for imgurl in imglist:
        picpath = 'D://TuChong//%s//%s'  % (foldername,str(pageNo))
        filename = str(uuid.uuid1())
        if not os.path.exists(picpath):
            os.makedirs(picpath)              
        target = picpath+"http://%s.jpg" % filename
        print "The photos location is:"+target
        download_img = urllib.urlretrieve(imgurl, target)#將圖片下載到指定路徑中
        time.sleep(1)
        print(imgurl)
    return download_img


# def callback(blocknum, blocksize, totalsize):
#     '''回調函數
#     @blocknum: 已經下載的數據塊
#     @blocksize: 數據塊的大小
#     @totalsize: 遠程文件的大小
#     '''
#     print str(blocknum),str(blocksize),str(totalsize)
#     if blocknum * blocksize >= totalsize:
#         print '下載完成'

def quitit():
    print "Bye!"
    exit(0)
   

if __name__ == '__main__':
    print '''            *****************************************

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 文安县| 咸阳市| 砚山县| 阳谷县| 灌南县| 宜章县| 梨树县| 兰溪市| 天祝| 桃江县| 广水市| 平谷区| 万宁市| 南木林县| 白山市| 海原县| 山丹县| 巴中市| 诸暨市| 什邡市| 天全县| 西藏| 屯昌县| 双辽市| 唐山市| 七台河市| 宁陕县| 上蔡县| 毕节市| 嘉禾县| 井陉县| 扎囊县| 平遥县| 霍山县| 太和县| 涿鹿县| 大竹县| 天祝| 开原市| 印江| 突泉县|