国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁(yè) > 編程 > Python > 正文

多線程爬蟲(chóng)批量下載pcgame圖片url 保存為xml的實(shí)現(xiàn)代碼

2020-02-23 04:48:53
字體:
來(lái)源:轉(zhuǎn)載
供稿:網(wǎng)友

代碼如下:
#coding=gbk
from xml.dom import minidom,Node
import urllib2,re,os
def readsrc(src):
    try:
        url = urllib2.urlopen(src)
        content = url.read()#.decode('utf-8')
        return content
    except:
        print 'error'
        return None
def pictype(content):
    '''
    通過(guò)抓取網(wǎng)站導(dǎo)航欄,獲得網(wǎng)站的圖片類型
    返回列表,每個(gè)列表元素為一個(gè)字典,addr代表圖片類型對(duì)于的鏈接,name代表圖片類型的名稱
    錯(cuò)誤會(huì)返回None
    '''
    p = re.compile(r'<ul>(.*)</ul>',re.S)
    r=p.search(content)
    if r:
        content=r.group()
    else:
        print None
    p = re.compile(r'<li/s*.*?>/s*<a href *= *"(?P<addr>.*?)">(?P<name>.*?)/s*</a>/s*</li>')

    l = [i.groupdict() for i in p.finditer(content)]
    l=l[1:]
    if len(l):return l
    else:return None
def pageinfo(src):
    '''
    獲取一個(gè)頁(yè)面的詳細(xì)信息
    返回對(duì)于的字典列表
    name:圖片的名字
    cutaddr:縮小的瀏覽圖
    picaddr:實(shí)際圖片的地址
    '''
    d=os.path.split(src)[0]
    try:
        url = urllib2.urlopen(src)
        content = url.read()#.decode('utf-8')
    except:
        print 'error'
        return None
    #find all the pictures info in a page
    p = re.compile(r'<ul.*?>(.*?)</ul>',re.S)
    r = p.findall(content)
    if not r: return None
    r = r[1]
    p = re.compile(r'<li><a href="(?P<picaddr>.*?)".*?><img.*?alt="(?P<name>.*?)" *src="(?P<cutaddr>.*?)" */></a>.*?</li>')
    l = [ i.groupdict() for i in p.finditer(r)]
    for i in l:
        i['picaddr']=d+'/'+i['picaddr']
    if len(l): return l
    else: return None

def nextpageaddr(src):
    '''
    從頁(yè)面的html源碼中獲取下一個(gè)頁(yè)面地址的名稱,最后一頁(yè)返回None
    '''

發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 阿克| 商水县| 无棣县| 苍南县| 深泽县| 监利县| 南康市| 宣汉县| 工布江达县| 宁乡县| 柞水县| 绿春县| 汉阴县| 南郑县| 周至县| 台山市| 洞口县| 和平区| 台东市| 韩城市| 桐柏县| 屯留县| 永顺县| 六安市| 清河县| 台江县| 衡东县| 麻阳| 浦北县| 滦平县| 梧州市| 兰坪| 蚌埠市| 固原市| 依安县| 赤壁市| 古蔺县| 苍梧县| 瑞金市| 九台市| 兴安盟|