国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 學(xué)院 > 開發(fā)設(shè)計(jì) > 正文

一個(gè)python爬蟲小程序

2019-11-14 17:12:12
字體:
供稿:網(wǎng)友

起因

深夜忽然想下載一點(diǎn)電子書來擴(kuò)充一下kindle,就想起來python學(xué)得太淺,什么“裝飾器”啊、“多線程”啊都沒有學(xué)到。

想到廖雪峰大神的python教程很經(jīng)典、很著名。就想找找有木有pdf版的下載,結(jié)果居然沒找到!!CSDN有個(gè)不完整的還騙走了我一個(gè)積分!!尼瑪!!

怒了,準(zhǔn)備寫個(gè)程序直接去爬廖雪峰的教程,然后再html轉(zhuǎn)成電子書。

過程

過程很有趣呢,用淺薄的python知識(shí),寫python程序,去爬python教程,來學(xué)習(xí)python。想想有點(diǎn)小激動(dòng)……

果然python很是方便,50行左右就OK了。直接貼代碼:

# coding:utf-8import urllibdomain = 'http://www.liaoxuefeng.com'           #廖雪峰的域名path = r'C:/Users/cyhhao2013/Desktop/temp//'    #html要保存的路徑# 一個(gè)html的頭文件input = open(r'C:/Users/cyhhao2013/Desktop/0.html', 'r')head = input.read()# 打開python教程主界面f = urllib.urlopen("http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000")home = f.read()f.close()# 替換所有空格回車(這樣容易好獲取url)geturl = home.replace("/n", "")geturl = geturl.replace(" ", "")# 得到包含url的字符串list = geturl.split(r'em;"><ahref="')[1:]# 強(qiáng)迫癥犯了,一定要把第一個(gè)頁面也加進(jìn)去才完美list.insert(0, '/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000">')# 開始遍歷url Listfor li in list:    url = li.split(r'">')[0]    url = domain + url              #拼湊url    PRint url    f = urllib.urlopen(url)    html = f.read()    # 獲得title為了寫文件名    title = html.split("<title>")[1]    title = title.split(" - 廖雪峰的官方網(wǎng)站</title>")[0]    # 要轉(zhuǎn)一下碼,不然加到路徑里就悲劇了    title = title.decode('utf-8').replace("/", " ")    # 截取正文    html = html.split(r'<!-- block main -->')[1]    html = html.split(r'<h4>您的支持是作者寫作最大的動(dòng)力!</h4>')[0]    html = html.replace(r'src="', 'src="' + domain)    # 加上頭和尾組成完整的html    html = head + html+"</body></html>"    # 輸出文件    output = open(path + "%d" % list.index(li) + title + '.html', 'w')    output.write(html)    output.close()

 

簡(jiǎn)直,人生苦短我用python啊!

最后

附上HTML轉(zhuǎn)epub電子書格式在線鏈接:html.toepub.com

以及廖雪峰的教程:鏈接 廖雪峰的Git教程也非常非常的不錯(cuò)哦~

順便擴(kuò)充一下自己的→_→GitHub(爬下來的html也在github上哦~)

以及個(gè)人博客:http://blog.zhusun.in/cyhhao

原文來自:一個(gè)python爬蟲小程序

 

by:cyhhao http://blog.zhusun.in/cyhhao/


上一篇:TaumandB&#39;day

下一篇:ACMICPCTeam

發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 靖边县| 阿坝| 伊吾县| 惠州市| 望城县| 彭泽县| 应城市| 高碑店市| 利川市| 隆化县| 桃江县| 高要市| 英超| 麦盖提县| 扎赉特旗| 舟山市| 交城县| 山阴县| 瓮安县| 林甸县| 金塔县| 辽中县| 泰和县| 华池县| 额敏县| 介休市| 深泽县| 高阳县| 文山县| 黄平县| 名山县| 石城县| 平顶山市| 临沧市| 新野县| 东阿县| 苍梧县| 武清区| 东光县| 离岛区| 楚雄市|