国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python編寫爬蟲小程序

2020-02-23 01:11:37
字體:
供稿:網(wǎng)友

起因

深夜忽然想下載一點(diǎn)電子書來擴(kuò)充一下kindle,就想起來python學(xué)得太淺,什么“裝飾器”啊、“多線程”啊都沒有學(xué)到。
想到廖雪峰大神的python教程很經(jīng)典、很著名。就想找找有木有pdf版的下載,結(jié)果居然沒找到!!CSDN有個(gè)不完整的還騙走了我一個(gè)積分!!尼瑪!!
怒了,準(zhǔn)備寫個(gè)程序直接去爬廖雪峰的教程,然后再html轉(zhuǎn)成電子書。

過程

過程很有趣呢,用淺薄的python知識(shí),寫python程序,去爬python教程,來學(xué)習(xí)python。想想有點(diǎn)小激動(dòng)……
果然python很是方便,50行左右就OK了。直接貼代碼:

# coding:utf-8import urllibdomain = 'http://www.liaoxuefeng.com'      #廖雪峰的域名path = r'C:/Users/cyhhao2013/Desktop/temp//'  #html要保存的路徑# 一個(gè)html的頭文件input = open(r'C:/Users/cyhhao2013/Desktop/0.html', 'r')head = input.read()# 打開python教程主界面f = urllib.urlopen("http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000")home = f.read()f.close()# 替換所有空格回車(這樣容易好獲取url)geturl = home.replace("/n", "")geturl = geturl.replace(" ", "")# 得到包含url的字符串list = geturl.split(r'em;"><ahref="')[1:]# 強(qiáng)迫癥犯了,一定要把第一個(gè)頁面也加進(jìn)去才完美list.insert(0, '/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000">')# 開始遍歷url Listfor li in list:  url = li.split(r'">')[0]  url = domain + url       #拼湊url  print url  f = urllib.urlopen(url)  html = f.read()  # 獲得title為了寫文件名  title = html.split("<title>")[1]  title = title.split(" - 廖雪峰的官方網(wǎng)站</title>")[0]  # 要轉(zhuǎn)一下碼,不然加到路徑里就悲劇了  title = title.decode('utf-8').replace("/", " ")  # 截取正文  html = html.split(r'<!-- block main -->')[1]  html = html.split(r'<h4>您的支持是作者寫作最大的動(dòng)力!</h4>')[0]  html = html.replace(r'src="', 'src="' + domain)  # 加上頭和尾組成完整的html  html = head + html+"</body></html>"  # 輸出文件  output = open(path + "%d" % list.index(li) + title + '.html', 'w')  output.write(html)  output.close()

簡(jiǎn)直,人生苦短我用python啊!

以上所述就是本文的全部?jī)?nèi)容了,希望大家能夠喜歡。

發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 灵璧县| 遂川县| 依安县| 廉江市| 云和县| 昌都县| 清远市| 和政县| 邢台市| 云霄县| 苍梧县| 凭祥市| 德州市| 金湖县| 枣庄市| 新干县| 凯里市| 江油市| 揭阳市| 连南| 津市市| 耿马| 宜章县| 武宁县| 通江县| 夏津县| 阿拉善右旗| 平塘县| 武宣县| 宁南县| 永修县| 手游| 庄河市| 怀远县| 盘锦市| 长沙县| 阜平县| 礼泉县| 习水县| 甘谷县| 射洪县|