本文實(shí)例講述了Python3實(shí)現(xiàn)爬蟲爬取趕集網(wǎng)列表功能。分享給大家供大家參考，具體如下：

python3爬蟲之爬取趕集網(wǎng)列表。這幾天一直在學(xué)習(xí)使用python3爬取數(shù)據(jù)，今天記錄一下，代碼很簡(jiǎn)單很容易上手。

首先需要安裝python3。如果還沒有安裝，可參考本站前面關(guān)于python3安裝與配置相關(guān)文章。

首先需要安裝request和BeautifulSoup兩個(gè)模塊

request是Python的HTTP網(wǎng)絡(luò)請(qǐng)求模塊，使用Requests可以輕而易舉的完成瀏覽器可有的任何操作

pip install requests

BeautifulSoup是用Python寫的一個(gè)HTML/XML的解析器，它可以很好的處理不規(guī)范標(biāo)記并生成剖析樹

pip install beautifulsoup4

代碼：

from urllib import requestfrom bs4 import BeautifulSoup#構(gòu)造頭文件，模擬瀏覽器訪問url="http://xa.ganji.com/meirdjm/o2/"headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'}page = request.Request(url,headers=headers)# 發(fā)送請(qǐng)求，獲取內(nèi)容page_info = request.urlopen(page).read().decode('utf-8')# 將獲取到的內(nèi)容轉(zhuǎn)換成BeautifulSoup格式，并將html.parser作為解析器soup = BeautifulSoup(page_info, 'html.parser')# 查找所有a標(biāo)簽中class='list-info-title'titles = soup.find_all('a',class_="list-info-title")# 打印抓取到的titlefor title in titles: print(title.string)

結(jié)果：

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。