国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

python利用beautifulSoup實現爬蟲

2020-02-23 06:02:44
字體:
來源:轉載
供稿:網友

以前講過利用phantomjs做爬蟲抓網頁 //www.jb51.net/article/55789.htm 是配合選擇器做的

利用 beautifulSoup(文檔 :http://www.crummy.com/software/BeautifulSoup/bs4/doc/)這個python模塊,可以很輕松的抓取網頁內容

# coding=utf-8import urllibfrom bs4 import BeautifulSoupurl ='http://www.baidu.com/s'values ={'wd':'網球'}encoded_param = urllib.urlencode(values)full_url = url +'?'+ encoded_paramresponse = urllib.urlopen(full_url)soup =BeautifulSoup(response)alinks = soup.find_all('a')

上面可以抓取百度搜出來結果是網球的記錄。

beautifulSoup內置了很多非常有用的方法。

幾個比較好用的特性:

構造一個node元素

代碼如下:
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>')
tag = soup.b
type(tag)
# <class 'bs4.element.Tag'>

屬性可以使用attr拿到,結果是字典

代碼如下:
tag.attrs
# {u'class': u'boldest'}

或者直接tag.class取屬性也可。

也可以自由操作屬性

tag['class'] = 'verybold'tag['id'] = 1tag# <blockquote class="verybold" id="1">Extremely bold</blockquote>del tag['class']del tag['id']tag# <blockquote>Extremely bold</blockquote>tag['class']# KeyError: 'class'print(tag.get('class'))# None

還可以隨便操作,查找dom元素,比如下面的例子

1.構建一份文檔

html_doc = """<html><head><title>The Dormouse's story</title></head><p><b>The Dormouse's story</b></p><p>Once upon a time there were three little sisters; and their names were<a  id="link1">Elsie</a>,<a  id="link2">Lacie</a> and<a  id="link3">Tillie</a>;and they lived at the bottom of a well.</p><p>...</p>"""from bs4 import BeautifulSoupsoup = BeautifulSoup(html_doc)

2.各種搞

soup.head# <head><title>The Dormouse's story</title></head>soup.title# <title>The Dormouse's story</title>soup.body.b# <b>The Dormouse's story</b>soup.a# <a class="sister"  id="link1">Elsie</a>soup.find_all('a')# [<a class="sister"  id="link1">Elsie</a>,# <a class="sister"  id="link2">Lacie</a>,# <a class="sister"  id="link3">Tillie</a>]head_tag = soup.headhead_tag# <head><title>The Dormouse's story</title></head>head_tag.contents[<title>The Dormouse's story</title>]title_tag = head_tag.contents[0]title_tag# <title>The Dormouse's story</title>title_tag.contents# [u'The Dormouse's story']len(soup.contents)# 1soup.contents[0].name# u'html'text = title_tag.contents[0]text.contentsfor child in title_tag.children:  print(child)head_tag.contents# [<title>The Dormouse's story</title>]for child in head_tag.descendants:  print(child)# <title>The Dormouse's story</title># The Dormouse's storylen(list(soup.children))# 1len(list(soup.descendants))# 25title_tag.string# u'The Dormouse's story'            
發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 镇远县| 潮州市| 鄂托克前旗| 宿州市| 马鞍山市| 嘉兴市| 茶陵县| 漳平市| 浦江县| 河北省| 开江县| 丹东市| 建宁县| 康乐县| 明溪县| 景德镇市| 沅陵县| 云阳县| 湖南省| 湛江市| 信阳市| 建阳市| 岳池县| 满城县| 玉屏| 东平县| 博客| 桐庐县| 安岳县| 循化| 岢岚县| 贵定县| 光山县| 平定县| 壶关县| 陆河县| 尚志市| 岳阳县| 岱山县| 黄冈市| 灵台县|