国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > Python > 正文

使用BeautifulSoup爬蟲程序獲取百度搜索結(jié)果的標(biāo)題和url示例

2020-02-23 05:06:12
字體:
供稿:網(wǎng)友

熟悉Java的jsoup包的話,對于Python的BeautifulSoup庫應(yīng)該很容易上手。

代碼如下:
#coding: utf-8
import sys
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup

question_word = "吃貨 程序員"
url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))
htmlpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(htmlpage)
print len(soup.findAll("table", {"class": "result"}))
for result_table in soup.findAll("table", {"class": "result"}):
    a_click = result_table.find("a")
    print "-----標(biāo)題----/n" + a_click.renderContents()#標(biāo)題
    print "----鏈接----/n" + str(a_click.get("href"))#鏈接
    print "----描述----/n" + result_table.find("div", {"class": "c-abstract"}).renderContents()#描述
    print

發(fā)表評論 共有條評論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 溧水县| 思南县| 宁国市| 淅川县| 安顺市| 宜都市| 文登市| 如皋市| 昆山市| 高安市| 洱源县| 安国市| 赣州市| 历史| 博兴县| 咸宁市| 绵阳市| 延庆县| 齐齐哈尔市| 夹江县| 临泉县| 辽阳县| 嵩明县| 文登市| 泰兴市| 合水县| 墨江| 凯里市| 黎川县| 罗江县| 哈巴河县| 河曲县| 彭州市| 天峻县| 湘西| 临洮县| 含山县| 额敏县| 阳新县| 玛纳斯县| 筠连县|