国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁(yè) > 學(xué)院 > 開(kāi)發(fā)設(shè)計(jì) > 正文

Python網(wǎng)頁(yè)爬蟲(chóng)

2019-11-14 16:59:09
字體:
來(lái)源:轉(zhuǎn)載
供稿:網(wǎng)友

解決問(wèn)題:獲取網(wǎng)頁(yè)上的內(nèi)容。特別是加載主框架后,再用Ajax獲取數(shù)據(jù)生成內(nèi)容的網(wǎng)頁(yè)。

PyQuery:可以像jQuery的py實(shí)現(xiàn)。你給他一個(gè)PyQuery一個(gè)HTML,他給你一個(gè)類(lèi)似jQuery的操作.只能獲取普通網(wǎng)頁(yè)。AJAX的網(wǎng)頁(yè)就無(wú)能為力。

Ghost.py:一個(gè)封裝Webkit(瀏覽器核心)的類(lèi)庫(kù)。就是模擬瀏覽器訪問(wèn)網(wǎng)頁(yè)。

安裝類(lèi)庫(kù)

pip install PyQuery

pip install PySide

pip install Ghost.py

from ghost import Ghostfrom pyquery import PyQuery as pq

 

g=Ghost()session=g.start()session.open('http://www.163.com' ,wait=None)session.wait_for_page_loaded()
doc=pq(session.content)

這樣 doc 就可以當(dāng)作$用了


發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 策勒县| 岳阳市| 海口市| 绥阳县| 蓬莱市| 夹江县| 江永县| 额尔古纳市| 治多县| 金溪县| 和硕县| 逊克县| 襄城县| 延庆县| 温泉县| 奎屯市| 新邵县| 静海县| 教育| 高要市| 哈尔滨市| 葵青区| 乐昌市| 庄浪县| 忻州市| 望奎县| 浦东新区| 丹凤县| 青龙| 二连浩特市| 犍为县| 潞西市| 贺兰县| 青神县| 沈丘县| 池州市| 兴文县| 牙克石市| 临湘市| 龙门县| 黑龙江省|