国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 開發(fā) > Python > 正文

Python 爬蟲相關(guān)問題

2024-07-21 02:52:00
字體:
供稿:網(wǎng)友

1.爬蟲需要導(dǎo)入的幾個(gè)模塊

from selenium import webdriverfrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.support.ui import WebDriverWait # available since 2.4.0from selenium.webdriver.common.keys import Keysimport timeimport osimport sysimport loggingimport httplibimport urllibimport pickleimport reimport urllib2
一般情況下,寫一個(gè)普通的爬蟲,以上模塊就足夠了.

2.常用操作解釋

模仿用戶鼠標(biāo)滑動(dòng)滾動(dòng)屏幕事件 driver.find_element_by_tag_name("body").send_keys(Keys.PAGE_DOWN)設(shè)置頁面加載超時(shí) driver.set_page_load_timeout(15)當(dāng)頁面加載完以后,停止瀏覽器繼續(xù)加載 driver.execute_script('window.stop()')打開瀏覽器并加載一個(gè)網(wǎng)頁地址 driver.get(url)關(guān)閉瀏覽器 driver.quit()設(shè)置瀏覽器 driver = webdriver.Firefox()延時(shí)操作 time.sleep(5)對(duì)字典型數(shù)據(jù)進(jìn)行編碼 urllib.urlencode(dic)向服務(wù)器傳數(shù)據(jù) urllib2.urlopen(u)瀏覽器最大化 driver.maximize_window() #瀏覽器最大化

3.尋找節(jié)點(diǎn)常用的方法

獲取單個(gè)對(duì)象 driver.find_element_by_class_name driver.find_element_by_xpath driver.find_element_by_id

xpath 語法的種類比較繁多,大概有兩種:driver.find_element_by_xpath('./a[2]/span')dirver.find_element_by_xpath('./*[1]')
'./a[2]/span' 取出子元素中標(biāo)簽是a 的第二標(biāo)簽下面的span 標(biāo)簽
./*[1]取出當(dāng)前元素的第一個(gè)子元素

獲取多個(gè)對(duì)象 driver.find_elements_by_class_name driver.find_elements_by_xpath driver.find_elements_by_id

獲取對(duì)象的屬性或者內(nèi)容 node.get_attribute('src') node.text


更多詳情請(qǐng)看http://itindex.net/detail/55758-python-selenium-元素

發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 呈贡县| 南平市| 内江市| 那坡县| 正定县| 望都县| 进贤县| 西城区| 洪江市| 龙泉市| 泰兴市| 洛扎县| 阳江市| 遵义县| 遂宁市| 遂溪县| 赣州市| 开远市| 衡东县| 芮城县| 金溪县| 盐山县| 罗山县| 金沙县| 绩溪县| 偏关县| 垣曲县| 桃江县| 措勤县| 临安市| 金寨县| 明光市| 禹城市| 颍上县| 金山区| 来凤县| 宝坻区| 泰顺县| 于田县| 双桥区| 伊宁县|