国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 開發(fā) > Python > 正文

Python 爬蟲相關(guān)問題

2024-07-21 02:52:00
字體:
供稿:網(wǎng)友

1.爬蟲需要導(dǎo)入的幾個(gè)模塊

from selenium import webdriverfrom selenium.common.exceptions import TimeoutExceptionfrom selenium.webdriver.support.ui import WebDriverWait # available since 2.4.0from selenium.webdriver.common.keys import Keysimport timeimport osimport sysimport loggingimport httplibimport urllibimport pickleimport reimport urllib2
一般情況下,寫一個(gè)普通的爬蟲,以上模塊就足夠了.

2.常用操作解釋

模仿用戶鼠標(biāo)滑動(dòng)滾動(dòng)屏幕事件 driver.find_element_by_tag_name("body").send_keys(Keys.PAGE_DOWN)設(shè)置頁面加載超時(shí) driver.set_page_load_timeout(15)當(dāng)頁面加載完以后,停止瀏覽器繼續(xù)加載 driver.execute_script('window.stop()')打開瀏覽器并加載一個(gè)網(wǎng)頁地址 driver.get(url)關(guān)閉瀏覽器 driver.quit()設(shè)置瀏覽器 driver = webdriver.Firefox()延時(shí)操作 time.sleep(5)對(duì)字典型數(shù)據(jù)進(jìn)行編碼 urllib.urlencode(dic)向服務(wù)器傳數(shù)據(jù) urllib2.urlopen(u)瀏覽器最大化 driver.maximize_window() #瀏覽器最大化

3.尋找節(jié)點(diǎn)常用的方法

獲取單個(gè)對(duì)象 driver.find_element_by_class_name driver.find_element_by_xpath driver.find_element_by_id

xpath 語法的種類比較繁多,大概有兩種:driver.find_element_by_xpath('./a[2]/span')dirver.find_element_by_xpath('./*[1]')
'./a[2]/span' 取出子元素中標(biāo)簽是a 的第二標(biāo)簽下面的span 標(biāo)簽
./*[1]取出當(dāng)前元素的第一個(gè)子元素

獲取多個(gè)對(duì)象 driver.find_elements_by_class_name driver.find_elements_by_xpath driver.find_elements_by_id

獲取對(duì)象的屬性或者內(nèi)容 node.get_attribute('src') node.text


更多詳情請(qǐng)看http://itindex.net/detail/55758-python-selenium-元素

發(fā)表評(píng)論 共有條評(píng)論
用戶名: 密碼:
驗(yàn)證碼: 匿名發(fā)表
主站蜘蛛池模板: 土默特左旗| 孟连| 颍上县| 彰武县| 张家港市| 望江县| 同心县| 渝中区| 汪清县| 垫江县| 乌拉特中旗| 名山县| 二连浩特市| 彭阳县| 常德市| 靖西县| 龙里县| 太康县| 霍州市| 新宾| 汉寿县| 靖州| 上犹县| 古交市| 广东省| 景东| 游戏| 建德市| 依安县| 永泰县| 泰和县| 孝义市| 隆子县| 无棣县| 兴宁市| 绍兴市| 平武县| 高阳县| 南开区| 亳州市| 樟树市|