国产探花免费观看_亚洲丰满少妇自慰呻吟_97日韩有码在线_资源在线日韩欧美_一区二区精品毛片,辰东完美世界有声小说,欢乐颂第一季,yy玄幻小说排行榜完本

首頁 > 編程 > JavaScript > 正文

Puppeteer環境搭建的詳細步驟

2019-11-19 12:52:57
字體:
來源:轉載
供稿:網友

簡介

Puppeteer是Google開發并開源的一款工具,可用代碼驅動瀏覽器操作。

由于諸多優秀的特性,Puppeteer常被用在爬蟲與自動化測試上。詳細介紹參見官方 README

Puppeteer本身是個NodeJS的庫,自動化腳本也需要使用NodeJS編寫,如果對JS不了解建議先學習JavaScript基礎語法,或者使用Selenium等其他工具去實現。

對于一個陌生的工具,應當先檢查是否適合自己,再去嘗試使用,切莫盲目從眾。

Puppeteer 用處

  • 利用網頁生成PDF、圖片
  • 爬取SPA應用,并生成預渲染內容(即“SSR” 服務端渲染)
  • 可以從網站抓取內容
  • 自動化表單提交、UI測試、鍵盤輸入等
  • 幫你創建一個最新的自動化測試環境(chrome),可以直接在此運行測試用例6.捕獲站點的時間線,以便追蹤你的網站,幫助分析網站性能問題

配置

Node環境配置

下載并安裝NodeJS:

wget https://nodejs.org/dist/v8.12.0/node-v8.12.0-linux-x64.tar.xztar xf node-v8.12.0-linux-x64.tar.xzmv node-v8.12.0-linux-x64 /usr/local/libln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/npm /usr/local/bin/ln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/node /usr/local/bin/

*(可選)配置淘寶的源,加速npm包的下載:

npm config set registry https://registry.npm.taobao.org

安裝Puppeteer

配置淘寶的Puppeteer下載源,用于安裝Chromium:

export PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.orgnpm i puppeteer

國內不配置時會在卡在下載Chromium

示例

新建一個test.js

const puppeteer = require('puppeteer');(async () => { const browser = await puppeteer.launch({  ignoreHTTPSErrors: true,  headless: false,  args: ['--no-sandbox'] }); const page = await browser.newPage(); await page.goto('https://intest.tech'); await page.waitFor(5e3); await browser.close();})();

運行:

node test.js

截圖

知識點

  • puppeteer.launch 啟動瀏覽器實例
  • browser.newPage() 創建一個新頁面
  • page.goto 進入指定網頁
  • page.screenshot 截圖
const puppeteer = require('puppeteer');(async () => {const browser = await (puppeteer.launch({// 若是手動下載的chromium需要指定chromium地址, 默認引用地址為 /項目目錄/node_modules/puppeteer/.local-chromium/executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium',//設置超時時間timeout: 15000,//如果是訪問https頁面 此屬性會忽略https錯誤ignoreHTTPSErrors: true,// 打開開發者工具, 當此值為true時, headless總為falsedevtools: false,// 關閉headless模式, 會打開瀏覽器headless: false}));const page = await browser.newPage();await page.goto('https://www.jianshu.com/u/40909ea33e50');await page.screenshot({path: 'jianshu.png',type: 'png',// quality: 100, 只對jpg有效fullPage: true,// 指定區域截圖,clip和fullPage兩者只能設置一個// clip: {// x: 0,// y: 0,// width: 1000,// height: 40// }});browser.close();})();

進階,獲取網易云音樂的歌詞和評論

網易云音樂的API經過AES和RSA算法加密,需要攜帶加密的信息通過POST方式請求才能獲取到數據。但 Puppeteer 出現后,這些都不重要了,只要它頁面上顯示了,通過 Puppeteer 都能獲取到該元素。

知識點

  • page.type 獲取輸入框焦點并輸入文字
  • page.keyboard.press 模擬鍵盤按下某個按鍵,目前mac上組合鍵無效為已知bug
  • page.waitFor 頁面等待,可以是時間、某個元素、某個函數
  • page.frames() 獲取當前頁面所有的 iframe,然后根據 iframe 的名字精確獲取某個想要的 iframe
  • iframe.$('.srchsongst') 獲取 iframe 中的某個元素
  • iframe.evaluate() 在瀏覽器中執行函數,相當于在控制臺中執行函數,返回一個 Promise
  • Array.from 將類數組對象轉化為對象
  • page.click() 點擊一個元素
  • iframe.$eval() 相當于在 iframe 中運行 document.queryselector 獲取指定元素,并將其作為第一個參數傳遞
  • iframe.$$eval 相當于在 iframe 中運行 document.querySelectorAll 獲取指定元素數組,并將其作為第一個參數傳遞
const fs = require('fs');const puppeteer = require('puppeteer');(async () => {const browser = await (puppeteer.launch({ executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium', headless: false }));const page = await browser.newPage();// 進入頁面await page.goto('https://music.163.com/#');// 點擊搜索框擬人輸入 鬼才會想起const musicName = '鬼才會想';await page.type('.txt.j-flag', musicName, {delay: 0});// 回車await page.keyboard.press('Enter');// 獲取歌曲列表的 iframeawait page.waitFor(2000);let iframe = await page.frames().find(f => f.name() === 'contentFrame');const SONG_LS_SELECTOR = await iframe.$('.srchsongst');// 獲取歌曲 鬼才會想起 的地址const selectedSongHref = await iframe.evaluate(e => {const songList = Array.from(e.childNodes);const idx = songList.findIndex(v => v.childNodes[1].innerText.replace(//s/g, '') === '鬼才會想起');return songList[idx].childNodes[1].firstChild.firstChild.firstChild.href;}, SONG_LS_SELECTOR);// 進入歌曲頁面await page.goto(selectedSongHref);// 獲取歌曲頁面嵌套的 iframeawait page.waitFor(2000);iframe = await page.frames().find(f => f.name() === 'contentFrame');// 點擊 展開按鈕const unfoldButton = await iframe.$('#flag_ctrl');await unfoldButton.click();// 獲取歌詞const LYRIC_SELECTOR = await iframe.$('#lyric-content');const lyricCtn = await iframe.evaluate(e => {return e.innerText;}, LYRIC_SELECTOR);console.log(lyricCtn);// 截圖await page.screenshot({path: '歌曲.png',fullPage: true,});// 寫入文件let writerStream = fs.createWriteStream('歌詞.txt');writerStream.write(lyricCtn, 'UTF8');writerStream.end();// 獲取評論數量const commentCount = await iframe.$eval('.sub.s-fc3', e => e.innerText);console.log(commentCount);// 獲取評論const commentList = await iframe.$$eval('.itm', elements => {const ctn = elements.map(v => {return v.innerText.replace(//s/g, '');});return ctn;});console.log(commentList);})();

參考

https://github.com/cnpm/cnpmjs.org/issues/1246#issuecomment-341631992

以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持武林網。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 申扎县| 尚义县| 巴楚县| 淮北市| 山东省| 靖江市| 朝阳区| 长治市| 泾阳县| 静乐县| 晋州市| 神农架林区| 自治县| 秦安县| 搜索| 辛集市| 新民市| 五指山市| 双鸭山市| 盘山县| 景洪市| 古田县| 吕梁市| 河南省| 区。| 龙川县| 阳新县| 民权县| 韩城市| 洛川县| 彝良县| 腾冲县| 红桥区| 名山县| 琼中| 汉川市| 扎兰屯市| 梅州市| 昌平区| 沙湾县| 三台县|