Python常用庫的安裝
urllib、re 這兩個(gè)庫是Python的內(nèi)置庫，直接使用方法import導(dǎo)入即可。
在python中輸入如下代碼：
import urllibimport urllib.requestresponse=urllib.request.urlopen("http://www.baidu.com")print(response)返回結(jié)果為HTTPResponse的對象：
<http.client.HTTPResponse object at 0x000001929C7525F8>
正則表達(dá)式模塊
import re
該庫為python自帶的庫，直接運(yùn)行不報(bào)錯(cuò)，證明該庫正確安裝。
requests這個(gè)庫是請求的庫
我們需要使用執(zhí)行文件pip3來進(jìn)行安裝。文件處于C:/Python36/Scripts下，我們可以先將此路徑設(shè)為環(huán)境變量。在命令行中輸入pip3 install requests進(jìn)行安裝。安裝完成后進(jìn)行驗(yàn)證
>>> import requests>>> requests.get('http://www.baidu.com')<Response [200]>selenium實(shí)際上是用來瀏覽器的一個(gè)庫
做爬蟲時(shí)可能會(huì)碰到使用JS渲染的網(wǎng)頁，使用requests來請求時(shí)，可能無法正常獲取內(nèi)容，我們使用selenium可以驅(qū)動(dòng)瀏覽器獲得渲染后的頁面。也是使用pip3 install selenium安裝。進(jìn)行驗(yàn)證
>>> import selenium>>> from selenium import webdriver>>> driver = webdriver.Chrome()DevTools listening on ws://127.0.0.1:60980/devtools/browser/7c2cf211-1a8e-41ea-8e4a-c97356c98910>>> driver.get('http://www.baidu.com')上述命令可以直接打開chrome瀏覽器，并且打開百度。但是，在這之前我們必須安裝一個(gè)chromedriver，并且安裝googlchrome瀏覽器，可自行去官網(wǎng)下載。當(dāng)我們安裝完畢后再運(yùn)行這些測試代碼可能依舊會(huì)出現(xiàn)一閃而退的情況，那么問題出在，chrome和chromdriver的版本不兼容，可以在官網(wǎng)下載chrome更高的版本，或者chromedriver更低的版本，但是只要都是最高版本就沒問題。
如何查看本機(jī)的chrome的版本，具體方法如下：
chromedriver的下載地址如下：
http://chromedriver.storage.googleapis.com/index.html
chromedriver解壓后放到Python或者其他配置了環(huán)境變量的目錄下。
phantomjs是一個(gè)無界面瀏覽器，在后臺運(yùn)行
可在官網(wǎng)自行下載。并且需要將phantomjs.exe 的所在目錄設(shè)為環(huán)境變量。測試代碼
>>> from selenium import webdriver>>> driver = webdriver.PhantomJS()>>> driver.get('http://www.baidu.com')>>> driver.page_source'<!DOCTYPE html><!--STATUS OK--><html><head>/n lxml
使用pip3 install lxml安裝
beautifulsoup是一個(gè)網(wǎng)絡(luò)解析庫，依賴于lxml庫
新聞熱點(diǎn)
疑難解答
圖片精選
