會(huì)用到的功能的簡單介紹

1、from bs4 import BeautifulSoup

#導(dǎo)入庫

2、請求頭herders

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36','referer':"www.mmjpg.com" }all_url = 'http://www.mmjpg.com/' 'User-Agent':請求方式 'referer':從哪個(gè)鏈接跳轉(zhuǎn)進(jìn)來的

3、建立連接

start_html = requests.get(all_url, headers=headers)all_url：起始的地址，也就是訪問的第一個(gè)頁面headers：請求頭，告訴服務(wù)器是誰來了。requests.get：一個(gè)方法能獲取all_url的頁面內(nèi)容并且返回內(nèi)容。

4、解析獲取的頁面

Soup = BeautifulSoup(start_html.text, 'lxml')BeautifulSoup：解析頁面lxml：解析器start_html.text：頁面的內(nèi)容

5、處理獲取的頁面

all_a = Soup.find('div', class_='pic').find_all('a')[-2]Soup.find（）查找某一個(gè)find_all（）查找所有的，返回一個(gè)列表.find('img')['src']  ：獲取img的src鏈接屬性  class__:獲取目標(biāo)的類名div/a:類型條件為div/a的[-2]可以用來去掉最后多匹配的標(biāo)簽，這里表示去掉最后兩個(gè)a標(biāo)簽

6、獲取目標(biāo)內(nèi)容

<a href =# >內(nèi)容</a>a[i]/get_text():獲取第i個(gè)a標(biāo)簽里面的內(nèi)容

7、可能用到的其他功能介紹：

1、文件夾創(chuàng)建與切換

os.makedirs(os.path.join("E:/name", filename))#在目錄E:/name下創(chuàng)建名為filename的文件夾os.chdir("E:/name//" + filename)#切換工作路徑到E:/name/filename下

2、文件保存

f = open(name+'.jpg', 'ab')##寫入多媒體文件必須要 b 這個(gè)參數(shù)！f.write(img.content) ##多媒體文件要是用conctent！f.close()

案例：爬取妹紙圖

  import requestsfrom bs4 import BeautifulSoupimport os#導(dǎo)入所需要的模塊class mzitu():  def all_url(self, url):    html = self.request(url)##    all_a = BeautifulSoup(html.text, 'lxml').find('div', class_='all').find_all('a')    for a in all_a:      title = a.get_text()      print('------開始保存：', title)       path = str(title).replace("?", '_') ##替換掉帶有的？      self.mkdir(path) ##調(diào)用mkdir函數(shù)創(chuàng)建文件夾！這兒path代表的是標(biāo)題title      href = a['href']      self.html(href)   def html(self, href):  ##獲得圖片的頁面地址    html = self.request(href)    max_span = BeautifulSoup(html.text, 'lxml').find('div', class_='pagenavi').find_all('span')[-2].get_text()    #這個(gè)上面有提到    for page in range(1, int(max_span) + 1):      page_url = href + '/' + str(page)      self.img(page_url) ##調(diào)用img函數(shù)  def img(self, page_url): ##處理圖片頁面地址獲得圖片的實(shí)際地址    img_html = self.request(page_url)    img_url = BeautifulSoup(img_html.text, 'lxml').find('div', class_='main-image').find('img')['src']    self.save(img_url)  def save(self, img_url): ##保存圖片    name = img_url[-9:-4]    img = self.request(img_url)    f = open(name + '.jpg', 'ab')    f.write(img.content)    f.close()  def mkdir(self, path): ##創(chuàng)建文件夾    path = path.strip()    isExists = os.path.exists(os.path.join("E:/mzitu2", path))    if not isExists:      print('建了一個(gè)名字叫做', path, '的文件夾！')      os.makedirs(os.path.join("E:/mzitu2", path))      os.chdir(os.path.join("E:/mzitu2", path)) ##切換到目錄      return True    else:      print( path, '文件夾已經(jīng)存在了！')      return False  def request(self, url): ##這個(gè)函數(shù)獲取網(wǎng)頁的response 然后返回    headers = {      'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36',      'referer':#偽造一個(gè)訪問來源 "http://www.mzitu.com/100260/2"    }    content = requests.get(url, headers=headers)    return content#設(shè)置啟動(dòng)函數(shù)def main():  Mzitu = mzitu() ##實(shí)例化  Mzitu.all_url('http://www.mzitu.com/all') ##給函數(shù)all_url傳入?yún)?shù) main()