大家好哈，上一節我們研究了一下爬蟲的異常處理問題，那么接下來我們一起來看一下Cookie的使用。

為什么要使用Cookie呢？

Cookie，指某些網站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數據（通常經過加密）

比如說有些網站需要登錄后才能訪問某個頁面，在登錄之前，你想抓取某個頁面內容是不允許的。那么我們可以利用Urllib2庫保存我們登錄的Cookie，然后再抓取其他頁面就達到目的了。

在此之前呢，我們必須先介紹一個opener的概念。
1.Opener

當你獲取一個URL你使用一個opener(一個urllib2.OpenerDirector的實例)。在前面，我們都是使用的默認的opener，也就是urlopen。它是一個特殊的opener，可以理解成opener的一個特殊實例，傳入的參數僅僅是url，data，timeout。

如果我們需要用到Cookie，只用這個opener是不能達到目的的，所以我們需要創建更一般的opener來實現對Cookie的設置。
2.Cookielib

cookielib模塊的主要作用是提供可存儲cookie的對象，以便于與urllib2模塊配合使用來訪問Internet資源。 Cookielib模塊非常強大，我們可以利用本模塊的CookieJar類的對象來捕獲cookie并在后續連接請求時重新發送，比如可以實現模擬登錄 功能。該模塊主要的對象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

它們的關系：CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar
1）獲取Cookie保存到變量

首先，我們先利用CookieJar對象實現獲取cookie的功能，存儲到變量中，先來感受一下
 

import urllib2import cookielib#聲明一個CookieJar對象實例來保存cookiecookie = cookielib.CookieJar()#利用urllib2庫的HTTPCookieProcessor對象來創建cookie處理器handler=urllib2.HTTPCookieProcessor(cookie)#通過handler來構建openeropener = urllib2.build_opener(handler)#此處的open方法同urllib2的urlopen方法，也可以傳入requestresponse = opener.open('http://www.baidu.com')for item in cookie:  print 'Name = '+item.name  print 'Value = '+item.value

我們使用以上方法將cookie保存到變量中，然后打印出了cookie中的值，運行結果如下
 

Name = BAIDUIDValue = B07B663B645729F11F659C02AAE65B4C:FG=1Name = BAIDUPSIDValue = B07B663B645729F11F659C02AAE65B4CName = H_PS_PSSIDValue = 12527_11076_1438_10633Name = BDSVRTMValue = 0Name = BD_HOMEValue = 0

2）保存Cookie到文件

在上面的方法中，我們將cookie保存到了cookie這個變量中，如果我們想將cookie保存到文件中該怎么做呢？這時，我們就要用到

FileCookieJar這個對象了，在這里我們使用它的子類MozillaCookieJar來實現Cookie的保存
 

import cookielibimport urllib2 #設置保存cookie的文件，同級目錄下的cookie.txtfilename = 'cookie.txt'#聲明一個MozillaCookieJar對象實例來保存cookie，之后寫入文件cookie = cookielib.MozillaCookieJar(filename)#利用urllib2庫的HTTPCookieProcessor對象來創建cookie處理器handler = urllib2.HTTPCookieProcessor(cookie)#通過handler來構建openeropener = urllib2.build_opener(handler)#創建一個請求，原理同urllib2的urlopenresponse = opener.open("http://www.baidu.com")#保存cookie到文件cookie.save(ignore_discard=True, ignore_expires=True)