在爬蟲的過程中，我們經常會遇見很多網站采取了防爬取技術，或者說因為自己采集網站信息的強度和采集速度太大，給對方服務器帶去了太多的壓力。

如果你一直用同一個代理ip爬取這個網頁，很有可能ip會被禁止訪問網頁，所以基本上做爬蟲的都躲不過去ip的問題。

1、我們在做爬蟲的過程中經常會遇到這樣的情況，最初爬蟲正常運行，正常爬取數據，一切看起來都是那么美好，然而不久之后可能會出現錯誤，比如 403 Forbidden，這時候你打開網頁一看，可能會看到“您的 IP 訪問頻率太高”這樣的提示。出現這種情況的原因是網站采取了一些反爬蟲措施，比如，服務器會檢測某個 IP 在單位時間內的請求次數，如果超過了這個閾值，就會直接拒絕服務，返回一些錯誤信息，這種情況可以稱為封 IP。

爬蟲代理獲取

獲取IP池其實要找信的過的爬蟲代理，我用的就是飛豬爬蟲代理  ，優點自然就是使用率高于99%，缺點是沒有免費的，0.03元一個IP，一天可以用1000個，一次可以API提取200個 。當然如果你們的用量還不滿足可以加！ 

爬蟲代理IP的使用

運行上面的代碼會得到一個隨機的proxies，把它直接傳入requests的get方法中即可。

1、測試效果

本次測試得出的結論：飛豬IP爬蟲代理，可用率、響應速度、穩定性、價格、安全性、使用頻率，還是不錯的，值得推薦

總結：以上就是關于python爬蟲設置代理IP的步驟內容，感謝大家的閱讀和對武林站長站的支持。