蜘蛛日志分析，蜘蛛抓取動態優化，那么網站日志分析能為SEOer帶來什么？

日志是SEOer每天需要分析的基本技能，通過每日的日志分析從而了解蜘蛛動態，從而有效分辨蜘蛛爬行的頁面有效性，通過日常分析蜘蛛返回狀態嗎，從而發現網站中是否存在錯誤，從而具有蜘蛛無法爬行到的頁面，排除服務器錯誤、頁面錯誤、噪音頁面(重復頁面，低質量頁面，空內容頁面，404頁面，不排名頁面等)此類頁面，SEO從而針對其進行優化!

網站日志又稱蜘蛛日志，它是成千上萬個“蜘蛛”小爬蟲程序每天爬行數千萬個網站，這個小爬蟲程序就是“蜘蛛”，它在網站爬行后留下的軌跡或痕跡就是“日志”。

常見的蜘蛛名稱：

Baiduspider;Baiduspider-Image;Googlebot;Googlebot-Image;360Spider;sogou spider。

網站蜘蛛日志分析解讀，SEO站長自查診斷

作為一名SEO愛好者，分析網站蜘蛛日志是必不可少的，通過網站日志中的數據記錄，站長們就可以很好的診斷我們的網站是否處在健康狀態。比如博主的網站最近就受到不少掛黑鏈的攻擊，無論是網站權重還是流量都帶來很大損失，所以網站蜘蛛日志分析勢在必行，通過網站調整正確引導搜索引擎蜘蛛的抓取。

蜘蛛日志分析​

什么是網站日志

通過百科我們也可以了解到，所謂的網站日志指的就是記錄web服務器接收處理請求以及運行時錯誤等各種原始信息的以log結尾的文件。這里站長們要注意的是文件以log為后綴，只需將其下載下來使用工具分析即可。

網站日志怎么獲取

不同的服務器和虛擬主機存放的log文件位置還是有一定差別的，但一般獲取方法還是比較簡單的，如博主服務器安裝的是寶塔面板，網站日志文件存放在文件-wwwlogs文件夾中，找到對應網站的log文件然后下載下來。

網站日志分析工具

網站日志分析工具是有很多的，比如在線的網站日志工具拉格好另外博主常用的是光年網站日志分析工具。這些工具大同小異，文件和工具都有了，下面我們就深入探究下如何分析這些網站數據。

常見網站蜘蛛有哪些

BaiDu Spider：即是代表百度搜索引擎蜘蛛，從上圖可以看到尹華峰SEO博客的搜索引擎爬蟲來自百度，占比52%

Sogou Spide：代表搜狗搜索引擎蜘蛛，訪問次數雖少，但是抓取總量卻很大，這讓博主發現了其中的貓膩，原因就是本站某個欄目被人攻擊，掛了大量給搜狗搜索引擎蜘蛛抓取的黑鏈。

谷歌蜘蛛：表示Google搜索引擎蜘蛛，做谷歌SEO的站長需要多加注意。

Alexa Spider：代表網站全球排名搜索引擎蜘蛛，該爬蟲主要分析網站的訪問流量，并統計網站全球排名，當前本站在全球排名610481位。

除此之外，其實還是有其他搜索引擎爬蟲的，如Yahoo蜘蛛、360Spider等，以上只是本站的搜索引擎蜘蛛概要分析，因為剛換服務器的原因，目前蜘蛛抓爬的數據體量是比較小的，僅供參考。通過日志工具主動與搜索引擎蜘蛛溝通，我們還可以進一步分析網站抓取情況和狀態碼分析。

網站蜘蛛日志分析解讀

目錄抓取：可以分析網站目錄的抓取量，了解搜索引擎蜘蛛的愛好。通過上圖可以看到Sogou Spide主要抓取了我的/kjzx/目錄，同其他目錄對比抓取量比較大，出現異常。于是我進入網站根目錄進行查看，發現了掛黑鏈的腳本文件，這也印證了博主前面的判斷。

頁面抓取：頁面抓取量是比較穩定的，沒有哪個頁面抓取量大而出現異常，這里博主就不再截圖，但博主發現抓取量最大的頁面就是robots.txt文件，所以站長們設置好robots規則也是很重要的。

狀態碼返回分析解讀

200代表搜索引擎蜘蛛訪問成功；

404代表頁面無法訪問；

301代表頁面跳轉；

304代表客戶端已經執行了GET，但文件未變化；

500狀態碼表示服務器遇到錯誤，無法完成請求；

403狀態碼表示服務器拒絕請求。

以上是本站遇到的一些蜘蛛狀態碼(更多狀態碼請參考：網站日志常見HTTP狀態碼分析)，站長尤其是查看非200值的狀態碼，分析這些異常的URL路徑，很容易就找到網站癥結之所在。

網站日志的作用

網站日志分析對SEO站長來說應該是必備技能，無論是新站還是老站，網站日志分析都有很大的作用。通過日志分析了解網站蜘蛛抓取頻次、是否被關進沙盒、網站是否被K、查找異常抓取等。

結語：通過網站蜘蛛日志分析，SEO站長可以很好自查診斷網站是否出現問題，不僅可以了解網站的健康狀況，通過抓取量還可以進一步了解搜索引擎蜘蛛的愛好，清楚網站內容運營的重心之所在，也可以起到很好的指導作用。

總結：

所以不管是新站還是老網站，不管你做百度還是Google我們都能通過網站日志分析出來搜索引擎蜘蛛抓取的情況;如果網站長時間收錄有問題，那么我們也可以對比網站日志中的搜索引擎蜘蛛行為，來了解網站是哪方面出了問題;如果網站被封，或者被K，我們都可以通過觀察網站日志的情況來了解原因出在什么地方。我們要看的網站日志的分析和診斷就像給網站看病一樣，我們通過網站日志的分析，可以簡單明了的就知道網站的健康狀況，可以利于我們更好的做網站優化，所以對于真正的SEO高手而言，分析蜘蛛日志是最直觀，最有效的額。