網(wǎng)站鏈接可以點擊打開頁面,但是網(wǎng)站日志中爬蟲顯示為死鏈接(如何發(fā)現(xiàn)網(wǎng)站死鏈,請查看下載死鏈檢測工具:死鏈檢測工具Xenu)。
【詳述】:死鏈產(chǎn)生的原因是:因為友鏈頁面上線時候,程序員沒加內(nèi)容,自動返回404了,而且是網(wǎng)站每個頁面底下都會出現(xiàn),才會出現(xiàn)這么多死鏈接。但是及時處理之后,還會有爬蟲爬的結(jié)果是死鏈,我正常點擊是沒問題的,不知道為啥?最重要的是我現(xiàn)在能做些什么挽救下嗎?
網(wǎng)站死鏈
【解決方案】:根據(jù)我的經(jīng)驗,這個時間僅作為參考吧,畢竟無法考證。(日志里看不到蜘蛛在這個時間對死鏈URL的抓取)我猜測中間流程是這樣的:(如何處理死鏈,seo大神分享死鏈解決方案教你如何處理預防網(wǎng)站死鏈)

(1)蜘蛛抓取了死鏈前鏈URL,緩存到百度的頁面庫中;
(2)蜘蛛發(fā)現(xiàn)死鏈URL返回了404,并且持續(xù)一段時間訪問,依然返回404(用于判斷該頁面是否為臨時404,當持續(xù)返回404次數(shù)到一定閾值后,不再訪問,認定該URL是死鏈),將該URL納入死鏈庫;
(3)抓取導出了死鏈的頁面,判斷這些頁面上是否依然導出了死鏈,如果依然導出,則記錄該次抓取時間;
(4)注意,第三步,可能只會抓取死鏈前鏈的頁面,不會再對死鏈URL進行抓取(即使死鏈URL現(xiàn)在已經(jīng)好了,但沒能在短時間內(nèi)正常返回狀態(tài)碼/頁面信息,所以不會再被抓取);
【死鏈對網(wǎng)站的影響】盡量從程序上嚴謹?shù)剡M行設計,死鏈問題雖小,但可能會因為出現(xiàn)的時間長、范圍廣,而影響到整體網(wǎng)站的表現(xiàn)具體為:
(1)導出死鏈的頁面,評分會受到影響(如果有多數(shù)頁面,因為導出死鏈而在頁面評級層面從優(yōu)質(zhì)>一般>低質(zhì)進行轉(zhuǎn)變的話,對整個網(wǎng)站也是一種損失);
(2)如果經(jīng)常導出死鏈,可能會使網(wǎng)站的內(nèi)容質(zhì)量受到懷疑(特別是使用了頁面提交的情況下,可能會使得搜索引擎分配給網(wǎng)站的資源配額降低。
綜合起來,死鏈這個問題還是要嚴格控制的。試想一下,頁面導出黑鏈、垃圾頁面、低質(zhì)量頁面,就已經(jīng)夠頁面受的了,導出讓搜索引擎根本無法識別的頁面,搜索引擎會喜歡嗎?
新聞熱點
疑難解答
圖片精選