今天給大家說下蜘蛛陷阱，也是我交的作業(yè)中的部分內(nèi)容。中招的童鞋自己注意整改，具體整改措施，這里就不多說了，因?yàn)樽鳂I(yè)還沒被改完，避免泄露答案。

蜘蛛陷阱的“前因后果”

一、蜘蛛陷阱的含義

陷阱原意是狩獵用的坑穴等處所，對人則是比喻使人受騙上當(dāng)?shù)娜μ祝敲磳χ┲雱t是兩層含義：

A、 蜘蛛在爬行網(wǎng)站時，遭遇到一些讓蜘蛛程序無法正常收錄頁面或繼續(xù)爬行網(wǎng)站的障礙，通常是非故意為之的；

B、 使用一些技術(shù)手段，讓蜘蛛無法按正常網(wǎng)址目錄爬行抓取原目的網(wǎng)站相關(guān)頁面，而將蜘蛛引入到預(yù)設(shè)好的頁面或網(wǎng)站，達(dá)到干擾蜘蛛判斷網(wǎng)頁內(nèi)容主題等網(wǎng)頁搜索質(zhì)量體系中的相關(guān)指標(biāo)值，通常是黑客等獲益人故意為之的。

二、蜘蛛陷阱的產(chǎn)生、危害及預(yù)防

（一） 蜘蛛程序爬行網(wǎng)站時遇到障礙的幾個問題

1、避免蜘蛛被排除在可訪問資源的人群之外

產(chǎn)生原因：只給特定人群訪問權(quán)限，如只讓已登陸或輸入了正確密碼的人能訪問到，或要求用戶有cookies才顯示內(nèi)容。被排除在可訪問人群之外的蜘蛛程序就無法獲取到資源內(nèi)容。

2、避免讓蜘蛛獲得的url不正確或不規(guī)范

產(chǎn)生原因：在設(shè)置url的時候不規(guī)范或內(nèi)外推廣的url不正確，會讓蜘蛛獲得不正確或不規(guī)范的url。比如帶有等號與問號的動態(tài)url，通常url中包含多參數(shù)，易造成多個url對應(yīng)的頁面內(nèi)容相同，特別當(dāng)統(tǒng)計用戶信息、彈窗回話或分析流量時，會在用戶訪問url時再增ID參數(shù)后返回頁面內(nèi)容；推廣了缺失字符等不正確的url；同一頁面內(nèi)容動靜態(tài)URL均可訪問。

3、避免讓蜘蛛被重定向弄的暈頭轉(zhuǎn)腦

產(chǎn)生原因：通常是資源被遷移，導(dǎo)致資源地址有變，但在相關(guān)網(wǎng)頁中沒修改成資源新地址，導(dǎo)致網(wǎng)頁中出現(xiàn)舊資源地址，一些網(wǎng)站就會使用重定向技術(shù)，將舊地址重定向到新地址。

4、避免出現(xiàn)目前蜘蛛不善于處理的資源形式

產(chǎn)生原因：一些網(wǎng)站出于視覺效果等考慮，將重要資源展示在頁面內(nèi)的框架結(jié)構(gòu)、FLASH、JS特效區(qū)、圖片、音頻、視頻中。

5、避免讓蜘蛛遍歷層次過深

產(chǎn)生原因：內(nèi)容分類過多或過細(xì)，可能會分到4級以上，有幾百甚至上千欄目，而一個頁面的鏈接放置數(shù)是有限的，一些分類或欄目的鏈接不得不從首頁點(diǎn)5次以上才到達(dá)。另外還有一些信息藏得較深，蜘蛛要從首頁遍歷較多層次后才能獲得。

6、避免錯誤配置文件妨礙蜘蛛爬行

產(chǎn)生原因：網(wǎng)站配置UA訪問權(quán)限，可能會配置不當(dāng)而禁止了蜘蛛的正常爬行；網(wǎng)站配置IP訪問權(quán)限，而誤禁了部分蜘蛛IP；網(wǎng)站配置防刷新機(jī)制，而妨礙了蜘蛛爬行；網(wǎng)站配置robots等相關(guān)文件，而誤禁止了蜘蛛對某些目錄或文件的正常爬行。

（二） 蜘蛛抓取爬行時被有意干擾的幾個問題

1、頁面中被JS等形式放入一些黑鏈

產(chǎn)生原因：疏于查看導(dǎo)出鏈接或技術(shù)缺失，僅憑肉眼或站長工具查看導(dǎo)出鏈。黑客等獲益人就以js等形式將一些鏈接放置到網(wǎng)頁中。

2、頁面被meta reresh，js等跳轉(zhuǎn)到其他站點(diǎn)或頁面

產(chǎn)生原因：網(wǎng)站基本不管理或一些頁面基本不維護(hù)，黑客等獲益人就會明目張膽的寫入跳轉(zhuǎn)源碼，讓訪問這些頁面的用戶跳轉(zhuǎn)到其他站點(diǎn)或頁面。

3、頁面被js等蜘蛛較難識別的形式嵌入一些內(nèi)容

產(chǎn)生原因：一些網(wǎng)站疏于查看自己頁面的訪問體驗(yàn)或缺少與訪客的溝通。于是黑客等獲益人就以蜘蛛較難識別的形式嵌入一些廣告內(nèi)容到網(wǎng)頁中，處理的較好，網(wǎng)站安全工具也檢測不出來，另外安全聯(lián)盟廠家相關(guān)產(chǎn)品也無警告。

4、網(wǎng)站被加入一些不相干的文件夾內(nèi)容

產(chǎn)生原因：一些網(wǎng)站管理者關(guān)注的是前臺頁面以及后臺功能，沒有關(guān)注到網(wǎng)站在搜索引擎的收錄頁面及關(guān)鍵詞排名情況。于是黑客等獲益人就在網(wǎng)站中加入一些不相干的文件夾內(nèi)容，再通過站群等手段，將這些不相干內(nèi)容的大力推廣，于是這些url就被收錄并且排名十分好。

5、在不同的UA下顯示不同的內(nèi)容

產(chǎn)生原因：通過識別訪客的user-agent，讓蜘蛛看到的是一個正常頁面的內(nèi)容，而讓普通用戶點(diǎn)擊進(jìn)入網(wǎng)站后看到的是另一個頁面。主要因?yàn)橐恍┚W(wǎng)站管理者關(guān)注的是前臺頁面以及后臺功能，沒有關(guān)注到網(wǎng)站在搜索引擎的收錄頁面及關(guān)鍵詞排名情況，于是黑客等獲益人就喜歡在宿主網(wǎng)站上上傳自己設(shè)計好的專門給搜索引擎看的內(nèi)容，將它們的url進(jìn)行站群式等推廣，于是就被收錄并且排名十分好。普通用戶被跳轉(zhuǎn)引導(dǎo)到目標(biāo)網(wǎng)站，專門針對蜘蛛做的內(nèi)容可引導(dǎo)蜘蛛到目標(biāo)網(wǎng)站。這樣普通用戶和蜘蛛就都被劫持到目標(biāo)網(wǎng)站上了。

--lvxianlei2010

來源：seo優(yōu)化網(wǎng) 轉(zhuǎn)載注明出處！