在我們優化的過程中，有一些網站設計技術對搜索引擎來說是很不友好，不利于蜘蛛爬行和抓取，這些技術被稱為蜘蛛陷阱。下面給大家介紹以下幾種常見的蜘蛛陷阱，大家在工作中一定要全力避免。  

一、flash  

1、在網頁的某一小部分使用flash增強視覺效果是很正常的，比如用flash做成的廣告、圖標等。這種小flash和圖片是一樣的，只是html代碼中的很小一部分，頁面上還有其他以文字為主的內容，所以對搜索引擎抓取和收錄沒有影響。  

2、但是有的網站整個首頁就是一個大的flash文件，這就構成了蜘蛛陷阱。搜索引擎抓取的html代碼只有一個連向flash文件的鏈接，沒有其他文字內容。搜索引擎是無法讀取flsh文件中的文字和鏈接的。  

3、整個網站就是一個大的flash文件，從seo的角度來說是萬萬不可的。如果flash是必須要加，建議在首頁加上一個通往html版本的鏈接。這個鏈接應該是在flash文件之外的html代碼中，搜索引擎跟蹤這個鏈接可以抓取后面的html版本頁面。  

二、各種跳轉  

1、除了后面會介紹的301轉向以外，搜索引擎對其他形式的跳轉都比較敏感，如:302，js，等跳轉。  

2、有些網站用戶訪問首頁時會被自動轉向到某個目錄下的頁面。如果是按用戶地理位置轉向至最適合的目錄，那倒情有可原。但大部分這種首頁轉向看不出任何理由和目的，這樣的轉向能避免則避免。  

3、如果必須轉向，301轉向是搜索推薦的、用戶網址更改的轉向，可以把頁面權重從舊網址轉移到新網址。其他轉向方式是都對蜘蛛爬行不利的。  

三、框架結構  

1、如果作為站長的你不知道什么是框架結構，那么恭喜你，你已經避免了這個蜘蛛陷阱，根本沒必要知道什么是框架結構。如果你在網站設計中還在使用框架結構，我的建議是取消。  

2、使用框架結構設計頁面，在網站誕生初期曾經挺流行的，因為對網站的頁面更新維護有一定方便性。不過現在的網站已經很少使用框架了，不利于搜索引擎抓取是框架越來越不流行的重要原因之一，對搜索引擎來說，訪問一個使用框架的網址所抓取的html文件只包含調用其他html文件的代碼，并不包含文字信息，搜索引擎根本無法判斷這個網址的內容是什么。  

四、動態url  

動態url指的是數據庫驅動的網站所生成的、帶有問號、等號及參數的網址。一般來說動態url不利于搜索引擎蜘蛛爬行，應該盡量避免。  

五、js鏈接  

由于js可以創造出很多吸引人的視覺效果，有些網站喜歡使用js腳本生成導航系統。這也是比較嚴重的蜘蛛陷阱之一  

六、要求登錄  

有些網站內容放在需要用戶登錄之后才能看到的會員區域，這部分內容搜索引擎無法看到。蜘蛛不能填寫用戶名、密碼，也不會注冊。  

七、強制使用cookies  

有些網站為了實現某種功能，如記住用戶登錄信息、跟蹤用戶訪問路徑等，強制用戶使用cookies，用戶瀏覽器如果沒有啟用cookies，頁面顯示不正常。搜索引擎蜘蛛就相當于一個禁用cookies的瀏覽器，強制使用cookies只能造成搜索引擎蜘蛛無法正常訪問。