當搜索引擎已經索引一個網站的時候，這意味著什么？這說明我們的網站以[site:www.site.com]這種形式出現在搜索引擎中，并且這個頁面已經被添加至搜索引擎的數據庫中。但是這并不意味這該網頁就已經被搜索引擎爬行了。這就是為什么我們總是會看見這樣的情況：

“A description for this result is not available because of this site’s robots.txt.”

索引與爬行兩者之間存在著優先關系：

1. 首先，頁面的URL被發現；
2. 然后，搜索引擎爬行該頁面；
3. 最后，搜索引擎索引該頁面。

索引包含了搜索引擎所提取的網頁中重要的詞語或者短語，并不包含任何其他文檔或文件。索引中的每個詞語或者短語都指向其相應的文檔或者文件。

另一種解釋：如果搜索引擎知道了網站的URL，將會判斷是否應將該URL添加至爬行系統。如果已添加至爬行系統，搜索引擎會根據一些算法來將這些URL按照優先級來排序，最后按照這種順序來爬行相應網頁。當該頁面已經被爬行了之后，搜索引擎會啟動另一算法來評估該頁面是否有必要放入索引系統。因此，并不是每一個頁面搜索引擎都會爬行和索引。搜索引擎只爬行那些它們認為有價值、有意義的頁面。

注意：

• Robot.txt文件能夠阻止搜索引擎爬行該網頁。搜索引擎會根據Robot.txt中的規則來爬行網站。如果存在網頁在Robot.txt文件設置為禁止爬行，那么搜索引擎只能夠通過一些類似于網站內鏈中的文本信息了解該頁面的部分內容。因此，如果你想要網頁被搜索引擎爬取，最好檢查一下Robot.txt文件。
• 谷歌與其他搜索引擎如：必應、雅虎等，有一點不同。當其他因素極強地預示該頁面應該被索引，谷歌可能仍然會將該未被索引過的頁面顯示出來。而必應和雅虎則會遵從你的網頁規則。

另一大搜索引擎的工作原理就是PageRank。對PageRank影響最大的因素就是鏈接以及搜索引擎如何處理它們。首先你要知道搜索引擎在爬取頁面的時候，是不會處理鏈接的。因此PageRank和爬行是分開進行的。

PageRank是對頁面質量和鏈接質量的一種測量。頁面PR值的多少是我們無法控制的，搜索引擎會根據一系列的算法來綜合評估一個網頁的PR值。但是我們可以通過不斷的優化來提高頁面PR值升高的可能性。但是以下四點可能會對PageRank產生負面影響：

• 在鏈接中設置nofollow屬性；
• 在Robot.txt文件中設置disallow屬性；
• 原始頁面中存在404錯誤；
• 目標頁面中存在404錯誤。

以上詳細介紹了搜索引擎工作的兩大術語，相信會對你的搜索引擎優化工作有所幫助。搜索引擎針對網站綜合排名研制了非常多繁雜的算法，以確保公平公正的排名結果。我們需要做的就是踏實地做好優化工作，搜索引擎便會給予你相應的回報。