搞過網(wǎng)站的朋友都知道robots.txt文件是用來限制搜索引擎不亂抓取，只抓取我們希望被收錄的內容的。比如我們網(wǎng)站的后臺就不希望被搜索抓取，那么robots文件需要這樣寫：

User-agent: *

Disallow: /admin/

但是這樣我們很容易發(fā)現(xiàn)了一個問題，如果有人要破解攻擊的話，很容易就知道了后臺，一下子就清楚了網(wǎng)站的結構。

我們并不想這樣！

有沒有辦法讓robots.txt既能限制搜索引擎，又不泄露后臺地址和隱私目錄呢？有！

一、使用通配符（*）：

User-agent: *

Disallow: /a*/

這樣的寫法，禁止所有的搜索引擎抓取根目錄下a開頭的目錄。當您的后臺是admok165的話，還有誰會看到呢？

二、只寫目錄前幾個字母，不寫全：

User-agent: *

Disallow: /ad

這種的寫法，是禁止所有的搜索引擎抓取根目錄下ad開頭的目錄。

最后說明一下，以上這兩種方法，需要網(wǎng)站目錄沒有相同字母開頭的，例如ad目錄，如果有兩個一樣的，那需在robots.txt文件里再加上一個字母區(qū)別開來。