有些人會(huì)問，既然robots文件沒弄好，或出錯(cuò)了，會(huì)影響整個(gè)網(wǎng)站的收錄，那為什么還要這個(gè)文件呢？
其實(shí)robots是為有特別情況的站長準(zhǔn)備的，因?yàn)橛行┚W(wǎng)站，有一些頁面是站長不想被任何搜索引擎收錄的，所以才有了這個(gè)robots文件。
robots.txt文件用法舉例：
例1、禁止所有搜索引擎訪問網(wǎng)站的任何部分
User-agent: *
Disallow: /
例2、允許所有的robot訪問
User-agent: *
Disallow:
（或者也可以建一個(gè)空文件 "/robots.txt" file）
例3、禁止某個(gè)搜索引擎的訪問
User-agent: BadBot
Disallow: /
例4、允許某個(gè)搜索引擎的訪問
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
例5、假設(shè)某個(gè)網(wǎng)站有三個(gè)目錄對(duì)搜索引擎的訪問做了限制，可以這么寫：
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /joe/
需要注意的是，對(duì)每一個(gè)目錄必須分開聲明，而不要寫成：“Disallow: /cgi-bin/ /tmp/”。
User-agent：后的*（通配符） 具有特殊的含義，代表“any robot”，所以在該文件中不能有 “Disallow: /tmp/*” or “Disallow: *.gif ”這樣的記錄出現(xiàn)。
另外，robots.txt主要作用是保障網(wǎng)絡(luò)安全與網(wǎng)站隱私，百度蜘蛛遵循robots.txt協(xié)議。通過根目錄中創(chuàng)建的純文本文件robots.txt，網(wǎng)站就可以聲明哪些頁面不想被百度蜘蛛爬行并收錄，每個(gè)網(wǎng)站都可以自主控制網(wǎng)站是否愿意被百度蜘蛛收錄，或者指定百度蜘蛛只收錄指定的內(nèi)容。當(dāng)百度蜘蛛訪問某個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果該文件不存在，那么爬蟲就沿著鏈接抓取，如果存在，爬蟲就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍。

來源：seo優(yōu)化網(wǎng) 轉(zhuǎn)載注明出處！