現(xiàn)在基本上所有的優(yōu)化站點(diǎn)中都有加入robots文件，但是也有一部分SEOer們對(duì)于robots文件不是很了解。今天我們就一起來(lái)學(xué)習(xí)學(xué)習(xí)關(guān)于robots文件的相關(guān)內(nèi)容。

1、每一個(gè)網(wǎng)站中只能有一個(gè)robots文件，文件命名都是robots.txt

2、robots.txt文件正確的位置是放在網(wǎng)站優(yōu)化的根目錄下，如果位于子目錄下則該文件無(wú)法訪問(wèn)

3、robots.txt文件不能夠阻止任何文件的訪問(wèn)，只能夠阻止搜索引擎對(duì)內(nèi)容的索引，它是一個(gè)公共資源，如果使用不正確，就會(huì)將相關(guān)內(nèi)容暴露給黑客

4、robots.txt文件的寫(xiě)法

User-agent:*

Disallow:/

阻止搜索引擎對(duì)任何內(nèi)容的訪問(wèn)，網(wǎng)站所有頁(yè)面將不會(huì)被收錄

User-agent:*

Disallow:/directory

阻止對(duì)directory開(kāi)始的所有信息的訪問(wèn)

User-agent:*

Disallow:/directory/

阻止搜索引擎對(duì)/directory/目錄的訪問(wèn)

User-agent:*

Disallow:X

Disallow:Y

Disallow:Z

User-agent:googlebot

Disallow:Z

對(duì)于Google只是阻止對(duì)Z的訪問(wèn)，而不是X，Y，Z

User-agent:*

Disallow:X

Disallow:Y

Disallow:Z

User-agent:googlebot

Disallow:X

Disallow:Y

Disallow:Z

阻止google對(duì)X，Y,Z的訪問(wèn)