robots.txt文件放在哪里
robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。舉例來說，當(dāng)spider訪問一個(gè)網(wǎng)站（比如 http://www.abc.com）時(shí)，首先會(huì)檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個(gè)文件，如果 Spider找到這個(gè)文件，它就會(huì)根據(jù)這個(gè)文件的內(nèi)容，來確定它訪問權(quán)限的范圍。

來源：seo優(yōu)化網(wǎng) 轉(zhuǎn)載注明出處！