robots.txt文件應該放在網站根目錄下。舉例來說，當搜索引擎訪問一個網站時，首先會檢查該網站中是否存在robots.txt這個文件，如果robots機器人程序找到這個文件，它就會根據這個文件的內容，來確定它訪問權限的范圍。
wordpress的robots文件位置
沒在wordpress網站根節目上傳過robots.txt,當搜尋引擎和用戶拜訪某個文件時，wordpress程序會主動生成一個robots.txt給搜尋引擎和用戶;若是我們上傳編寫的robots.txt到網站根節目，用戶和搜尋引擎蛛蛛拜訪的就是我們上傳的文件，wordpress就不會再產生那個文件了。只有服務器找不到robots的時候wordpress才會生成這個文件。

來源：seo優化網 轉載注明出處！