Robots.txt 文件應(yīng)放在哪里？

Robots.txt 文件必須放在網(wǎng)站的根目錄里。放在子目錄的 Robots.txt 文件搜索引擎不能爬取到，所以不會起任何作用?？梢酝ㄟ^FTP相關(guān)工具上傳

例子：

http://m.14lj.com/robots.txt是有效的，如果放在其他文件夾或者目錄下面都是無效的，檢查的最簡單方法就是在地址欄輸入這個網(wǎng)站，如果能打開，那么就是有效的。

如果你不能控制根目錄的 robots.txt，則你可以通過在子目錄網(wǎng)頁中使用標(biāo)簽阻止網(wǎng)頁被收錄。

相關(guān)資料供您參考：

robots.txt文件有什么必要？

robots.txt是什么