robots.txt文件有什么必要？

什么是robots.txt文件?
 

搜索引擎機器人通過鏈接抵達互聯(lián)網上的每個網頁，并抓取網頁信息。搜索引擎機器人在訪問一個網站時，會首先檢查該網站的根目錄下是否有一個叫做robots.txt的純文本文件。當我們的網站有一些內容不想被搜索引擎收錄，我們可以通過設置robots.txt文件告知搜索引擎機器人，這樣信息就不會被抓取。
 

如果網站上沒有禁止搜索引擎收錄的內容，則不用設置robots.txt文件，或設置為空。
 

從SEO網站優(yōu)化的角度，robots.txt文件是一定要設置的，原因：

1.網站上經常存在這種情況：不同的鏈接指向相似的網頁內容。比如/index.php ，/index.html 都能夠打開首頁，這就不符合SEO上講的“網頁內容互異性原則”。采用robots.txt文件可以屏蔽掉次要的鏈接。
2.網站改版或URL重寫優(yōu)化時原來不符合搜索引擎友好的鏈接需要全部屏蔽掉，這樣就減少了返回404頁面的機會，采用robots.txt文件刪除舊的鏈接符合搜索引擎友好，如果您實在不會寫robors.txt文件，那您就需要了解：404頁面該怎么做
3.一些沒有關鍵詞的頁面，比如本站的這個頁面http://m.14lj.com/plus/search.php ，屏蔽掉更好。
4.一般情況下，站內的搜索結果頁面屏蔽掉更好。