robots.txt是放在網(wǎng)站根目錄之下的一個(gè)文件，不是供用戶查看，而是供搜索引擎查看的。當(dāng)搜索引擎蜘蛛爬行網(wǎng)站時(shí)，可以通過robots文件明白自己的訪問權(quán)限。robots文件不是像W3C那樣指定的網(wǎng)絡(luò)規(guī)范協(xié)議，而是由許多搜索引擎定制的。

　　雖然我們知道了robots文件的含義是什么，但是robots文件對(duì)于站點(diǎn)SEO優(yōu)化有什么作用呢?robots文件對(duì)于網(wǎng)站seo有一定的作用，要對(duì)其熟練的進(jìn)行運(yùn)用，主要有以下五個(gè)方面促進(jìn)網(wǎng)站優(yōu)化推廣，因?yàn)閞obots文件是針對(duì)搜索引擎，所以運(yùn)用得好，可以增加搜索引擎的抓取網(wǎng)站的體驗(yàn)度，從而增加量網(wǎng)站的收錄量。

　　1.屏蔽網(wǎng)站的空、死鏈接

　　由于網(wǎng)站內(nèi)容的修改和刪除，很容易導(dǎo)致網(wǎng)站中的一些內(nèi)部鏈接變成空鏈或死鏈。通常我們會(huì)定期檢查網(wǎng)站的空鏈和死鏈，提取這些鏈接，將它們寫入robots文件中，防止搜索引擎抓取這些鏈接。這種方法是有效的，因?yàn)樾薷囊呀?jīng)收錄的內(nèi)容將使搜索引擎再次爬行修改過的頁(yè)面，并且再次判斷是否收錄，如果沒有的話就會(huì)繼續(xù)收錄，則會(huì)得不嘗失。

　　2.防止蜘蛛爬取網(wǎng)站的重復(fù)內(nèi)容

　　因?yàn)楹芏嗑W(wǎng)站上的動(dòng)態(tài)頁(yè)面搜索引擎都不能收錄，所以很多時(shí)候我們需要為這些動(dòng)態(tài)頁(yè)面開發(fā)一個(gè)靜態(tài)頁(yè)面，以幫助搜索引擎收錄。這是為了不讓搜索引擎抓取重復(fù)的內(nèi)容，減少站內(nèi)頁(yè)面的關(guān)鍵詞的權(quán)重競(jìng)爭(zhēng)。

　　3.防止蜘蛛抓取無意義的內(nèi)容，浪費(fèi)服務(wù)器資源

　　網(wǎng)站上有很多無意義的內(nèi)容，如網(wǎng)站的各種腳本代碼、CSS文件和PHP文件等，這些文件對(duì)于網(wǎng)站優(yōu)化毫無意義，抓取這些網(wǎng)站不僅不會(huì)收錄，還會(huì)浪費(fèi)服務(wù)器資源。

　　4.保護(hù)網(wǎng)站隱私內(nèi)容

　　網(wǎng)站上有很多的頁(yè)面都有一定程度的隱私，如用戶接受的推送或者推購(gòu)物車等，雖然這些鏈接在一個(gè)頁(yè)面上，但顯然是不希望搜索引擎抓取的內(nèi)容。

　　5.有利于網(wǎng)站的調(diào)試

　　網(wǎng)站在初次上線之前都會(huì)有一定的錯(cuò)誤，需要一段時(shí)間的調(diào)試，然后再對(duì)搜索引擎開放爬行，在調(diào)試期間，你可以將robots文件設(shè)置成對(duì)所有的搜索引擎都處于拒絕爬行的狀態(tài)，等到所有的錯(cuò)誤修改完成后在修改robots文件。

　　每次修改robots文件后都需要到搜索引擎站長(zhǎng)平臺(tái)上提交robots文件更新提醒，因?yàn)樗阉饕娓戮W(wǎng)站的狀態(tài)是需要一定的時(shí)間，只有手工提交才能使更新后的robots文件生效。