很多建站系統(tǒng)，在建成網(wǎng)站后，都網(wǎng)站根目錄，默認(rèn)有robots.txt協(xié)議文件。在網(wǎng)站優(yōu)化競(jìng)爭(zhēng)日益加劇的今天，原本設(shè)立之初無優(yōu)化因素的robots.txt文件也被最大化使用，掌握其寫法，有備無患。
　　
　 　一：robots.txt協(xié)議文件有什么用？
　　
　　搜索引擎訪問一個(gè)網(wǎng)站的時(shí)候，最先訪問的文件就是robots.txt。她告訴搜索引擎蜘蛛，哪些網(wǎng)站頁(yè)面可以被抓取，哪些禁止抓取。表面來看，這個(gè)功能作用有限。從搜索引擎優(yōu)化的角度來看，可以通過屏蔽頁(yè)面，達(dá)到集中權(quán)重的作用，這，也是優(yōu)化人員最為看重的地方。
　　
　　以某seo站點(diǎn)為例，其robots.txt文件如圖所示：

　　
　　robots.txt協(xié)議文件展示
　　
　 　二：網(wǎng)站設(shè)置robots.txt的幾個(gè)原因。
　　
　　1：設(shè)置訪問權(quán)限保護(hù)網(wǎng)站安全。
　　
　　2：禁止搜索引擎爬取無效頁(yè)面，集中權(quán)值到主要頁(yè)面。
　　
　 　三：怎么用標(biāo)準(zhǔn)寫法書寫協(xié)議？
　　
　　有幾個(gè)概念需掌握。
　　
　　User-agent表示定義哪個(gè)搜索引擎，如User-agent：Baiduspider，定義百度蜘蛛。
　　
　　Disallow表示禁止訪問。
　　
　　Allow表示運(yùn)行訪問。
　　
　　通過以上三個(gè)命令，可以組合多種寫法，允許哪個(gè)搜索引擎訪問或禁止哪個(gè)頁(yè)面。
　　
　 　四：robots.txt文件放在那里？
　　
　　此文件需放置在網(wǎng)站的根目錄，且對(duì)字母大小有限制，文件名必須為小寫字母。所有的命令第一個(gè)字母需大寫，其余的小寫。且命令之后要有一個(gè)英文字符空格。
　　
　 　五：哪些時(shí)候需要使用該協(xié)議。
　　
　　1：無用頁(yè)面，很多網(wǎng)站都有聯(lián)系我們，用戶協(xié)議等頁(yè)面，這些頁(yè)面相對(duì)于搜索引擎優(yōu)化來講，作用不大，此時(shí)需要使用Disallow命令禁止這些頁(yè)面被搜索引擎抓取。
　　
　　2：動(dòng)態(tài)頁(yè)面，企業(yè)類型站點(diǎn)屏蔽動(dòng)態(tài)頁(yè)面，有利于網(wǎng)站安全。且多個(gè)網(wǎng)址訪問同一頁(yè)面，會(huì)造成權(quán)重分散。因此，一般情況下，屏蔽動(dòng)態(tài)頁(yè)面，保留靜態(tài)或偽靜態(tài)頁(yè)面。
　　
　　3：網(wǎng)站后臺(tái)頁(yè)面，網(wǎng)站后臺(tái)也可以歸類于無用頁(yè)面，禁止收錄有百益而無一害。

　　把不想讓百度蜘蛛抓取的目錄或者頁(yè)面，寫到robots.txt文件里，然后上傳到網(wǎng)站根目錄就可以了。