Robots協(xié)議（蜘蛛人協(xié)議、機(jī)器人協(xié)議）告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

什么是robots.txt文件?

robots.txt文件是每一個(gè)搜索引擎蜘蛛到你的網(wǎng)站之后要尋找和訪問的第一個(gè)文件，robots.txt是你對搜索引擎制定的一個(gè)如何索引你的網(wǎng)站的規(guī)則。網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。這下知道這個(gè)文件對于網(wǎng)站的重要性了吧。

robots.txt文件有什么具體作用?

1、屏蔽網(wǎng)站內(nèi)的死鏈接。(網(wǎng)站改版后出現(xiàn)的死鏈、網(wǎng)站被攻擊時(shí)來不及刪除的目錄文件和鏈接)

2、屏蔽搜索引擎蜘蛛抓取站點(diǎn)內(nèi)重復(fù)內(nèi)容和頁面。

3、阻止搜索引擎索引網(wǎng)站隱私性的內(nèi)容。(例如網(wǎng)站后臺的登陸地址)

robots.txt文件怎樣寫?

亞網(wǎng)互聯(lián)小編首先先給大家介紹幾個(gè)robots中用到的名詞：

（1）User-agent：意思是定義搜索引擎類型

因?yàn)樗阉饕嬗泻脦追N有：百度蜘蛛：Baiduspider;谷歌蜘蛛：Googlebot;360蜘蛛：360Spider;SOSO蜘蛛：Sosospider;有道蜘蛛：YoudaoBot;搜狗蜘蛛：Sogou News Spider

一般沒有特殊要求的話，正確寫法是：User-agent: * 意思是允許所有搜索引擎來抓取。這是robots.txt文件中第一行的寫法。

（2）Disallow：意思是定義禁止抓取的地址

就是禁止蜘蛛抓取的地址，在我們的網(wǎng)站是靜態(tài)或偽靜態(tài)的時(shí)候一般網(wǎng)站要禁止蜘蛛抓取動態(tài)路徑(?)、.js、后臺的文件等一些不想讓蜘蛛抓取的文件。它的正確的寫法如下：

Disallow: / 禁止蜘蛛抓取整站(一定不能這么寫，這樣會讓所有搜索引擎不來抓取你的網(wǎng)站內(nèi)容)

Disallow: /wp-admin/ 禁止抓取網(wǎng)站中帶wp-admin的文件夾。

Disallow: /page/ 禁止抓取網(wǎng)站中帶page的文件夾。

Disallow: /*?* 禁止抓取網(wǎng)站中的所有動態(tài)路徑。

Disallow: /.js$ 禁止抓取網(wǎng)站中的所有帶.js的路徑。

Disallow: /*.jpg$ 禁止抓取網(wǎng)站中所有jpg圖片

(3)、Allow：意思是定義允許抓取收錄地址

這個(gè)就不需要多說了就是允許的意思，在robots文件中不寫Allow意思就是默認(rèn)的允許，因此大家沒必要寫上。

(4)、常用的一些語法符號

/ 如果只是一個(gè)單個(gè)/,搜索引擎會認(rèn)為是根目錄

* 是所有的意思;例如：Disallow: /*.jpg$ 是禁止抓取網(wǎng)站中所有jpg圖片

$ 是結(jié)束符

以上內(nèi)容就是深圳網(wǎng)站建設(shè)小編為大家分享的robots.txt文件的定義、作用以及正確的寫法，這是SEO一項(xiàng)非常重要的優(yōu)化操作，大家一定要熟練掌握!

如沒特殊注明,文章均為深圳網(wǎng)站建設(shè)原創(chuàng),轉(zhuǎn)載請注明:亞網(wǎng)互聯(lián)cxtj168.cn