Robots是什么意思

 　　一、Robots是什么意思?

　　Robots是一個(gè)英文單詞，對(duì)英語(yǔ)比較懂的朋友相信都知道，Robots的中文意思是機(jī)器人。而我們通常提到的主要是Robots協(xié)議，這也是搜索引擎的國(guó)際默認(rèn)公約。

　　二、Robots協(xié)議是什么?

　　Robots協(xié)議通常被稱為是爬蟲協(xié)議、機(jī)器人協(xié)議，主要是在搜素引擎中會(huì)見到，其本質(zhì)是網(wǎng)站和搜索引擎爬蟲的溝通方式，用來(lái)指導(dǎo)搜索引擎更好地抓取網(wǎng)站內(nèi)容，而不是作為搜索引擎之間互相限制和不正當(dāng)競(jìng)爭(zhēng)的工具。

　　百度為什么稱360違反Robots協(xié)議呢?主要是因?yàn)榘俣日J(rèn)為360搜素對(duì)自身產(chǎn)生了競(jìng)爭(zhēng)，百度不希望自己旗下的貼吧，文庫(kù)，知道，百科等網(wǎng)站產(chǎn)品，被360搜素收錄，并且在Robots協(xié)議中標(biāo)注屏蔽360搜素，而360直接繞過(guò)了robots協(xié)議繼續(xù)采集百度旗下產(chǎn)品網(wǎng)站的信息，因此被百度起訴。

　　簡(jiǎn)單的說(shuō)，任何網(wǎng)站只要在其robots協(xié)議中加入禁止某搜索引擎訪問(wèn)，那么該搜索引擎就無(wú)權(quán)收錄該網(wǎng)站的內(nèi)容。而robots的重要性在于，一個(gè)網(wǎng)站有權(quán)利可以存在于互聯(lián)網(wǎng)中，但又不被指定的搜索引擎索引放到搜索結(jié)果中，因?yàn)樗阉饕嬖诨ヂ?lián)網(wǎng)上就像國(guó)王，網(wǎng)站就是每個(gè)人的小家，而robots協(xié)議則是對(duì)抗國(guó)王的最后利器，正所謂“風(fēng)能進(jìn)雨能進(jìn)國(guó)王不能進(jìn)”。

　　在網(wǎng)站中，Robots協(xié)議是一個(gè)記事本文件，我們只要將Robots.txt文件放置在網(wǎng)站跟目錄，里邊可以標(biāo)注，哪些網(wǎng)站目錄不希望被搜索引擎抓取即可，其格式如下圖所示：