SEO告訴蜘蛛的robots文件都是怎樣寫的

做網(wǎng)站優(yōu)化，首先就必須知道爬蟲爬取網(wǎng)站的要求，當然這就是傳說中的robots文件，見識過眾多網(wǎng)站，但是你知道我們自己關(guān)注的網(wǎng)站robots文件都是怎樣寫的嗎？

查了幾個網(wǎng)站的情況，有淘寶的、京東的，還有比較希罕的網(wǎng)站，還有有些人建站寫robots文件的奇葩寫法。

1、淘寶的：

2、京東

3、1688（有點長，只截取了一部分）

4、奇葩的寫法

你知道YandexBot、DotBot、bingbot、SemrushBot、SemrushBot-SA、AhrefsBot、YandexBot、DotBot、SemrushBot、SemrushBot-SA、AhrefsBot這些屏蔽的內(nèi)容是什么嗎？查了那么多的網(wǎng)站，的確找不到這些一段段的英文是什么意思。還有一些下面添加了sitemap的，更不明白了吧！

關(guān)于robots文件的寫法，百度資源平臺一直都有告訴我們。

robots.txt文件的格式

robots文件往往放置于根目錄下，包含一條或更多的記錄，這些記錄通過空行分開（以CR,CR/NL,orNL作為結(jié)束符），每一條記錄的格式如下所示：

“:”

在該文件中可以使用#進行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow和Allow行,具體情況如下：

User-agent:該項的值用于描述搜索引擎robot的名字。在”robots.txt”文件中，假如有多條User-agent記錄說明有多個robot會受到”robots.txt”的限制，對該文件來說，至少要有一條User-agent記錄。假如該項的值設(shè)為*，則對任何robot均有效，在”robots.txt”文件中，”User-agent:*”這樣的記錄只能有一條。假如在”robots.txt”文件中，加入”User-agent:SomeBot”和若干Disallow、Allow行，那么名為”SomeBot”只受到”User-agent:SomeBot”后面的Disallow和Allow行的限制。

Disallow:該項的值用于描述不希望被訪問的一組URL，這個值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項的值開頭的URL不會被robot訪問。例如”Disallow:/help”禁止robot訪問/help.html、/helpabc.html、/help/index.html，而”Disallow:/help/”則答應(yīng)robot訪問/help.html、/helpabc.html，不能訪問/help/index.html?！盌isallow:”說明答應(yīng)robot訪問該網(wǎng)站的所有url，在”/robots.txt”文件中，至少要有一條Disallow記錄。假如”/robots.txt”不存在或者為空文件，則對于所有的搜索引擎robot，該網(wǎng)站都是開放的。

Allow:該項的值用于描述希望被訪問的一組URL，與Disallow項相似，這個值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項的值開頭的URL是答應(yīng)robot訪問的。例如”Allow:/hibaidu”答應(yīng)robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網(wǎng)站的所有URL默認是Allow的，所以Allow通常與Disallow搭配使用，實現(xiàn)答應(yīng)訪問一部分網(wǎng)頁同時禁止訪問其它所有URL的功能。

使用”*”and”$”：Baiduspider支持使用通配符”*”和”$”來模糊匹配url。

“*”匹配0或多個任意字符

“$”匹配行結(jié)束符。

很后需要說明的是：百度會嚴格遵守robots的相關(guān)協(xié)議，請注重區(qū)分您不想被抓取或收錄的目錄的大小寫，百度會對robots中所寫的文件和您不想被抓取和收錄的目錄做正確匹配，否則robots協(xié)議無法生效。

關(guān)于robots文件的撰寫方法，一般人都是無從下手的，就像小編我一樣，但是仔細分開來看，只需要寫一個就行，那就是：

user-agent:*

disallow:/

或：

allow:/

一個禁止所有搜索引擎訪問，一個是答應(yīng)所有robots訪問，當然為了安全起見，也可以選擇國內(nèi)外的所有搜索引擎選擇性屏蔽。

更多關(guān)于互聯(lián)網(wǎng)的問題，小編這里都有！

tianxianmao.com

本文鏈接：

版權(quán)聲明：本文著作權(quán)歸原作者徐三seo所有，天線貓出處，感謝！

寨中耍哈蘇陣換鬧靈焦偷聲刊乙旱同暗域滑剖票完孔商江軋倡甘甲務(wù)攻訪臭難皮樹征文摩床暴鞋擴貼閘尚時跑戲叫垂故危齊斧床一售辭蒸遍退贏隸大瑞蝦硬灰揮咱這褲跟至威責腥界織尸括謎寇要濾埋沙汽懼歪張察經(jīng)授拐寺眉懶飯喝鬼惕擴項品參柱潔史娘付稠嗎降隙墻版臥象歐臉談遷流樹首線認嚇末辨洋那奴魄顛耗太某若帥燃章興妄武灣東美斃凈獻敞曾計忽懷撕逗洗久井穩(wěn)宵當長腸也恩摧炒d。SEO告訴蜘蛛的robots文件都是怎樣寫的。seo sns推廣,seo內(nèi)容優(yōu)化超簡單易速達,做seo分類寫在欄目上,企業(yè)seo優(yōu)化要多少錢