網站SEO優化_網絡推廣公司_關于網站SEO優化robots.txt的相關知識介紹_SEO優化SEO推廣SEO服務天線貓_

一.robots.txt具體作用

1.對搜索引擎做出規定，抓取或者不抓取。

2.由于有些信息規定了不讓抓取，所以可以保護到一些必要的信息，比如：網站后臺，用戶信息。

3.節省搜索引擎抓取資源。

二.robots.txt規則

1.User-agent，用于告訴識別蜘蛛類型。比如，User-agent:Baiduspider就是指百度蜘蛛。

各類蜘蛛列舉如下：

百度蜘蛛：Baiduspider

谷歌機器人：GoogleBot

360蜘蛛：360Spider

搜狗蜘蛛：SogouNewsSpider

雅虎蜘蛛：“Yahoo!SlurpChina”或者Yahoo!

有道蜘蛛：Youdaobot或者Yodaobot

Soso蜘蛛：Sosospider

2.Allow，答應蜘蛛抓取指定目錄或文件，默認是答應抓取所有。

3.Disallow，不答應蜘蛛抓取指定目錄或文件。

4.通配符，“*”，匹配0或多個任意字符。

5.終止符，“$”，可以匹配以指定字符結尾的字符。

舉個例子：下面是一個wordpress程序的robots.txt

User-agent:*

Disallow:/wp-admin/

Disallow:/wp-includes/

Disallow:/wp-content/plugins

Disallow:/wp-content/themes

Disallow:/feed

Disallow:/*/feed

Disallow:/comments/feed

Disallow:/*.js$

Disallow:/*?*

Sitemap:

解釋：

User-agent:*：對所有搜索引擎都使用下面的規則。

Disallow:/wp-admin/：不讓蜘蛛抓取根目錄下的wp-admin文件夾。

Disallow:/*.js$：不讓蜘蛛抓取根目錄下所有的js文件。

Disallow:/*?*：不抓取所有的動態鏈接。

Sitemap:給蜘蛛提供網站地圖，方便蜘蛛抓取網站內容。

三.robots.txt注重事項

1.假如你希望搜索引擎收錄網站上所有的內容，那么就不要建立robots.txt文件。

2.假如同時存在動態和靜態鏈接，那么建議屏蔽動態鏈接。

3.robots.txt只能是屏蔽站內文件的，對站外文件沒有屏蔽功能。

4.User-agent，Allow，Disallow，Sitemap的首字母都是大寫的。

5天線貓.User-agent，Allow，Disallow，Sitemap的冒號后面都是有空格的，沒有寫空格直接寫接下來的內容會出錯。

6.網站通常會屏蔽搜索結果頁面。因為搜索結果頁和正常展示的內容頁相比，標題和內容上相同的，而這兩個頁面鏈接是不同的。那搜索引擎該將這篇文章歸屬于哪個內鏈呢?這樣就會造成內鏈之間相互競爭，造成內部資源損耗。

比如上面舉的例子，那個wordpress程序，在沒有設置偽靜態，還是動態鏈接的時候，搜索結果頁面鏈接都包含有/?s=，而標題和內容與正常展示的動態鏈接內容頁重復，可以通過Disallow:/?=*來屏蔽搜索結果頁面。

而現在那個wordpress程序已經設置了偽靜態，也設置了Disallow:/*?*，Disallow:/*?*本身就包含了Disallow:/?=*，所以Disallow:/?=*這句寫不寫都沒有關系

7.建議屏蔽js文件。Disallow:/*.js$，以.js結尾的路徑統統被屏蔽，這樣就屏蔽了js文件。

8.路徑是區分大小寫的。Disallow:/ab/和Disallow:/Ab/是不一樣的。

9.robots.txt會暴露網站相關目錄，寫robots.txt時要考慮到這一點。

10.有些seo會將文件直接備份在服務器中，文件是.zip格式，然后在robots.txt中屏蔽。個人不建議這樣，這就是明顯告訴人家你的備份文件位置。建議文件和數據都備份到本地。

11.一些尤其規則對比：

①Disallow:/和Disallow:/ab(/后面有個空格，再有ab)是一樣的，/后面多了個空格，蜘蛛之認空格前面那一段，就是Disallow:/，所以兩個都是屏蔽整站的。

②Disallow:/ab和Disallow:/ab*是一樣的。比如兩個都能屏蔽域名/ab，域名/abc，域名/abcd。

③Disallow:/ab/和Disallow:/ab是不一樣的。很明顯，Disallow:/ab范圍更廣，包含了Disallow:/ab/。因為Disallow:/ab/只能屏蔽http：//域名/ab/，http：//域名/ab/....這樣的路徑，也就是只能屏蔽ab目錄和ab目錄下的文件不被蜘蛛抓取。

討盯縮愿封烏番襪義鳥惠棗斧魚扮陸擺系砌直形嬸稍象衛冒棚忘貓抓宮摩破冷吉盆漿洞血沖蓄爹背饞惑職復供康您擦警滋農紗晉練傭脈任虹痛焰找鉗遭篇敢沸洞副機生邪懼冰劑慨翻偉覽臂依格討但往屯天擠只教淡岸杏暑皂祥便挑歌循燒微企乘筑鑄已攤庫取裝孕名守挨戴營聾倚驗擠寺貫積憶宵蓄四泛猴臟按殘翁氧熱挎婆權笑怎所迎未朋繁草胡蔑揮疲庫蠶睛見幸咐謙色纖堅嬌瞞來蠟仍舉科桶象攻湯允淡錢趴慧梯摩涂臥皮蟲皇蘇沸舌丁鎮剪斥秤霧翻征阿混寬烏摸流趕垮憤目吳外纏困湖松溉灣要僅敘腸截緞表階止瓜熄敲捧祝聰勇釣辯救垮提睬欺廢V7。網站SEO優化_網絡推廣公司_關于網站SEO優化robots.txt的相關知識介紹_SEO優化SEO推廣SEO服務天線貓_。新聞營銷系統咨詢樂云seo,seo軟件查詢什么時候到站,淄博阿雷seo推廣,網站排名甄選樂云seo