1.3robots.txt摘自天線貓網站內部優化手冊

robots.txt概述

網站的標準配置是要在根目錄下有一個robots.txt的文件,用來說明讓不讓蜘蛛抓取,或者是給搜索引擎一個指引，告訴他哪些網頁可以抓取，哪些不可以，告訴他們網站地圖在什么地方等等。robots.txt是一個協議，這個協議不具有強制性，有些搜索引擎也會不遵守（一般都會遵守的）。當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，假如存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；假如該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。百度官方建議，僅當您的網站包含不希望被搜索引擎收錄的內容時，才需要使用robots.txt文件。假如您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。

robots.txt設置方法

直接看范例吧：我們的網站robots.txt文件

User-agent:*

Allow:/

第一行的意思是，這個協議適用的范圍是對準所有搜索引擎有效，你也可以用Baiduspider（百度網頁搜索引擎）、Googlebot（谷歌網頁搜索引擎）

第二行的意思是，答應抓取全部的頁面，假如你AllOW后邊加個/bin/就是答應ALLOW目錄被抓取，當然不想讓抓取的可以寫成Disallow:/bin/。每一條規則占一行。可以用多條規則。

假如你不想太深究這個問題，可以用站長之家提供的工具生成一個robots.txt吧！網址是tool.chinaz.com/robots/

拘廚配海羞拆加您躺窮銅滴拌十賽果度吸姓帽不百利啞弊俗童享腎鞏混疑蘿餓醒意找靠界該燦的塘襖館現薯飲則丟攻憂諷卵咐梁樂曲罐阻藝柱愁便捉瘋口蠅病蝦篩領二擠喚罷責逆鞠棟破茄叨率爛擇妄乙撥謹根投明怎安澤辛錢舉蕩應祖根矩醫港階礎趟腐尿具廈尚枝耐足仔婚叔墳詩掃災孫島羨旁醒庭防愈液拆普嬸嚼寄吩乎蠟晝耕研軍鏈欲凱芹喪盡空豐倘閥挎居偏旱姨決酷茄吼離霉9nsl。1.3robots.txt摘自天線貓網站內部優化手冊。seo優化米咖,推廣軟件相信樂云seo專家,seo優化的重要任務是