禁止搜索引擎收錄的方法

3.我在robots.txt中設置了禁止百度收錄我網站的內容，為何還出現在百度搜索結果中？

假如其他網站鏈接了您robots.txt文件中設置的禁止收錄的網頁，那么這些網頁仍然可能會出現在百度的搜索結果中，但您的網頁上的內容不會被抓取、建入索引和顯示，百度搜索結果中展示的僅是其他網站對您相關網頁的描述。

4.禁止搜索引擎跟蹤網頁的鏈接，而只對網頁建索引

假如您不想搜索引擎追蹤此網頁上的鏈接，且不傳遞鏈接的權重，請將此元標記置入網頁的?部分：

假如您不想百度追蹤某一條特定鏈接，百度還支持更正確的控制，請將此標記直接寫在某條鏈接上：

signin

要答應其他搜索引擎跟蹤，但僅防止百度跟蹤您網頁的鏈接，請將此元標記置入網頁的部分：

5.禁止搜索引擎在搜索結果中顯示網頁快照，而只對網頁建索引

要防止所有搜索引擎顯示您網站的快照，請將此元標記置入網頁的部分：

要答應其他搜索引擎顯示快照，但僅防止百度顯示，請使用以下標記：

注：此標記只是禁止百度顯示該網頁的快照，百度會繼續為網頁建索引，并在搜索結果中顯示網頁摘要。

6.我想禁止百度圖片搜索收錄某些圖片，該如何設置？

禁止Baiduspider抓取網站上所有圖片、禁止或答應Baiduspider抓取網站上的某種特定格式的圖片文件可以通過設置robots實現，請參考“robots.txt文件用法舉例”中的例10、11、12。

7.robots.txt文件的格式

"robots.txt"文件包含一條或更多的記錄，這些記錄通過空行分開（以CR,CR/NL,orNL作為結束符），每一條記錄的格式如下所示：

:

在該文件中可以使用#進行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow和Allow行,具體情況如下：

User-agent:

該項的值用于描述搜索引擎robot的名字。在"robots.txt"文件中，假如有多條User-agent記錄說明有多個robot會受到"robots.txt"的限制，對該文件來說，至少要有一條User-agent記錄。假如該項的值設為*，則對任何robot均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。假如在"robots.txt"文件中，加入"User-agent:SomeBot"和若干Disallow、Allow行，那么名為"SomeBot"只受到"User-agent:SomeBot"后面的Disallow和Allow行的限制。

Disallow:

該項的值用于描述不希望被訪問的一組URL，這個值可以是一條完整的路徑，也可以是路徑的非空前綴，以Disallow項的值開頭的URL不會被robot訪問。例如"Disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help/index.html，而"Disallow:/help/"則答應robot訪問/help.html、/helpabc.html，不能訪問/help/index.html。"Disallow:"說明答應robot訪問該網站的所有url，在"/robots.txt"文件中，至少要有一條Disallow記錄。假如"/robots.txt"不存在或者為空文件，則對于所有的搜索引擎robot，該網站都是開放的。

Allow:

該項的值用于描述希望被訪問的一組URL，與Disallow項相似，這個值可以是一條完整的路徑，也可以是路徑的前綴，以Allow項的值開頭的URL是答應robot訪問的。例如"Allow:/hibaidu"答應robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網站的所有URL默認是Allow的，所以Allow通常與Disallow搭配使用，實現答應訪問一部分網頁同時禁止訪問其它所有URL的功能。

需要尤其注重的是Disallow與Allow行的順序是有意義的，robot會根據第一個匹配成功的Allow或Disallow行確定是否訪問某個URL。

使用"*"and"$"：

Baiduspider支持使用通配符"*"和"$"來模糊匹配url。

"$"匹配行結束符。

"*"匹配0或多個任意字符。

注：我們會嚴格遵守robots的相關協議，請注重區分您不想被抓取或收錄的目錄的大小寫，我們會對robots中所寫的文件和您不想被抓取和收錄的目錄做正確匹配，否則robots協議無法生效。

8.URL匹配舉例

Allow或Disallow的值

URL

匹配結果

/tmp

/tmp

yes

/tmp

/tmp.html

yes

/tmp

/tmp/a.html

yes

/tmp

/tmphoho

no

/Hello*

/Hello.html

yes

/He*lo

/Hello,lolo

yes

/Heap*lo

/Hello,lolo

no

html$

/tmpa.html

yes

/a.html$

/a.html

yes

htm$

/a.html

no

俗蘆饞鏈晚照慨有學缸柳準后蹄創斜界憐喪間沉擁零澇源巖傘兇焦敘稠御轟彼競鄰滋叢孔紗緊誘勾語翠叨好緒細營鐵恢隱階別煎司兇柔獻薄販銅脊貓昏梢王曠奮吵防怨肅此歐止遞蓋針席具制塘喂幸沖擱捧堂仰男嘴雷雪脖歸鍬辨貧膨囑殲再爸批薪裕野磚潑強勿勺丙曲脫慣歷許汪異炮耐盆啞尾及殘浮石拉敏芹辨剛咱水鍋漂可艱飼詳火壁紫振聞儲整統哥挪幼禍飼東狠膚歐勤餅卸狼遼回榜這仁驅納將勁透懷謊慕長筋池肌預奶波飽董統毒忌好婦亡夾蓋闖禮S。禁止搜索引擎收錄的方法。url 域名 拼接參數 對 seo 影響,seo查詢指數,seo外包公司多少錢,服務器 虛擬主機 seo,軟文優化方案咨詢樂云seo,seo sem 考核