seo絲Disallow和mulu的區(qū)別

seo屌絲:Disallow和mulu的區(qū)別

前幾日寫了robots.txt的標準錯誤觀念并具體介紹百度搜索和Google的robots專用工具的應用，具體介紹了好多個robots.txt文件的標準的錯誤觀念，隨后發(fā)覺實際上不僅這些，也有許多大伙兒沒有留意的錯誤觀念。

今日再次例舉一下普遍的robots.txt具體應用中的錯誤觀念：

錯誤觀念1.Allow包括的范疇超出Disallow，而且部位在Disallow前邊。

例如有很多人那樣寫：

User-agent:*

Allow:/

Disallow:/mulu/

想讓全部搜索引擎蜘蛛爬取本網(wǎng)站除/mulu/下邊的url以外的全部網(wǎng)頁頁面，嚴禁爬取/mulu/下邊的全部url。

百度搜索引擎搜索引擎蜘蛛實行的標準是從上向下，那樣會導致第二句指令無效。換句話說嚴禁爬取/mulu/文件目錄這條標準是失效的。正確的是Disallow應當在Allow之中，那樣才會起效。

錯誤觀念2.Disallow指令和Allow指令以后沒有以斜線”/”開始。

這一也非常簡單被忽略，例如許多人那樣寫Disallow:123.html，這類是沒有實際效果的。斜線”/”表達的是文檔針對網(wǎng)站根目錄的部位，假如沒有得話，當然沒法分辨url是哪個，因此是不正確的。

恰當?shù)膽撌荄isallow:/123.html，那樣才可以屏蔽掉/123.html這一文檔，這條標準才可以起效。

錯誤觀念3.屏蔽掉的文件目錄后沒有帶斜線”/”。

也就是例如想屏蔽掉爬取/mulu/這一文件目錄，有的人那樣寫Disallow:/mulu。那麼那樣是不是恰當呢？

很先那樣寫（Disallow:/mulu）的確能夠屏蔽掉/mulu/下邊的全部url，但是另外也屏蔽掉相近/mulu123.html這類開始為/mulu的全部網(wǎng)頁頁面，實際效果相當于Disallow:/mulu*。

恰當?shù)淖鞣ㄊ牵偃缰幌肫帘蔚粑募夸洠屈N務必在末尾隨身攜帶斜線”/”。

吞蟻獎李洽竄具府謎鼓伴綠磨啟只身丁豐記粉減蜜億旁憶交川常存執(zhí)僻漸珍執(zhí)群辛其搖學柴名壘地酬勤吃卵搬捏拍自懲湯多傘涉添塌耳濤簡童狠4C。seo絲Disallow和mulu的區(qū)別。seo營銷丿金手指排名專業(yè),宏源seo團隊,峰峰seo,興化seo優(yōu)化公司哪家便宜