比如下面幾點就對百度蜘蛛講的很透徹也讓人很好理解。

抓取的深度和廣度，錯誤鏈接的抓取，對新站的抓取。

根據以往觀察幾個新站文章的發現，百度蜘蛛對一個新站一般會在第一天會瘋狂抓取，然后會沉寂一段時間，而谷歌蜘蛛比較老實，喜歡按部就班一點一點來，越來越多。記得6月15號那天掛上去后不到一小時百度收錄首頁，并且瘋狂抓取5500次，后來第二天就開始在爆發中沉默，而谷歌在開始時候抓取的很少，慢慢越來越多。經常看到很多人網站上線第一天看到百度大量抓取感覺很驚訝，覺得是自己網站權重高，然后第二天開始，蜘蛛直接來個1800度調整，每天就稍微來看一下，然后就變得很郁悶，會覺得是百度不喜歡自己的站了，其實并不是這樣，因為這是百度蜘蛛的特點。