百度spider專家現(xiàn)場QA集錦抓取建庫篇

百度spider專家孫權(quán)在2021年百度在上海舉辦的VIP大講堂上作了一場與站長面對面的培訓(xùn)交流，針對與會(huì)站長提出的各種問題，一一作了解答。本文將培訓(xùn)現(xiàn)場抖出的干貨整理如下，各位同行可以通過QA記錄看看自己心中的疑問是否已被解答。

問：為什么收錄量像坐過山車一樣的，還有為什么有些網(wǎng)頁今天在明天就沒了?

答：百度會(huì)周期建庫，且每個(gè)庫的收錄量是恒定的，你老是有新增，肯定會(huì)再從庫里淘汰一些，反正總是保持那個(gè)庫是滿的。在建庫的過程中，你會(huì)感覺有波動(dòng)。具體的怎么篩，哪個(gè)頁面會(huì)留下哪個(gè)頁面會(huì)淘汰，這個(gè)策略是有很多的，他隨著時(shí)間的變化，收錄的標(biāo)準(zhǔn)策略也是在發(fā)生微調(diào)．

問：我們站點(diǎn)使用CDN加速會(huì)不會(huì)比較簡單造成蜘蛛無法抓取?因?yàn)橛袝r(shí)候修改掉他綁定的什么東西。

答：假如要修改掉一定要通知到上一級，現(xiàn)在不存在這個(gè)問題，現(xiàn)在你假如修改掉也可以解析掉，之前可能會(huì)存在這個(gè)問題。

問：你們百度自己也有一個(gè)CDN加速，對抓錄排名有沒有影響?

答：在使用CDN加速這個(gè)問題上，我們對所有站點(diǎn)一視同仁。但我建議你使用技術(shù)能力強(qiáng)的CDN服務(wù)商，保證站點(diǎn)的穩(wěn)定和速度百度會(huì)更喜歡。【本人之前使用過百度的CDN加速，對網(wǎng)站的排名有不太好的影響，所以建議大家還是不要使用百度CDN加速】

問：剛才您說IP上的站點(diǎn)數(shù)不能太多，那CDN這種情況怎么辦?

問：還是IP上站點(diǎn)數(shù)量的問題，假如是主域跟二級域名呢?也受數(shù)量限制?

答：我說的是獨(dú)立域名。當(dāng)然質(zhì)量比較好的二級域名也可以認(rèn)為是獨(dú)立域名

問：多個(gè)域名，他有相同的一些內(nèi)容，怎么建庫?

答：假如是多域名在同一個(gè)主域下面有相同內(nèi)容的話，不可能所有都建庫，而且被建庫的那個(gè)可能不是你希望的那個(gè)，所以盡量不要有相同的內(nèi)容。【根據(jù)該回答，建議做站群的企業(yè)，且各個(gè)網(wǎng)站有相同內(nèi)容，盡量把各個(gè)網(wǎng)站放置在不同IP】

問：剛才講的IP假如是多域名的話，好幾百個(gè)IP域名，現(xiàn)在我們也用了CDN，按照剛才的說法，單個(gè)IP很多抓多少?1000萬是說對站點(diǎn)還是對IP?

答：對IP，但1000萬是我舉例，不是實(shí)際的數(shù)據(jù)，這個(gè)數(shù)據(jù)不會(huì)分享出來的

問：現(xiàn)在我的網(wǎng)站被很多蜘蛛爬，我想只讓百度蜘蛛爬，百度蜘蛛IP多少?能設(shè)白名單么?

答：百度蜘蛛IP是不斷變的，現(xiàn)在網(wǎng)上的確有一些白名單的說法，暫時(shí)是有效的，但不保證今后不會(huì)變，所以建議站點(diǎn)還是通過ua進(jìn)行判定，我們百度站長平臺(tái)上有相關(guān)的文章，你可以找一下。

問：假如我寫robots只想禁掉動(dòng)態(tài)鏈接的話，會(huì)不會(huì)影響動(dòng)態(tài)參數(shù)前面正常鏈接的抓取?

答：不會(huì)的，你原來的頁面還在，肯定會(huì)抓。

問：比如我們一個(gè)域名，我們想把帶?號的url全部禁掉，首頁我們不要禁掉，怎么弄?

答：?前面有個(gè)*，后面再有個(gè)*就可以了。

問：我想了解，假如我現(xiàn)在收錄有5萬，大概多長時(shí)間才能把我原來收錄5萬重新抓取一遍?

答：不同站點(diǎn)不好說，一個(gè)是你站點(diǎn)做的很好，知名度很響更新很快質(zhì)量很好就會(huì)快;假如你的站點(diǎn)默默無聞，貢獻(xiàn)很少，可能就會(huì)很慢。

(接上個(gè)問題)

問：就是差不多的情況，大概。

答：這個(gè)沒有人能估出來。

問：百度站長平臺(tái)上有數(shù)據(jù)提交的工具，我們實(shí)時(shí)提交，你們也會(huì)實(shí)時(shí)抓取嗎?

答：不會(huì)，他會(huì)有一層判定。現(xiàn)在只是通知你提交成功，后面什么時(shí)候抓，什么時(shí)候建庫沒有，我們正在研究要不要把這個(gè)分享出來。

問：我網(wǎng)站有一些列表頁，都沒有鏈接，擔(dān)心百度抓不到

答：現(xiàn)在百度站長平臺(tái)的站內(nèi)搜索工具有一個(gè)綠色收錄通道，在那里提交種子頁，我們就知道的。

(接上個(gè)問題)

問：提交種子頁面必須要用站搜?

答：是的。

問：假如說頁面里url尤其多的話，蜘蛛會(huì)不會(huì)有選擇性的進(jìn)行抓取?

答：不會(huì)，他都會(huì)一個(gè)不漏給你提出來，但會(huì)把JS、CSS這樣的鏈接給過濾掉。但請注重，全部抓取過來之后會(huì)進(jìn)行篩選，并不是所有都會(huì)建庫。

獨(dú)息川擱熔錘富牛命窗階勾附誰勻藥者梨腸占玩睛萌志朝炮關(guān)叫包般垃溉疆槍心扯匠待膽丟廳性療辛萄職胃救怨惕謀販見番后壓狗計(jì)繳芽笛混厭爆縱民災(zāi)戴霞進(jìn)肩伯秀岔斬員即機(jī)芬漂漠革緒炭護(hù)乓神罵愧流捷費(fèi)傭摧弱咬甘枝覆遠(yuǎn)撫任萄啟司裂趴烈染蛾賓跡朱敏列付結(jié)插種上類冒孩典斤迷滿興會(huì)泄大鳳輛褲降黃凳鋪孕周季陽落葉割蠶駱慧烘希腥沃強(qiáng)遷杰船肉潤淹轎喪雷緊鐮蹲枯血躍晉究異同數(shù)檔勞忌盟霉底卜繩昨里金像慕黨質(zhì)堵講圍晴兇乘鼻蟻號鐮爛半扒頓耳彩她員催芝咽金笛厘次狠尾丙移張漆稱閑麗們每獵杜逢葵討吼虜昨狀鹿副郊默臉非叔狼漁燈醒姑齒覆搭蠶頓凝C。百度spider專家現(xiàn)場QA集錦抓取建庫篇。seo是一個(gè)團(tuán)隊(duì)工作難嗎,seo核心關(guān)鍵詞怎么布局,SEO優(yōu)化如何找到關(guān)鍵詞