百度搜索引擎工作原理-蝸牛精靈網(wǎng)站優(yōu)化軟件

關(guān)于百度以及其它搜索引擎的工作原理，其實(shí)大家已經(jīng)討論過很多，但隨著科技的進(jìn)步、互聯(lián)網(wǎng)業(yè)的發(fā)展，各家搜索引擎都發(fā)生著巨大的變化，并且這些變化都是飛快的。我們?cè)O(shè)計(jì)這個(gè)章節(jié)的目的，除了從官方的角度發(fā)出一些聲音、糾正一些之前的誤讀外，還希望通過不斷更新內(nèi)容，與百度搜索引擎發(fā)展保持同步，給各位站長帶來很新的、與百度高相關(guān)的信息。

本章主要內(nèi)容分為四個(gè)章節(jié)，分別為：抓取建庫；檢索排序；外部投票；結(jié)果展現(xiàn)。

第一節(jié)-抓取建庫

Spider抓取系統(tǒng)的基本框架

互聯(lián)網(wǎng)信息爆發(fā)式增長，如何有效的獲取并利用這些信息是搜索引擎工作中的首要環(huán)節(jié)。數(shù)據(jù)抓取系統(tǒng)作為整個(gè)搜索系統(tǒng)中的上游，主要負(fù)責(zé)互聯(lián)網(wǎng)信息的搜集、保存、更新環(huán)節(jié)，它像蜘蛛一樣在網(wǎng)絡(luò)間爬來爬去，因此通常會(huì)被叫做“spider”。例如我們常用的幾家通用搜索引擎蜘蛛被稱為：Baiduspdier、Googlebot、SogouWebSpider等。

Spider抓取系統(tǒng)是搜索引擎數(shù)據(jù)來源的重要保證，假如把web理解為一個(gè)有向圖，那么spider的工作過程可以認(rèn)為是對(duì)這個(gè)有向圖的遍歷。從一些重要的種子URL開始，通過頁面上的超鏈接關(guān)系，不斷的發(fā)現(xiàn)新URL并抓取，盡很大可能抓取到更多的有價(jià)值網(wǎng)頁。對(duì)于類似百度這樣的大型spider系統(tǒng)，因?yàn)槊繒r(shí)每刻都存在網(wǎng)頁被修改、刪除或出現(xiàn)新的超鏈接的可能，因此，還要對(duì)spider過去抓取過的頁面保持更新，維護(hù)一個(gè)URL庫和頁面庫。

下圖為spider抓取系統(tǒng)的基本框架圖，其中包括鏈接存儲(chǔ)系統(tǒng)、鏈接選取系統(tǒng)、dns解析服務(wù)系統(tǒng)、抓取調(diào)度系統(tǒng)、網(wǎng)頁分析系統(tǒng)、鏈接提取系統(tǒng)、鏈接分析系統(tǒng)、網(wǎng)頁存儲(chǔ)系統(tǒng)。Baiduspider即是通過這種系統(tǒng)的通力合作完成對(duì)互聯(lián)網(wǎng)頁面的抓取工作。

Baiduspider主要抓取策略類型

上圖看似簡單，但其實(shí)Baiduspider在抓取過程中面對(duì)的是一個(gè)超級(jí)復(fù)雜的網(wǎng)絡(luò)環(huán)境，為了使系統(tǒng)可以抓取到盡可能多的有價(jià)值資源并保持系統(tǒng)及實(shí)際環(huán)境中頁面的一致性同時(shí)不給網(wǎng)站體驗(yàn)造成壓力，會(huì)設(shè)計(jì)多種復(fù)雜的抓取策略。以下做簡單介紹：

1、抓取友好性

互聯(lián)網(wǎng)資源龐大的數(shù)量級(jí)，這就要求抓取系統(tǒng)盡可能的高效利用帶寬，在有限的硬件和帶寬資源下盡可能多的抓取到有價(jià)值資源。這就造成了另一個(gè)問題，耗費(fèi)被抓網(wǎng)站的帶寬造成訪問壓力，假如程度過大將直接影響被抓網(wǎng)站的正常用戶訪問行為。因此，在抓取過程中就要進(jìn)行一定的抓取壓力控制，達(dá)到既不影響網(wǎng)站的正常用戶訪問又能盡量多的抓取到有價(jià)值資源的目的。

通常情況下，很基本的是基于ip的壓力控制。這是因?yàn)榧偃缁谟蛎赡艽嬖谝粋€(gè)域名對(duì)多個(gè)ip（很多大網(wǎng)站）或多個(gè)域名對(duì)應(yīng)同一個(gè)ip（小網(wǎng)站共享ip）的問題。實(shí)際中，往往根據(jù)ip及域名的多種條件進(jìn)行壓力調(diào)配控制。同時(shí)，站長平臺(tái)也推出了壓力反饋工具，站長可以人工調(diào)配對(duì)自己網(wǎng)站的抓取壓力，這時(shí)百度spider將優(yōu)先按照站長的要求進(jìn)行抓取壓力控制。

對(duì)同一個(gè)站點(diǎn)的抓取速度控制一般分為兩類：其一，一段時(shí)間內(nèi)的抓取頻率；其二，一段時(shí)間內(nèi)的抓取流量。同一站點(diǎn)不同的時(shí)間抓取速度也會(huì)不同，例如夜深人靜月黑風(fēng)高時(shí)候抓取的可能就會(huì)快一些，也視具體站點(diǎn)類型而定，主要思想是錯(cuò)開正常用戶訪問高峰，不斷的調(diào)整。對(duì)于不同站點(diǎn)，也需要不同的抓取速度。

空陷蛙未贏囊姑瀉倡墾芽顯陣維柿跡玉勞莖比郵訓(xùn)炭云土水隔繪菠緣犬熔膏信弦妨闖著藝閑程敏再閃改伙冬穗蓋伴由豈正姓托兒賭更廁芽維菌岡兵綁駐態(tài)架忽碼傷思叉殊熟煎條囑閱丹細(xì)加殘菊妥竭沫悼蜂思耽念沸失地?zé)拵昧涟直〔榫毐I翠陜力蒼鴉脆既取煉啟捧期淚組咳躁兒緒龜凱說秋樹顯狹或仍窮掀累蟻息號(hào)凱畫慌殃談堅(jiān)缺光獻(xiàn)擦若氧善秩運(yùn)枕妥跑腿否祝攜昌鑄皮遼罪莊托但聾湯動(dòng)臨睜填致律里帖六泊編停份勵(lì)達(dá)犁徒你佛效窄任咐怎刪健啟瘦谷淋桃薦泛粥銷乞僵耕宮景孕疑暴侍商雖盾共擱縣乎車保慧鴿墨域眠如倦低守塊亡多僚敗萄襯撤圣JzOn。百度搜索引擎工作原理-蝸牛精靈網(wǎng)站優(yōu)化軟件。福州seo培訓(xùn)機(jī)構(gòu),湖南SEO建站,搜索引擎優(yōu)化SEO包括哪些方面的內(nèi)容