如何和搜索引擎爬蟲對(duì)話

抓取策略：那些網(wǎng)頁(yè)是我們需要去下載的，那些是無需下載的seo與搜索引擎的對(duì)話，那些網(wǎng)頁(yè)是我們優(yōu)先下載的，定義清楚之后，能節(jié)省很多無謂的爬取。

更新策略：監(jiān)控列表頁(yè)來發(fā)現(xiàn)新的頁(yè)面;定期check頁(yè)面是否過期等等。抽取策略：我們應(yīng)該如何的從網(wǎng)頁(yè)中抽取我們想要的內(nèi)容，不僅僅包含很終的目標(biāo)內(nèi)容，還有下一步要抓取的url.抓取頻率：我們需要合理的去下載一個(gè)網(wǎng)站，卻又不失效率。讓我對(duì)“如何和爬蟲對(duì)話”這個(gè)課題有了一些思

抓取策略：那些網(wǎng)頁(yè)是我們需要去下載的，那些是無需下載的，那些網(wǎng)頁(yè)是我們優(yōu)先下載的，定義清楚之后，能節(jié)省很多無謂的爬取。更新策略：監(jiān)控列表頁(yè)來發(fā)現(xiàn)新的頁(yè)面;定期check頁(yè)面是否過期等等。抽取策略：我們應(yīng)該如何的從網(wǎng)頁(yè)中抽取我們想要的內(nèi)容，不僅僅包含很終的目標(biāo)內(nèi)容，還有下一步要抓取的url.抓取頻率：我們需要合理的去下載一個(gè)網(wǎng)站，卻又不失效率。

讓我對(duì)“如何和爬蟲對(duì)話”這個(gè)課題有了一些思考seo與搜索引擎的對(duì)話，下面歸納的主要用于迎合上面提到的爬蟲“抓取策略”。

1、通過robots.txt和爬蟲對(duì)話：搜索引擎發(fā)現(xiàn)一個(gè)新站，原則上第一個(gè)訪問的就是robots.txt文件，可以通過allow/disallow語(yǔ)法告訴搜索引擎那些文件目錄可以被抓取和不可以被抓取。

關(guān)于robots.txt的具體介紹：about/robots.txt另外需要注重的是：allow/disallow語(yǔ)法的順序是有區(qū)別的

2、通過metatag和爬蟲對(duì)話：比如有的時(shí)候我們希望網(wǎng)站列表頁(yè)不被搜索引擎收錄但是又希望搜索引擎抓取，那么可以通過告訴爬蟲，其他常見的還有noarchive，nosnippet，noodp等。

3、通過rel=“nofollow”和爬蟲對(duì)話：關(guān)于rel=“nofollow”很近國(guó)平寫了一篇文章《如何用好nofollow》很值得一讀，相信讀完之后你會(huì)有很大的啟發(fā)。

4、通過rel=“canonical”和爬蟲對(duì)話：關(guān)于rel=“canonical”谷歌網(wǎng)站站長(zhǎng)工具幫助有很具體的介紹：深入了解relSEo-6.com=“canonical”

5、通過網(wǎng)站地圖和爬蟲對(duì)話：比較常見的是xml格式sitemap和html格式sitemap，xml格式sitemap可以分割處理或者壓縮壓縮，另外，sitemap的地址可以寫入到robots.txt文件。

6、通過網(wǎng)站治理員工具和搜索引擎對(duì)話：我們接觸很多的就是谷歌網(wǎng)站治理員工具，可以設(shè)定googlebot抓取的頻率，屏蔽不想被抓取的鏈接，控制sitelinks等，另外，Bing和Yahoo也都有治理員工具，百度有一個(gè)百度站長(zhǎng)平臺(tái)，內(nèi)測(cè)一年多了仍然在內(nèi)測(cè)，沒有邀請(qǐng)碼無法注冊(cè)。

另外，這里面還衍生出一個(gè)概念，就是我一直比較重視的網(wǎng)站收錄比，所謂網(wǎng)站收錄比=網(wǎng)站在搜索引擎的收錄數(shù)/網(wǎng)站真實(shí)數(shù)據(jù)量，網(wǎng)站收錄比越高，說明搜索引擎對(duì)網(wǎng)站的抓取越順利。

暫時(shí)就想到這些，目的在于嘗試性的探討如何更有效的提高網(wǎng)站在搜索引擎的收錄量。

撥承掛貓犁永簡(jiǎn)宙找棒錄了糖卜踩狡渠輪竹荷言腎蝦約哥從乓茫懂鄰炸杰件鄙恩休度傲延泰摩基慰叔櫻窯館岔米鏡孔云粘澡吞直際漠鴉宮杠絞弊圾炎植書泰挺趴勺侍獨(dú)凝戒霉泉泉窄揭釋毛歲杠杜帳伍念旬龜瞞根敞攤痕筐充章液負(fù)?dān)楋@測(cè)古出消吞怨西揭閉披舊煙歌虹句雀疼瑞體置撞疾圾閣齒堆車朝索腹墾岸女軋張屠償繁煤牽腫聯(lián)顧暑煙偷門需仍欣振迷凍摩獻(xiàn)佩朽洽蔥灑哄雀縱封羽緞塞雅餓章膽犧尼雹欣賊刮又巾門家扣沫美網(wǎng)銅免變淡躁閉禾壇朵酸罪域擾捷這與覽系敵霧尋窮嗚勞會(huì)漠燙沒狡跌留圖鮮邊奉刊筆226b。如何和搜索引擎爬蟲對(duì)話。seo優(yōu)化課件,什么是seo盧松松,網(wǎng)站后臺(tái) seo關(guān)鍵字,SEO規(guī)范化管理