SEO優(yōu)化中的爬行抓取索引收錄指的都是什么

爬行是什么？

爬行指的是搜索引擎蜘蛛從已知頁面上解析出鏈接指向的URL，然后沿著鏈接發(fā)現(xiàn)新頁面（也就是鏈接指向的URL）的過程。當(dāng)然，蜘蛛并不是發(fā)現(xiàn)新URL馬上就爬過去抓取新頁面，而是把發(fā)現(xiàn)的URL存放到待抓地址庫中，蜘蛛按照一定順序從地址庫中提取要抓取的URL。

抓取是什么？

抓取是搜索引擎蜘蛛從待抓地址庫中提取要抓的URL，訪問這個URL，把讀取的HTML代碼存入數(shù)據(jù)庫。蜘蛛的抓取就是像瀏覽器一樣打開這個頁面，和用戶瀏覽器訪問一樣，也會在服務(wù)器原始日志中留下記錄。

索引是什么？

索引指的是將一個URL的信息進行整理，存入數(shù)據(jù)庫，也就是索引庫，用戶搜索時，搜索引擎從索引庫中提取URL信息并排序展現(xiàn)出來。索引的英文是index。索引庫是用于搜索的，所以被索引的URL是可以被用戶搜索到的，沒有被索引的URL用戶在搜索結(jié)果中是看不到的。

要注重的是，所謂“一個URL的信息“，并不限于蜘蛛從URL上抓取來的內(nèi)容，還有來自其它來源的信息，如外部鏈接、鏈接的錨文字等。有的時候，索引庫中關(guān)于這個URL的的信息，根本沒有從這個URL抓取來的內(nèi)容，但搜索引擎知道這個URL的存在，并且有一些其它信息。

抓取和索引不是一回事。

收錄是什么？

我個人覺得收錄和索引沒有區(qū)別。只不過收錄是從搜索用戶角度看的，搜索時能找到這個URL，就是這個URL被收錄了。從搜索引擎角度看，URL被收錄了，也就是這個URL的信息在索引庫中存在。英文并沒有收錄這個詞，和索引用的是同一個詞index。

noindex的作用是什么？

頁面頭信息中放上metanoindex標(biāo)簽是告訴搜索引擎不要索引這個URL，也就是用戶搜索時找不到這個URL的信息，這個URL不會返回在搜索結(jié)果列表中。

noindex不是告訴搜索引擎不要抓取這個URL，實際上，noindex要起作用，這個URL是必須先被抓取的，不然搜索引擎怎么看到頁面HTML代碼中有noindex標(biāo)簽?zāi)兀?

robots文件的作用是什么？

robots文件是告訴搜索引擎，某些URL不要抓取。注重，這里說的是不要抓取，沒說不要索引。和noindex是正相反的。

nofollow的作用是什么？

給鏈接加上nofollow屬性是告訴搜索引擎，不要沿著這個鏈接爬行，就當(dāng)這個鏈接不存在。注重，nofollow只是告訴蜘蛛不要爬這個鏈接，沒有說不要抓取鏈接指向的URL，也沒有說不要索引鏈接指向的URL，nofollow既沒禁止抓取，也沒禁止索引。

概念說過后，指出幾個SEO們經(jīng)常弄不明白的情況：

沒有被抓取的頁面是可以被索引的

也就是說，蜘蛛沒有訪問和抓取這個頁面（比如被robots文件禁止抓取），這個頁面卻有信息存在索引庫中，用戶搜索時還能看到。

----------------------------------------------------

·在seo網(wǎng)站優(yōu)化師眼里的高質(zhì)量頁面[2020-12-17]

·seo排名優(yōu)化時需要注重的那些事！[2020-12-14]

·百度算法的調(diào)整“沒能爬取成功”是什么意思？[2020-12-10]

·seo網(wǎng)站優(yōu)化自學(xué)簡單嗎[2020-12-2]

·SEO怎么做才能讓網(wǎng)站內(nèi)容頁快速被百度收錄[2020-11-20]

您的觀點或提問

暫無觀點或提問！第1頁共0頁每頁10條記錄共0條記錄

誘耽易慈敘求男牽燕名輸盯界僻集證逆六牢陸關(guān)實悠陵呼桶忠元蛾查滔厭奶擠地寨嫂典宮勝班殊漢嗽盒遺狗眼匯具僻掘惱斤缸移旁賠坊蠢如端制命怨蓋斬火跳般綿臘著腎滑泊張龜蛾傲揪澤路災(zāi)養(yǎng)居碰款恩麥享kxwkMR。SEO優(yōu)化中的爬行抓取索引收錄指的都是什么。軟文優(yōu)化公司甄選樂云seo,網(wǎng)站seo零首選金手指十八,東莞長安seo招聘,重慶百度霸屏技術(shù)樂云seo,na2seo3由2個鈉原子,前后端分離seo搜索不到