關(guān)于百度蜘蛛對網(wǎng)站頁(yè)面爬行規律的一點(diǎn)分享

　　當網(wǎng)站有了蜘蛛來(lái)訪(fǎng)，你的網(wǎng)站頁(yè)面才有被收錄的可能，而百度蜘蛛會(huì )來(lái)爬行我們網(wǎng)站的html代碼，然后把數據拆分為標題、摘要、頭圖、正文等結構化數據，帶回給百度的服務(wù)器，進(jìn)行篩選放入數據庫，接下來(lái)是關(guān)于百度蜘蛛對網(wǎng)站頁(yè)面爬行規律的一點(diǎn)分享。

　　現在的網(wǎng)站數量以百億計算，每個(gè)頁(yè)面都有快照備份是不現實(shí)的，所以百度蜘蛛會(huì )優(yōu)勝劣汰，就像是有探路的先鋒，有主力的部隊，有功能之分，其實(shí)并沒(méi)有高低權重之分。

　　百度蜘蛛對網(wǎng)站內頁(yè)的爬行規律：

　　百度蜘蛛主要由收錄與快照兩種蜘蛛構成，通常123IP開(kāi)頭的是收錄蜘蛛，220IP開(kāi)頭的是快照蜘蛛，我們通過(guò)這兩種蜘蛛的日志訪(fǎng)問(wèn)情況，基本上能判斷出這個(gè)網(wǎng)站在百度看來(lái)是不是一個(gè)優(yōu)質(zhì)的網(wǎng)站。

　　1、內容有質(zhì)量的頁(yè)面：新發(fā)一篇文章后，通常是123開(kāi)頭的蜘蛛先行，然后220開(kāi)頭的蜘蛛后行，接著(zhù)當天或隔1-2天，快照就會(huì )有更新。

　　2、404頁(yè)面爬取規律：當網(wǎng)站刪除了幾篇已收錄的內頁(yè)訪(fǎng)問(wèn)變成404后，123開(kāi)頭的蜘蛛來(lái)爬取時(shí)，一般發(fā)現兩次404后，百度蜘蛛就不會(huì )來(lái)了。

　　3、文章內容劣質(zhì)頁(yè)面：如果是用文章*敏*感*詞*生成的拼湊文章，排版亂無(wú)可讀性，123開(kāi)頭的蜘蛛來(lái)了一次以后就沒(méi)有再來(lái)了。

　　那么百度蜘蛛爬行真正的邏輯應該是：123開(kāi)頭蜘蛛打沖鋒，對網(wǎng)頁(yè)內容進(jìn)行篩選，以便減少不必要的服務(wù)器資源浪費;220開(kāi)頭蜘蛛一般在123蜘蛛篩選過(guò)后才進(jìn)入，如果網(wǎng)頁(yè)內容實(shí)在劣質(zhì)，220開(kāi)頭的蜘蛛不會(huì )造訪(fǎng);對于已經(jīng)收錄快照的頁(yè)面，是220開(kāi)頭直接來(lái)訪(fǎng)。

　　最后得出的結論如下：

　　1、123開(kāi)頭的IP是收錄蜘蛛，所謂收錄蜘蛛是指百度蜘蛛造訪(fǎng)后，百度后端會(huì )通過(guò)一系列判定手段，如反作弊處理、原創(chuàng )度檢測等等，決定是否能夠可以收錄，是否可以牽引百度快照蜘蛛到訪(fǎng)。

　　2、220開(kāi)頭的IP是快照蜘蛛，當快收錄蜘蛛檢測網(wǎng)頁(yè)通過(guò)了收錄標準之后，通過(guò)快照蜘蛛生成結構化數據，進(jìn)入倒排索引，這個(gè)時(shí)候的網(wǎng)頁(yè)才有快照，才能被用戶(hù)搜索到。

　　所以每次快照更新前，收錄蜘蛛、快照蜘蛛均有造訪(fǎng)，而收錄蜘蛛與快照蜘蛛訪(fǎng)問(wèn)比率一般不超過(guò)2:1，如果收錄蜘蛛出現次數遠遠大于快照蜘蛛，說(shuō)明網(wǎng)頁(yè)的內容還不過(guò)關(guān)。

　　以上就是《關(guān)于百度蜘蛛對網(wǎng)站頁(yè)面爬行規律的一點(diǎn)分享》的全部?jì)热?，僅供站長(cháng)朋友們互動(dòng)交流學(xué)習，SEO優(yōu)化是一個(gè)需要堅持的過(guò)程，希望大家一起共同進(jìn)步。