網(wǎng)站被百度蜘蛛抓取后怎么辦？如何優(yōu)化索引量

　　在網(wǎng)站被百度蜘蛛抓取后，經(jīng)??過(guò)一系列計算，它被內置到索引數據庫中，并且有機會(huì )與搜索用戶(hù)會(huì )面。因此，索引量一直是網(wǎng)站管理員的關(guān)注焦點(diǎn)，但是對于索引量工具卻存在一些誤解，這是正確的答案：

　　√索引量不等于網(wǎng)站流量：索引庫分為多個(gè)級別。僅當您進(jìn)入上層索引庫時(shí)，您才有更多與搜索用戶(hù)會(huì )面的機會(huì )；進(jìn)入下層圖書(shū)館的機會(huì )很小。因此，索引量的總體增加或減少并不表示訪(fǎng)問(wèn)量有任何變化；

　　√索引量的變化不會(huì )直接影響流量的變化：當流量發(fā)生巨大變化時(shí)，索引量數據可以用作故障排除的渠道之一，但它不是唯一的調查渠道，并且索引量的變化不會(huì )直接影響流量的變化；

　　√指標量波動(dòng)，指標量波動(dòng)10％（經(jīng)驗值），甚至更大，這可能是正常的。只要流量變化不大，就不必緊張。

　　4. 2. 2流程和關(guān)鍵詞工具

　　流量和關(guān)鍵詞工具可在百度搜索結果和點(diǎn)擊量數據中提供該網(wǎng)站流行的關(guān)鍵詞顯示。通過(guò)監視關(guān)鍵詞的性能，它可以幫助網(wǎng)站更好地進(jìn)行優(yōu)化，并且流量和關(guān)鍵詞工具可以全面幫助網(wǎng)站站長(cháng)了解百度搜索引擎中網(wǎng)站的性能，從而確定網(wǎng)站的優(yōu)化方向頁(yè)和網(wǎng)站，并為網(wǎng)站的運營(yíng)決策提供了分析依據。

　　關(guān)于流量和關(guān)鍵詞工具，還有一點(diǎn)需要強調。如果網(wǎng)站站長(cháng)需要在反饋中心提交有關(guān)網(wǎng)站交通異常的信息，請使用此工具中的數據和數據截圖作為輕松進(jìn)行人員分析網(wǎng)站問(wèn)題的證據。

　　4. 2. 3抓取頻率工具

　　什么是爬行頻率

　　爬網(wǎng)頻率是搜索引擎在單位時(shí)間內（天級別）對網(wǎng)站服務(wù)器進(jìn)行爬網(wǎng)的總次數。如果搜索引擎過(guò)于頻繁地對站點(diǎn)進(jìn)行爬網(wǎng)，則服務(wù)器很可能不穩定。百度蜘蛛將根據網(wǎng)站內容更新頻率和服務(wù)器壓力等因素自動(dòng)調整抓取頻率。

　　在什么情況下可以抓取頻次上限調整：

　　首先，百度蜘蛛會(huì )根據網(wǎng)站服務(wù)器壓力自動(dòng)調整抓取頻率；

　　第二，如果百度蜘蛛的抓取影響了網(wǎng)站的穩定性，則網(wǎng)站站長(cháng)可以使用此工具來(lái)調整百度蜘蛛每天抓取網(wǎng)站的頻率限制。

　　重點(diǎn)1：調整抓取頻率上限并不意味著(zhù)增加抓取頻率；

　　重點(diǎn)2：建議網(wǎng)站站長(cháng)仔細調整抓取頻率的上限。如果爬網(wǎng)頻率太小，將影響百度蜘蛛對網(wǎng)站的及時(shí)爬網(wǎng)，從而影響索引。

　　4. 2. 4爬行診斷工具

　　什么是爬網(wǎng)診斷

　　通過(guò)爬網(wǎng)診斷工具，網(wǎng)站管理員可以從百度蜘蛛的角度查看爬網(wǎng)的內容，并自我診斷百度蜘蛛看到的內容是否符合預期。每個(gè)站點(diǎn)每周可使用200次，爬網(wǎng)結果僅顯示百度蜘蛛可見(jiàn)的先前內容。

　　爬網(wǎng)診斷工具可以做什么？

　　當前，爬網(wǎng)診斷工具具有以下功能：

　　√診斷已爬網(wǎng)的內容是否符合期望。例如，在許多產(chǎn)品詳細信息頁(yè)面上，價(jià)格信息是通過(guò)輸出輸出的，這對百度蜘蛛不友好，并且價(jià)格信息很難在搜索中應用。問(wèn)題解決后，可以使用診斷工具再次檢查；

　　√診斷是否在網(wǎng)頁(yè)上添加了黑色鏈接和隱藏文本。 網(wǎng)站如果被黑客入侵，則可能會(huì )添加隱藏的鏈接。這些鏈接僅在被百度抓取時(shí)出現，并且需要使用此抓取工具進(jìn)行診斷。

　　4. 2. 5抓取異常工具

　　什么是爬網(wǎng)異常

　　百度蜘蛛無(wú)法正常爬網(wǎng)，它正在異常爬網(wǎng)。通常，網(wǎng)站搶奪異常是由網(wǎng)站本身引起的。 網(wǎng)站需要根據工具提示盡快檢查網(wǎng)站并解決問(wèn)題。

　　異常爬網(wǎng)對網(wǎng)站有什么影響

　　對于無(wú)法正常抓取大量?jì)热莸木W(wǎng)站，搜索引擎將認為網(wǎng)站具有用戶(hù)體驗缺陷，并減少對網(wǎng)站的評估，該評估會(huì )受到抓取，建立索引和搜索評估。負面影響的程度將最終影響網(wǎng)站從百度獲得的流量。

　　異常爬網(wǎng)的原因是什么？

　　●網(wǎng)站異常

　　√DNS異常：當百度蜘蛛無(wú)法解析網(wǎng)站的IP時(shí)，將發(fā)生DNS異常?？赡苁蔷W(wǎng)站 IP地址錯誤，或者域名服務(wù)提供商禁止了百度蜘蛛。請使用或主持人檢查您的網(wǎng)站 IP地址是否正確且可解析。如果不正確或無(wú)法解決，請聯(lián)系域名注冊商更新網(wǎng)站 IP地址；

　　√連接超時(shí)：獲取請求的連接超時(shí)可能是服務(wù)器過(guò)載，網(wǎng)絡(luò )不穩定引起的

　　√獲取超時(shí)：獲取請求連接建立后，下載頁(yè)面的速度太慢，導致超時(shí)?？赡艿脑蚴欠?wù)器超載且帶寬不足；

　　√連接錯誤：建立連接后，無(wú)法連接或其他服務(wù)器被拒絕。

　　●異常鏈接

　　√訪(fǎng)問(wèn)被拒絕：采集器啟動(dòng)搜尋，返回碼為403;

　　√無(wú)法找到該頁(yè)面：采集器啟動(dòng)搜尋，并且返回碼為404;

　　√服務(wù)器錯誤：采集器啟動(dòng)搜尋，返回碼為5XX;

　　√其他錯誤：采集器啟動(dòng)搜尋，返回代碼為4XX，不包括403和404。

　　4. 3提交工具4. 3. 1鏈接提交工具

　　當前有4種提交方法，即主動(dòng)推送，手動(dòng)提交和自動(dòng)推送。有關(guān)這四種推送方法之間的區別，請參見(jiàn)下圖：

　　建議有新聞屬性站點(diǎn)，并使用主動(dòng)推送進(jìn)行數據提交；新的驗證平臺網(wǎng)站或沒(méi)有及時(shí)性要求的網(wǎng)站可以使用網(wǎng)站所有要提交的內容；技術(shù)能力薄弱或網(wǎng)站內容不足的網(wǎng)站，可以使用手動(dòng)提交方法來(lái)提交數據；最后，您還可以使用插件，自動(dòng)推送方法將數據提交給百度。

　　使用鏈接提交工具，還應該注意，某些網(wǎng)站將使用第三方插件來(lái)推送數據。插件推送方法要求網(wǎng)站管理員仔細檢查推送邏輯。在網(wǎng)站管理員使用第三方插件推送數據之前發(fā)生過(guò)。第三方插件使用域名+標題進(jìn)行推送，以便URL中有中文字符被推送到百度。帶有中文字符的網(wǎng)址將跳到實(shí)際網(wǎng)址301。在這種情況下，您將無(wú)法享受快速抓取的好處。的。

　　鏈接提交工具可以快速幫助網(wǎng)站實(shí)現內容捕獲，而第三方插件的使用可以快速幫助網(wǎng)站站長(cháng)解決推送問(wèn)題。網(wǎng)站管理員只需在選擇插件時(shí)仔細檢查插件數據邏輯，否則將推送錯誤的數據。 網(wǎng)站數據無(wú)法享受快速獲取的好處。

　　4. 3. 2為什么將死鏈接提交工具用作死鏈接提交工具

　　網(wǎng)站無(wú)效鏈接數據積累過(guò)多并顯示在搜索結果頁(yè)面上時(shí)，會(huì )對網(wǎng)站自身的訪(fǎng)問(wèn)體驗和用戶(hù)轉化產(chǎn)生負面影響。另一方面，百度檢查無(wú)效鏈接的過(guò)程也將給網(wǎng)站帶來(lái)更多負擔，并影響網(wǎng)站中其他正常頁(yè)面的爬網(wǎng)和索引。

　　注意：

　　√請推送協(xié)議死鏈接數據，該死鏈接工具僅支持協(xié)議死鏈接數據；

　　√刪除提交的死鏈接后，網(wǎng)站可以刪除提交的死鏈接文件，否則搜索將繼續獲取死鏈接文件并確認文件內容。

　　什么是無(wú)效鏈接規則提交？

　　無(wú)效鏈接規則是鏈接前綴，所有與該前綴匹配的鏈接都是無(wú)效鏈接。

　　當前支持兩種類(lèi)型的無(wú)效鏈接規則：

　　√目錄規則：以“ /”結尾的前綴；

　　√CGI規則：以“？”結尾的前綴。

　　什么是死鏈接文件提交？

　　√網(wǎng)站管理員需要提交已被百度索引并需要刪除的鏈接。如果無(wú)法在百度上搜索鏈接，則無(wú)需提交無(wú)效鏈接；

　　√需要刪除的所有鏈接都需要設置為404。如果有的鏈接不是無(wú)效鏈接，則文件驗證將失敗，并且無(wú)法刪除無(wú)效鏈接；

　　√如果無(wú)法捕獲死鏈接文件，則可以使用爬網(wǎng)診斷工具確定是否可以正常捕獲死鏈接文件；

　　√網(wǎng)站管理員提交無(wú)效鏈接后，請不要在其中阻止百度蜘蛛。阻止百度蜘蛛會(huì )影響鏈接的正常刪除；

　　√如果需要刪除的鏈接已刪除，請及時(shí)刪除失效的鏈接文件；

　　√提交失效鏈接工具，最多可能需要2-3天才能生效。如果網(wǎng)站管理員發(fā)現該鏈接尚未刪除，則可以在一周后重新提交。

　　規則提交：

　　√規則無(wú)效鏈接不支持通配符；

　　√規則的無(wú)效鏈接必須基于？或/結束規則。

　　有關(guān)提交無(wú)效鏈接的常見(jiàn)問(wèn)題

　　√網(wǎng)站死鏈接數據，除了使用死鏈接提交工具外，您還可以阻止百度爬網(wǎng)。百度不會(huì )根據文件中的規則對內容進(jìn)行爬網(wǎng)。如果內容已經(jīng)在線(xiàn)顯示，它將被阻止；

　　√如果已提交無(wú)效鏈接文件，則抓取工具將繼續抓取并檢查文件中是否有更新的鏈接；如果捕獲到更新的鏈接，它將再次檢查網(wǎng)站；如果無(wú)效鏈接提交已生效，并且以后不會(huì )更新此文件，則可以直接在工具中刪除該文件；

　　√搜索資源平臺中的鏈接分析工具具有無(wú)效鏈接分析功能，可以幫助網(wǎng)站在網(wǎng)站中查找無(wú)效鏈接。

　　4. 3. 3移動(dòng)適應工具

　　什么是移動(dòng)適應以及移動(dòng)適應工具的作用

　　如果網(wǎng)站既有PC站又有移動(dòng)站，并且兩者的內容可以對應，即主要內容完全相同，則網(wǎng)站可以使用移動(dòng)通信對應工具，百度可以方便地識別PC與移動(dòng)臺之間的關(guān)系。

　　網(wǎng)站管理員通過(guò)移動(dòng)適應工具在級別或URL級別提交PC頁(yè)面和移動(dòng)頁(yè)面之間的對應關(guān)系。如果驗證能夠成功通過(guò)，它將幫助百度移動(dòng)搜索將移動(dòng)用戶(hù)直接發(fā)送到相應的移動(dòng)頁(yè)面結果。積極參與“移動(dòng)適應”將幫助手機站在百度移動(dòng)搜索上以獲取更多流量，同時(shí)以更好的瀏覽效果贏(yíng)得用戶(hù)的聲譽(yù)。

　　如何使用移動(dòng)適配器工具

　　當網(wǎng)站同時(shí)擁有移動(dòng)站點(diǎn)和PC站點(diǎn)，并且移動(dòng)頁(yè)面和PC頁(yè)面的主要內容完全相同時(shí)，您可以通過(guò)百度搜索資源平臺提交正確的改編關(guān)系（原創(chuàng )百度網(wǎng)站管理員平臺）來(lái)獲取更多的移動(dòng)流量。

　　第一步：注冊并登錄百度搜索資源平臺（以前稱(chēng)為百度網(wǎng)站管理員平臺）；

　　第2步：提交PC 網(wǎng)站并驗證站點(diǎn)和ID之間的歸屬關(guān)系，具體的驗證網(wǎng)站歸屬方法可在幫助文檔中找到；

<p>第3步：在站點(diǎn)驗證之后，輸入“ 網(wǎng)站支持”-“數據導入”-“移動(dòng)適配工具”，選擇需要移動(dòng)適配的特定PC站，然后選擇“添加適配關(guān)系””;