搜索引擎優(yōu)化原理(蜘蛛抓取系統的基本框架增長(cháng)，如何有效獲取和利用)

　　蜘蛛爬行系統的基本框架互聯(lián)網(wǎng)信息爆炸式增長(cháng)，如何有效地獲取和利用這些信息是搜索引擎工作的首要環(huán)節。作為整個(gè)搜索系統的上游，data采集系統主要負責采集、保存和更新互聯(lián)網(wǎng)信息。它像蜘蛛一樣爬網(wǎng)，所以常被稱(chēng)為；蜘蛛;。比如我們常用的幾種搜索引擎蜘蛛叫做百度蜘蛛、谷歌機器人、搜狗蜘蛛等等。;

　　蜘蛛抓取系統是搜索引擎數據源的重要保障。如果將網(wǎng)絡(luò )理解為有向圖，那么蜘蛛的工作過(guò)程可以認為是遍歷有向圖。從一些重要的torrent URL開(kāi)始，通過(guò)頁(yè)面上的超鏈接關(guān)系不斷發(fā)現和捕獲新的URL，盡可能多地捕獲更有價(jià)值的網(wǎng)頁(yè)。對于百度這樣的大型爬蟲(chóng)系統，網(wǎng)頁(yè)可能會(huì )被修改、刪除，或者新的超鏈接會(huì )一直出現。因此，過(guò)去被蜘蛛爬過(guò)的網(wǎng)頁(yè)應該保持更新，并且應該維護一個(gè)URL庫和一個(gè)網(wǎng)頁(yè)庫。;

　　下圖是蜘蛛抓取系統的基本框架圖，包括鏈接存儲系統、鏈接選擇系統、dns解析服務(wù)系統、抓取調度系統、網(wǎng)頁(yè)分析系統、鏈接提取系統、鏈接分析系統和網(wǎng)頁(yè)存儲系統。百度蜘蛛通過(guò)本系統的配合完成網(wǎng)頁(yè)的抓取。

　　蜘蛛爬行系統的基本框架互聯(lián)網(wǎng)信息爆炸式增長(cháng)，如何有效地獲取和利用這些信息是搜索引擎工作的首要環(huán)節。

　　作為整個(gè)搜索系統的上游，data采集系統主要負責采集、保存和更新互聯(lián)網(wǎng)信息。它像蜘蛛一樣爬網(wǎng)，所以常被稱(chēng)為；蜘蛛;。

　　比如我們常用的幾種搜索引擎蜘蛛叫做百度蜘蛛、谷歌機器人、搜狗蜘蛛等等。; 蜘蛛抓取系統是搜索引擎數據源的重要保障。如果將網(wǎng)絡(luò )理解為有向圖，那么蜘蛛的工作過(guò)程可以認為是遍歷有向圖。從一些重要的torrent URL開(kāi)始，通過(guò)頁(yè)面上的超鏈接關(guān)系不斷發(fā)現和捕獲新的URL，盡可能多地捕獲更有價(jià)值的網(wǎng)頁(yè)。對于百度這樣的大型爬蟲(chóng)系統，網(wǎng)頁(yè)可能會(huì )被修改、刪除，或者新的超鏈接會(huì )一直出現。因此，過(guò)去被蜘蛛爬過(guò)的網(wǎng)頁(yè)應該保持更新，并且應該維護一個(gè)URL庫和一個(gè)網(wǎng)頁(yè)庫。

　　下圖是蜘蛛抓取系統的基本框架圖，包括鏈接存儲系統、鏈接選擇系統、dns解析服務(wù)系統、抓取調度系統、網(wǎng)頁(yè)分析系統、鏈接提取系統、鏈接分析系統和網(wǎng)頁(yè)存儲系統。百度蜘蛛通過(guò)本系統的配合完成網(wǎng)頁(yè)的抓取。; 百度蜘蛛的主要抓包策略類(lèi)型 上圖看似簡(jiǎn)單，但百度蜘蛛在抓包過(guò)程中實(shí)際上面臨著(zhù)一個(gè)超級復雜的網(wǎng)絡(luò )環(huán)境。為了讓系統盡可能多地抓取有價(jià)值的資源，并保持系統中的頁(yè)面與實(shí)際環(huán)境保持一致，在不強調網(wǎng)站體驗的前提下，會(huì )設計各種復雜的抓取策略。

　　這里簡(jiǎn)單介紹一下：;1.Grab Friendship;;;;互聯(lián)網(wǎng)資源的龐*敏*感*詞*要求捕獲系統盡可能高效地利用帶寬，并在有限的硬件和帶寬資源的情況下盡可能多地捕獲有價(jià)值的資源。這產(chǎn)生了另一個(gè)問(wèn)題。消耗爬取的網(wǎng)站的帶寬會(huì )造成訪(fǎng)問(wèn)壓力。如果太大，會(huì )直接影響爬取到的網(wǎng)站的正常用戶(hù)訪(fǎng)問(wèn)行為。因此，在爬取過(guò)程中，必須控制一定的爬取壓力，以達到在不影響網(wǎng)站正常用戶(hù)訪(fǎng)問(wèn)的情況下盡可能多地爬取有價(jià)值資源的目的。;

　　一般情況下，最基本的是基于ip的壓力控制。這是因為如果是基于域名的話(huà)，可能會(huì )出現一個(gè)域名對應多個(gè)ip（很多大網(wǎng)站）或者多個(gè)域名對應同一個(gè)ip（小網(wǎng)站共享）的問(wèn)題ip)。在實(shí)踐中，壓力部署控制通常是根據ip和域名的各種條件進(jìn)行的。同時(shí)，站長(cháng)平臺還推出了壓力反饋工具。站長(cháng)可以手動(dòng)調整自己網(wǎng)站的抓取壓力，百度蜘蛛會(huì )根據站長(cháng)的要求優(yōu)先控制抓取壓力。; 同一位置的爬行速度控制一般分為兩種：一種是一段時(shí)間內的爬行頻率；

　　其次，捕獲一段時(shí)間內的流量。在同一地點(diǎn)的不同時(shí)間，爬行速度也會(huì )有所不同，例如，根據地點(diǎn)類(lèi)型的不同，在月亮黑暗且風(fēng)很大的夜晚，爬行速度可能會(huì )更快。主要思路是錯開(kāi)普通用戶(hù)的訪(fǎng)問(wèn)高峰，不斷調整。不同的站點(diǎn)也需要不同的爬取率。;

　　2、常用爬取返回碼信號;;;;百度支持的幾種返回碼簡(jiǎn)單介紹：;;;;1)最常見(jiàn)的404代表；not found;，網(wǎng)頁(yè)已經(jīng)過(guò)期，一般會(huì )從庫中移除，如果蜘蛛在短時(shí)間內再次找到這個(gè)url，就不會(huì )抓取了。;;;;2)503 表示；服務(wù)不可用；，認為網(wǎng)頁(yè)暫時(shí)不可用，一般是網(wǎng)站暫時(shí)關(guān)閉，帶寬受限等情況。當網(wǎng)頁(yè)返回503狀態(tài)碼時(shí)，百度蜘蛛不會(huì )直接刪除該URL，會(huì )在短時(shí)間內多次訪(fǎng)問(wèn)。如果頁(yè)面已恢復，則將正常檢索。如果您繼續返回 503，此 url 仍將被視為死鏈接并從庫中刪除。;;;;3) 403 reps;forbid;，此頁(yè)面當前被阻止。如果這是一個(gè)新的 URL，蜘蛛暫時(shí)不會(huì )抓取它，短期內會(huì )多次訪(fǎng)問(wèn)。如果 URL 已經(jīng)收錄，則不會(huì )直接刪除，會(huì )在短時(shí)間內訪(fǎng)問(wèn)幾次。如果網(wǎng)頁(yè)正常訪(fǎng)問(wèn)，則正常抓取。如果訪(fǎng)問(wèn)仍然被阻止，則此 url 也將被視為死鏈接并從庫中刪除。;;;;4) 301 代表：永久移動(dòng)；網(wǎng)頁(yè)重定向到新的 URL。在網(wǎng)站遷移、域名變更、網(wǎng)站revision的情況下，我們建議使用301返回碼和網(wǎng)站Admin Platform網(wǎng)站revision工具來(lái)減少影響修訂版網(wǎng)站 @網(wǎng)站流量損失。; 如果這是一個(gè)新的 URL，蜘蛛暫時(shí)不會(huì )抓取它，短期內會(huì )多次訪(fǎng)問(wèn)。如果 URL 已經(jīng)收錄，則不會(huì )直接刪除，會(huì )在短時(shí)間內訪(fǎng)問(wèn)幾次。如果網(wǎng)頁(yè)正常訪(fǎng)問(wèn)，則正常抓取。如果訪(fǎng)問(wèn)仍然被阻止，則此 url 也將被視為死鏈接并從庫中刪除。;;;;4) 301 代表：永久移動(dòng)；網(wǎng)頁(yè)重定向到新的 URL。在網(wǎng)站遷移、域名變更、網(wǎng)站revision的情況下，我們建議使用301返回碼和網(wǎng)站Admin Platform網(wǎng)站revision工具來(lái)減少影響修訂版網(wǎng)站 @網(wǎng)站流量損失。; 如果這是一個(gè)新的 URL，蜘蛛暫時(shí)不會(huì )抓取它，短期內會(huì )多次訪(fǎng)問(wèn)。如果 URL 已經(jīng)收錄，則不會(huì )直接刪除，會(huì )在短時(shí)間內訪(fǎng)問(wèn)幾次。如果網(wǎng)頁(yè)正常訪(fǎng)問(wèn)，則正常抓取。如果訪(fǎng)問(wèn)仍然被阻止，則此 url 也將被視為死鏈接并從庫中刪除。;;;;4) 301 代表：永久移動(dòng)；網(wǎng)頁(yè)重定向到新的 URL。在網(wǎng)站遷移、域名變更、網(wǎng)站revision的情況下，我們建議使用301返回碼和網(wǎng)站Admin Platform網(wǎng)站revision工具來(lái)減少影響修訂版網(wǎng)站 @網(wǎng)站流量損失。; 如果 URL 已經(jīng)收錄，則不會(huì )直接刪除，會(huì )在短時(shí)間內訪(fǎng)問(wèn)幾次。如果網(wǎng)頁(yè)正常訪(fǎng)問(wèn)，則正常抓取。如果訪(fǎng)問(wèn)仍然被阻止，則此 url 也將被視為死鏈接并從庫中刪除。;;;;4) 301 代表：永久移動(dòng)；網(wǎng)頁(yè)重定向到新的 URL。在網(wǎng)站遷移、域名變更、網(wǎng)站revision的情況下，我們建議使用301返回碼和網(wǎng)站Admin Platform網(wǎng)站revision工具來(lái)減少影響修訂版網(wǎng)站 @網(wǎng)站流量損失。; 如果 URL 已經(jīng)收錄，則不會(huì )直接刪除，會(huì )在短時(shí)間內訪(fǎng)問(wèn)幾次。如果網(wǎng)頁(yè)正常訪(fǎng)問(wèn)，則正常抓取。如果訪(fǎng)問(wèn)仍然被阻止，則此 url 也將被視為死鏈接并從庫中刪除。;;;;4) 301 代表：永久移動(dòng)；網(wǎng)頁(yè)重定向到新的 URL。在網(wǎng)站遷移、域名變更、網(wǎng)站revision的情況下，我們建議使用301返回碼和網(wǎng)站Admin Platform網(wǎng)站revision工具來(lái)減少影響修訂版網(wǎng)站 @網(wǎng)站流量損失。; 那么這個(gè) url 也將被視為死鏈接并從庫中刪除。;;;;4) 301 代表：永久移動(dòng)；網(wǎng)頁(yè)重定向到新的 URL。在網(wǎng)站遷移、域名變更、網(wǎng)站revision的情況下，我們建議使用301返回碼和網(wǎng)站Admin Platform網(wǎng)站revision工具來(lái)減少影響修訂版網(wǎng)站 @網(wǎng)站流量損失。; 那么這個(gè) url 也將被視為死鏈接并從庫中刪除。;;;;4) 301 代表：永久移動(dòng)；網(wǎng)頁(yè)重定向到新的 URL。在網(wǎng)站遷移、域名變更、網(wǎng)站revision的情況下，我們建議使用301返回碼和網(wǎng)站Admin Platform網(wǎng)站revision工具來(lái)減少影響修訂版網(wǎng)站 @網(wǎng)站流量損失。;

　　3.多個(gè)URL重定向的識別;;;;互聯(lián)網(wǎng)上的某些網(wǎng)頁(yè)由于各種原因具有URL重定向狀態(tài)。為了正確捕獲這些資源，蜘蛛需要識別 url 重定向并防止欺騙。重定向可以分為三類(lèi)：http 30x 重定向、meta refresh 重定向、js 重定向。此外，百度支持規范標簽，實(shí)際上可以認為是間接重定向。;

　　4、搶先優(yōu)先部署;;;; 由于互聯(lián)網(wǎng)資源規模巨大且變化迅速，搜索引擎幾乎不可能捕獲所有資源并合理更新它們以保持一致性。因此，捕獲系統需要設計合理的捕獲優(yōu)先級分配策略。主要包括：深度優(yōu)先遍歷策略、廣度優(yōu)先遍歷策略、pr-first策略、反鏈策略、社交分享引導策略等，每種策略各有利弊。在實(shí)際情況中，往往會(huì )結合多種策略來(lái)達到最佳的抓取效果。;

　　5.重復URL過(guò)濾;;;;爬蟲(chóng)在爬取過(guò)程中需要判斷一個(gè)頁(yè)面是否被爬取過(guò)。如果還沒(méi)有被爬取，就會(huì )爬取頁(yè)面，放到Crawled網(wǎng)站set中。判斷一個(gè)頁(yè)面是否被抓取的核心是快速搜索和比較，其中還包括url規范化識別。例如，如果一個(gè)url收錄很多無(wú)效參數，但實(shí)際上是同一個(gè)頁(yè)面，則將其視為同一個(gè)url。;

　　6.暗網(wǎng)數據的獲取;;;;互聯(lián)網(wǎng)上有大量暫時(shí)無(wú)法被搜索引擎捕獲的數據，也就是所謂的暗網(wǎng)數據。一方面，大量網(wǎng)站的海量數據存在于web數據庫中，蜘蛛很難通過(guò)爬取網(wǎng)頁(yè)獲取完整的內容。另一方面，由于網(wǎng)絡(luò )環(huán)境、網(wǎng)站本身不符合規范、孤島等問(wèn)題，搜索引擎將無(wú)法抓取。目前獲取暗網(wǎng)數據的主要思路還是通過(guò)開(kāi)放平臺和數據提交來(lái)解決問(wèn)題；百度站長(cháng)平臺；百度開(kāi)放平臺；等等。;

　　7、搶反作弊;;;; 爬蟲(chóng)在爬取過(guò)程中經(jīng)常會(huì )遇到爬取黑洞或大量低質(zhì)量頁(yè)面的問(wèn)題，這就需要爬蟲(chóng)系統設計完善的防作弊爬蟲(chóng)系統。比如分析url特征，分析頁(yè)面大小和內容，分析捕獲大小對應的站點(diǎn)大小等；百度蜘蛛抓取涉及的網(wǎng)絡(luò )協(xié)議剛才提到的百度搜索引擎會(huì )設計復雜的抓取策略。事實(shí)上，搜索引擎和資源提供者之間存在著(zhù)相互依存的關(guān)系。搜索引擎需要網(wǎng)站管理員為其提供資源，否則搜索引擎無(wú)法滿(mǎn)足用戶(hù)的檢索需求。

　　但是，網(wǎng)站管理員需要通過(guò)搜索引擎傳播他們的內容以覆蓋更多的受眾。蜘蛛*敏*感*詞*系統直接涉及互聯(lián)網(wǎng)資源提供者的利益。為了實(shí)現搜索引擎和網(wǎng)站管理員的雙贏(yíng)，雙方在抓包過(guò)程中必須遵守一定的規范，以方便雙方的數據處理和對接。這個(gè)過(guò)程中遵循的規范就是我們日常生活中所說(shuō)的一些網(wǎng)絡(luò )協(xié)議。;

　　以下是一個(gè)簡(jiǎn)短的列表：;;;; Http 協(xié)議：超文本傳輸??協(xié)議是 Internet 上使用最廣泛的網(wǎng)絡(luò )協(xié)議。它是客戶(hù)端和服務(wù)器請求和響應的標準?？蛻?hù)端通常是指最終用戶(hù)，服務(wù)器是指網(wǎng)絡(luò )站點(diǎn)。

　　最終用戶(hù)通過(guò)瀏覽器、蜘蛛等方式向服務(wù)器的指定端口發(fā)送http請求，發(fā)送http請求會(huì )返回對應的http頭信息?？梢圆榭词欠癯晒?、服務(wù)器類(lèi)型、網(wǎng)頁(yè)上次更新時(shí)間等；

　　Https協(xié)議：其實(shí)就是加密的http，一種更安全的數據傳輸協(xié)議。; UA屬性：UA是用戶(hù)代理，是http協(xié)議中的一個(gè)屬性，代表終端的身份。它向服務(wù)器表明我是誰(shuí)，我在做什么，服務(wù)器可以根據不同的身份做出不同的反饋結果。; 機器人協(xié)議：機器人。txt 是搜索引擎訪(fǎng)問(wèn) 網(wǎng)站 時(shí)首先訪(fǎng)問(wèn)的文件。它用于確定允許哪些爬取，禁止哪些爬取。txt必須放在網(wǎng)站的根目錄下，文件名必須小寫(xiě)。請參閱有關(guān)機器人的詳細說(shuō)明。百度嚴格遵守機器人協(xié)議。此外，百度支持在網(wǎng)頁(yè)內容中添加元標簽和其他指令，命名為 bots、index、follow、don't follow。; 百度蜘蛛' s 頻率抓取原理及調整方法百度蜘蛛根據上面網(wǎng)站設定的協(xié)議抓取網(wǎng)站頁(yè)面，但不可能對所有網(wǎng)站一視同仁。它會(huì )根據網(wǎng)站的實(shí)際情況確定一個(gè)抓取配額，每天定量抓取網(wǎng)站的內容，也就是我們通常所說(shuō)的抓取頻率。那么百度搜索引擎使用什么索引來(lái)確定爬取網(wǎng)站的頻率呢？有四個(gè)主要指標：;;;; 并且每天定量爬取網(wǎng)站的內容，也就是我們通常所說(shuō)的爬取頻率。那么百度搜索引擎使用什么索引來(lái)確定爬取網(wǎng)站的頻率呢？有四個(gè)主要指標：;;;; 并且每天定量爬取網(wǎng)站的內容，也就是我們通常所說(shuō)的爬取頻率。那么百度搜索引擎使用什么索引來(lái)確定爬取網(wǎng)站的頻率呢？有四個(gè)主要指標：;;;;

　　1.網(wǎng)站更新頻率：更新速度快，更新速度慢，直接影響百度蜘蛛的訪(fǎng)問(wèn)頻率；;;;

　　2.網(wǎng)站更新質(zhì)量：更新頻率提高了，只引起了Baiduspier的注意。百達飛有嚴格的質(zhì)量要求。如果Baiduspier認為每天更新的很多內容都是低質(zhì)量的頁(yè)面，那內容仍然毫無(wú)意義。;;;;

　　3.連接性：網(wǎng)站應該安全穩定，遠離百度蜘蛛。經(jīng)常把百度蜘蛛拒之門(mén)外并不是什么好事。;;;;

　　4、站點(diǎn)評價(jià)：百度搜索引擎會(huì )對每個(gè)站點(diǎn)進(jìn)行評價(jià)，這個(gè)評價(jià)會(huì )根據站點(diǎn)情況而變化。)，是百度內部非常機密的數據。網(wǎng)站評分從不單獨使用，會(huì )與其他因素和閾值一起影響網(wǎng)站的爬取和排名。; 抓取頻率間接決定了數據庫中可能收錄的 網(wǎng)站 頁(yè)數。如果這么重要的值不符合網(wǎng)站管理員的期望，怎么調整呢？百度站長(cháng)平臺提供了頻率捕捉工具（/pressure/index），做了很多升級。該工具不僅提供捕獲統計，還提供：頻率調整；功能：站長(cháng)根據實(shí)際情況向百度站長(cháng)平臺提出增加或減少訪(fǎng)問(wèn)量的請求。該工具將根據網(wǎng)站 管理員的意愿和情況進(jìn)行調整。;

　　百度蜘蛛爬取異常的原因 部分優(yōu)質(zhì)網(wǎng)頁(yè)內容用戶(hù)可以正常訪(fǎng)問(wèn)，但百度百科卻無(wú)法正常訪(fǎng)問(wèn)和爬取，導致搜索結果覆蓋不足，這對百度搜索引擎和<< @網(wǎng)站。百度稱(chēng)這種情況為：捕捉異常；. 對于網(wǎng)站內容量大無(wú)法正常抓取的情況，百度搜索引擎會(huì )認為網(wǎng)站存在用戶(hù)體驗缺陷，降低網(wǎng)站的評價(jià)，影響抓取、索引和排名對網(wǎng)站從百度獲得的流量產(chǎn)生負面影響。;

　　下面介紹一下網(wǎng)站管理員獲取異常的一些常見(jiàn)原因：;;;;1.服務(wù)器連接異常;;;;服務(wù)器連接異常有兩種情況：一種是站點(diǎn)不穩定，百度蜘蛛在嘗試連接您網(wǎng)站的服務(wù)器時(shí)暫時(shí)無(wú)法連接；一是百度蜘蛛無(wú)法連接到你網(wǎng)站上的服務(wù)器。;;;;服務(wù)器連接不良通常是由您的 網(wǎng)站 服務(wù)器太大和超載引起的。您的 網(wǎng)站 也可能無(wú)法正常運行。請檢查網(wǎng)站的web服務(wù)器（如apache、iis）是否安裝并運行正常，并使用瀏覽器檢查主頁(yè)是否可以正常訪(fǎng)問(wèn)。您的 網(wǎng)站 和版主也可能會(huì )阻止百度蜘蛛的訪(fǎng)問(wèn)。您需要檢查 網(wǎng)站 和主機的防火墻。;

　　2.網(wǎng)絡(luò )運營(yíng)商異常：網(wǎng)絡(luò )運營(yíng)商分為中國電信和中國聯(lián)通。百度蜘蛛無(wú)法通過(guò)電信或中國網(wǎng)通訪(fǎng)問(wèn)您的網(wǎng)站。如果出現這種情況，需要聯(lián)系網(wǎng)絡(luò )服務(wù)運營(yíng)商，或者購買(mǎi)雙線(xiàn)服務(wù)的空房間或者購買(mǎi)cdn服務(wù)。;

　　3.DNS 異常：當百度蜘蛛無(wú)法解析您的網(wǎng)站 IP 時(shí)，會(huì )出現 DNS 異常?？赡苣愕?網(wǎng)站 的 IP 地址錯誤，或者 DNS 提供商禁止了百度蜘蛛。請檢查您的 網(wǎng)站IP 地址是否正確且可使用 WHOIS 或主機解析。如果不正確或無(wú)法解決，請聯(lián)系域名注冊商更新您的 IP 地址。;

　　4.IP Blocking：IP Blocking是限制網(wǎng)絡(luò )的出口IP地址，禁止該IP段的用戶(hù)訪(fǎng)問(wèn)內容，尤其是BaiduspiderIP。僅當您的 網(wǎng)站 不希望百度蜘蛛訪(fǎng)問(wèn)時(shí)，才需要此設置。如果您想讓百度蜘蛛訪(fǎng)問(wèn)您的網(wǎng)站，請檢查相關(guān)設置中百度蜘蛛IP是否添加錯誤。也有可能是您的網(wǎng)站服務(wù)商禁用了百度知識產(chǎn)權，您需要聯(lián)系服務(wù)商更改設置。;

　　5.用戶(hù)代理是服務(wù)器識別訪(fǎng)問(wèn)者的用戶(hù)代理。當網(wǎng)站返回異常頁(yè)面（如403、500)或跳轉到指定用戶(hù)訪(fǎng)問(wèn)的其他頁(yè)面時(shí)，為用戶(hù)屏蔽。只有當你的網(wǎng)站不想要百度蜘蛛時(shí)訪(fǎng)問(wèn)，這個(gè)設置是必須的，如果你想讓Baiduspider訪(fǎng)問(wèn)你的網(wǎng)站，你在Baiduspider UA中有user-agent相關(guān)設置，及時(shí)修改。

　　6.死鏈接：無(wú)效且無(wú)法為用戶(hù)提供任何有價(jià)值信息的頁(yè)面為死鏈接，包括協(xié)議死鏈接和內容死鏈接兩種形式：;;;;;; TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死鏈接，如404、403、503狀態(tài)等;;;; 內容死鏈接：服務(wù)器返回狀態(tài)正常，但內容已更改為與原內容無(wú)關(guān)的信息頁(yè)面，如不存在、已刪除、需要權限等。;;;;對于死鏈接，我們推薦網(wǎng)站使用協(xié)議死鏈接，通過(guò)百度站長(cháng)平臺提交給百度 mdash;mdash; 死鏈接工具，讓百度可以更快的找到死鏈接，減少死鏈接對用戶(hù)和搜索引擎的負面影響。;

　　7.異常跳轉：將網(wǎng)絡(luò )請求重定向到另一個(gè)位置進(jìn)行跳轉。異常跳轉指以下幾種情況：;;;;1)當前頁(yè)面無(wú)效（內容已被刪除、死鏈接等），直接跳轉到上一個(gè)目錄或首頁(yè)，百度推薦站長(cháng)刪除無(wú)效頁(yè)面超鏈接的條目。;;;;2)重定向到錯誤或無(wú)效頁(yè)面;;;;注意：百度建議使用301重定向協(xié)議設置長(cháng)期重定向到其他域名，如更改網(wǎng)站上的域名@>。;

　　8.其他異常：;;;;1)百度推薦異常：由于百度推薦，網(wǎng)頁(yè)返回與正常內容不同的行為。;;;;2)百度UA異常：返回百度UA的網(wǎng)頁(yè)行為與頁(yè)面原創(chuàng )內容不同。;;;;3)JS跳轉異常：網(wǎng)頁(yè)加載了百度無(wú)法識別的JS跳轉代碼，導致用戶(hù)通過(guò)搜索結果進(jìn)入頁(yè)面后跳轉。;;;;4)壓力過(guò)大導致的偶發(fā)封禁：百度會(huì )根據網(wǎng)站規模、流量等信息自動(dòng)設置合理的爬取壓力。但是在異常情況下，比如壓力控制異常，服務(wù)器會(huì )根據自身負載進(jìn)行保護性意外關(guān)機。在這種情況下，請返回503（意思是：服務(wù)不可用；），所以Baiduspider會(huì )在一段時(shí)間后再次嘗試抓取該鏈接，如果網(wǎng)站已經(jīng)為空，則抓取成功。; ; 判斷新鏈接的重要性好吧，我們已經(jīng)提到了影響White Speed正常抓取的原因。下面我們將討論白速的一些判斷原則。

　　在建庫之前，Baiduspider會(huì )對頁(yè)面進(jìn)行初步的內容分析和鏈接分析，通過(guò)內容分析判斷頁(yè)面是否需要索引，通過(guò)鏈接分析找到更多的頁(yè)面，然后爬取更多的頁(yè)面 mdash mdash analysis mdash mdash do you想建數據庫？尋找新聯(lián)系人的過(guò)程。理論上，百度蜘蛛將使用新頁(yè)面上的所有功能；看; 有這么多新鏈接，百度蜘蛛如何決定哪個(gè)更重要？?jì)蓚€(gè)方面：一、對用戶(hù)的價(jià)值：;;;;1、獨特的內容，百度搜索引擎喜歡獨特的內容;;;; 突出，被搜索引擎誤判為未爬取的空頁(yè)面和短頁(yè)面；;;;3、內容豐富；;;;4、廣告合適；二、鏈接的重要性：;;;; 1. 目錄級 mdash mdash 淺優(yōu)先級;;;;2、網(wǎng)站內鏈接的流行度；多少頁(yè)，就像我們常說(shuō)的。建立數據庫；。

　　眾所周知，搜索引擎的索引庫是分層的，優(yōu)質(zhì)的網(wǎng)頁(yè)會(huì )被分配到重要的索引庫中，普通的網(wǎng)頁(yè)會(huì )保留在普通的數據庫中，較差的網(wǎng)頁(yè)會(huì )被分配到低級的數據庫作為補充。材料。目前60%的檢索需求只能通過(guò)調用一個(gè)重要的索引庫來(lái)滿(mǎn)足，這就解釋了為什么有些網(wǎng)站的集合很大，但并不理想。;

　　那么，哪些頁(yè)面可以進(jìn)入優(yōu)質(zhì)索引庫呢？其實(shí)總的原則是：對用戶(hù)有價(jià)值。包括但不限于：;;;;1.時(shí)效性和有價(jià)值的頁(yè)面：在這里，時(shí)效性和有價(jià)值性并存，缺一不可。有的網(wǎng)站做了很多采集工作，生成時(shí)效性?xún)热蓓?yè)面，生成一堆百度不想看到的無(wú)用頁(yè)面。;;;;2.優(yōu)質(zhì)內容專(zhuān)頁(yè)：專(zhuān)頁(yè)內容不一定要完整原創(chuàng )，即可以很好的整合各方的內容，或者添加一些新鮮的內容，例如意見(jiàn)和評論，以豐富和改進(jìn)用戶(hù)內容。;;;;3.高價(jià)值原創(chuàng )內容頁(yè)面：百度將原創(chuàng )性定義為文章 花費一定成本，積累大量經(jīng)驗后形成。不要問(wèn)我們假的原件是不是原件。;;;;4.重要的個(gè)人頁(yè)面：這只是一個(gè)例子?？票仍谛吕宋⒉┥祥_(kāi)了一個(gè)賬號。雖然他不經(jīng)常更新，但對于百度來(lái)說(shuō)，它仍然是一個(gè)非常重要的頁(yè)面。; 哪些頁(yè)面不能建入索引庫 以上優(yōu)質(zhì)網(wǎng)頁(yè)已進(jìn)入索引庫。事實(shí)上，網(wǎng)上的大部分網(wǎng)站根本就不是百度收錄。哪些頁(yè)面不能建入索引庫 以上優(yōu)質(zhì)網(wǎng)頁(yè)已進(jìn)入索引庫。事實(shí)上，網(wǎng)上的大部分網(wǎng)站根本就不是百度收錄。哪些頁(yè)面不能建入索引庫 以上優(yōu)質(zhì)網(wǎng)頁(yè)已進(jìn)入索引庫。事實(shí)上，網(wǎng)上的大部分網(wǎng)站根本就不是百度收錄。

　　不是百度沒(méi)找到，而是建庫前的篩選過(guò)程被過(guò)濾掉了。初期會(huì )過(guò)濾掉什么樣的頁(yè)面？;;;;1、重復網(wǎng)頁(yè)內容：互聯(lián)網(wǎng)上已有的內容，百度將不再需要收錄。;;;;2、主要內容是空的短網(wǎng)頁(yè);;;;1)部分內容使用了百度蜘蛛無(wú)法解析的技術(shù)，如JS、AJAX等。當他們訪(fǎng)問(wèn)時(shí)看到豐富的內容，他們仍然被搜索引擎拋棄。;;;;2)加載太慢的頁(yè)面也可能被認為是空的短頁(yè)面。請注意，廣告加載時(shí)間是根據頁(yè)面的總加載時(shí)間計算的。;;;;3)許多主題不顯眼的頁(yè)面即使在被抓取時(shí)也會(huì )被丟棄。;;;;3.一些作弊網(wǎng)站 搜索引擎索引系統概述眾所周知，搜索引擎的主要工作過(guò)程包括爬取、存儲、頁(yè)面分析、索引、搜索等幾個(gè)主要過(guò)程。在上一章中，我們主要介紹了檢索和存儲鏈接的一些內容，并簡(jiǎn)要介紹了索引系統。; 在 1 億個(gè)單元的庫中搜索特定的 關(guān)鍵詞 就像大海撈針一樣。

　　也許搜索可以在一定時(shí)間內完成，但用戶(hù)不能等待。從用戶(hù)體驗的角度來(lái)看，我們必須在毫秒內給用戶(hù)滿(mǎn)意的結果，否則用戶(hù)只會(huì )迷失方向。如何滿(mǎn)足這個(gè)要求？; 如果我們知道用戶(hù)正在尋找的關(guān)鍵詞（查詢(xún)中截斷后）出現在哪個(gè)頁(yè)面上，那么用戶(hù)檢索的過(guò)程可以想象為截斷后收錄不同部分的頁(yè)面集合的交集在查詢(xún)過(guò)程中，檢索成為頁(yè)面名稱(chēng)之間的比較和交集。這樣，可以在幾毫秒內搜索數十億個(gè)單位。這就是倒排索引和交叉搜索的過(guò)程。下面是構建倒排索引的基本流程：1.

　　2.分詞過(guò)程其實(shí)包括分詞、分詞、同義詞轉換、同義詞替換。以一個(gè)頁(yè)面的標題分割為例，我們會(huì )得到詞條文本、詞條、詞性、詞性等數據 ;;;;3.前面的準備工作完成后，接下來(lái)步驟是建立一個(gè)倒排索引以形成{Glossary; 文檔}）。下圖顯示了索引系統中的反向索引過(guò)程。倒排索引是搜索引擎實(shí)現毫秒級檢索的一個(gè)非常重要的環(huán)節。接下來(lái)介紹指標體系中建立倒排指標的重要流程——mdash；mdash放入倉庫，寫(xiě)入倉庫。; 落下

　　索引mdash mdash的重要過(guò)程是寫(xiě)在倒排索引建立結束時(shí)的倉庫中，索引系統需要有一個(gè)存儲和存儲的過(guò)程。為了提高效率，該過(guò)程還需要保存文件頭中的所有術(shù)語(yǔ)和偏移量，并壓縮數據，技術(shù)性太強，這里就不提了。在這里，我想簡(jiǎn)單介紹一下索引后的檢索系統。; 檢索系統主要包括五個(gè)部分，如下圖所示：(1)查詢(xún)字符串的分詞是對用戶(hù)的查詢(xún)詞進(jìn)行分詞，為后續查詢(xún)做準備。10號線(xiàn)地鐵故障；例如，可能分詞如下（同義詞問(wèn)題暫時(shí)忽略）：;;;;;10;0x123abc;;;;no.0x13445d;;;;lines;0x234d;;;;subway 0x145cf;;;;faults 0x354df;(<

　　如下： ;;;;;; 0x123abc。1;2 3;4;7;9 hellip..;;;;;0x13445d。2；5 8; 9; 10個(gè)；11 hellip hellip;;;;; 嘿嘿嘿;;;;; hellip hellip(3) 求投，上面的求投，文件2和文件9可能就是我們需要找的了。整個(gè)求投的過(guò)程其實(shí)關(guān)系到整個(gè)系統的性能，包括使用緩存和其他優(yōu)化性能的手段。;(4)各種過(guò)濾，例如，可能包括過(guò)濾掉死鏈接、重復數據、*敏*感*詞*、垃圾郵件結果和你所知道的；;(5)最終排名，對最符合用戶(hù)需求的結果進(jìn)行排名，其中可能包括網(wǎng)站的整體評價(jià)、頁(yè)面質(zhì)量、內容質(zhì)量、資源質(zhì)量、Match、Divergence、Timeliness等有用信息。影響搜索結果排名的因素 上面可能看起來(lái)有點(diǎn)深奧，因為它涉及到很多技術(shù)細節，我們這里只能說(shuō)一下。那么讓我們來(lái)談?wù)勛钣腥さ呐判騿?wèn)題。用戶(hù)輸入要搜索的關(guān)鍵字。百度搜索引擎在排序過(guò)程中要做兩件事。首先是從索引數據庫中提取相關(guān)網(wǎng)頁(yè)。二是根據不同維度的得分對提取的網(wǎng)頁(yè)進(jìn)行排序。方面; 這些包括：;;;;1.相關(guān)性：網(wǎng)頁(yè)內容與用戶(hù)檢索需求的匹配程度，例如網(wǎng)頁(yè)中收錄的用戶(hù)檢查關(guān)鍵詞的數量以及這些< @關(guān)鍵詞 出現在哪里；外部網(wǎng)頁(yè)使用的錨文本指向頁(yè)面等;;;;

　　2.權威：用戶(hù)喜歡某些權威提供的內容網(wǎng)站。因此，百度搜索引擎也相信優(yōu)質(zhì)權威網(wǎng)站提供的內容。;;;;

　　3.及時(shí)性：及時(shí)的結果是指收錄新內容的新網(wǎng)頁(yè)。目前，時(shí)間敏感的結果在搜索引擎中變得越來(lái)越重要。;;;;

　　4.重要性：網(wǎng)頁(yè)內容與用戶(hù)檢查要求相匹配的重要性或受歡迎程度；;;;;

　　5.Abundance：Abundance 可能看起來(lái)很簡(jiǎn)單，但它是一個(gè)非常廣泛的命題。網(wǎng)頁(yè)內容豐富，能充分滿(mǎn)足用戶(hù)的需求是可以理解的。既能滿(mǎn)足用戶(hù)的單一需求，又能滿(mǎn)足用戶(hù)的擴展需求。;;;;

　　6、流行度：指一個(gè)網(wǎng)頁(yè)是否流行。; 以上就是百度搜索引擎在決定搜索結果排名時(shí)考慮的六大原則。六項原則的重點(diǎn)是什么？哪個(gè)原理在實(shí)際應用中所占的比例最大？事實(shí)上，這里并沒(méi)有明確的答案。比如在百度搜索引擎的早期，這些門(mén)檻確實(shí)是比較固定的；關(guān)聯(lián); 在總排名中的權重可以占到70%。然而，隨著(zhù)互聯(lián)網(wǎng)的不斷發(fā)展、檢索技術(shù)的進(jìn)步和網(wǎng)頁(yè)數量的爆炸式增長(cháng)，相關(guān)性不再是問(wèn)題。因此，百度的搜索引擎引入了機器學(xué)習機制，使程序能夠自動(dòng)生成計算公式，推動(dòng)更合理的排名策略。