1.搜索引擎工作原理
優(yōu)采云 發(fā)布時(shí)間: 2022-05-02 02:151.搜索引擎工作原理
搜索引擎是利用爬蟲(chóng)程序對網(wǎng)站頁(yè)面進(jìn)行爬取、收錄、排序等一系列步驟,來(lái)完成整個(gè)搜索引擎的工作流程。
不同的搜索引擎的爬蟲(chóng)都有不同的名稱(chēng),涉及到使用協(xié)議禁止爬蟲(chóng)爬取Robots.txt:Google:Googlebot,Baidu:baiduspider,Bing:bingbot。
第一步:爬取頁(yè)面
Crawling:爬取,表示爬蟲(chóng)發(fā)現了你的網(wǎng)站并對其進(jìn)行爬取,但不代表會(huì )收錄網(wǎng)站,爬蟲(chóng)不會(huì )對每個(gè)頁(yè)面進(jìn)行爬取,而且爬蟲(chóng)對每個(gè)頁(yè)面都有爬取預算,用完就會(huì )離開(kāi)該頁(yè)面。
第二步:收錄頁(yè)面
indexing:收錄,代表著(zhù)爬蟲(chóng)認可你的網(wǎng)站并將其納入到索引庫里。網(wǎng)頁(yè)一旦被收錄,就具備了參與排名的機會(huì ),收錄:僅僅代表可以搜索到你的頁(yè)面,但不代表你的網(wǎng)頁(yè)就有排名。檢查網(wǎng)頁(yè)有沒(méi)有收錄,只要把對應頁(yè)面的鏈接放進(jìn)Google進(jìn)行搜索即可,如果有搜索結果,那就證明你的URL是被收錄的。也可以查看整站的收錄情況,site:。放入域名的時(shí)候不要帶上www,出現的是二級域名。
第三步:頁(yè)面排序
results:網(wǎng)頁(yè)排名。收錄只是讓你有參與排名的機會(huì ),但不代表用戶(hù)搜索具體關(guān)鍵詞的時(shí)候會(huì )出現你的頁(yè)面。這里涉及到Google算法的排序,Google會(huì )把符合搜索者請求的頁(yè)面以及綜合外鏈等指標來(lái)決定一個(gè)頁(yè)面的排序情況。