解決方法:SEO收錄異常診斷：負載均衡架構導致的SEO問(wèn)題及解決方案

　　SEO收錄異常診斷：負載均衡架構導致的SEO問(wèn)題及解決方案

　　最近，我負責的其中一個(gè)站點(diǎn)收錄出現了異常。整個(gè)診斷過(guò)程我周末有時(shí)間給大家說(shuō)說(shuō)。有兩個(gè)核心問(wèn)題，由服務(wù)器架構和網(wǎng)站程序架構引起；本文僅分享服務(wù)器架構導致的收錄異常。

　　首先，自我介紹。我在深圳某公司工作，長(cháng)期在乙方的外包公司工作。眾所周知，大部分seo外包公司都是小企業(yè)網(wǎng)站，而這些網(wǎng)站做的關(guān)鍵詞往往只需要換TDK就可以完成排名工作。

　　另外，目前大部分中小站點(diǎn)的結構都非常簡(jiǎn)單，開(kāi)源cms+單機云服務(wù)器（虛擬主機）+CDN（這還是有一定運維能力的公司）。鑒于以上經(jīng)驗，我完全不知道服務(wù)器架構也會(huì )出現問(wèn)題。

　　1.發(fā)現收錄異常

　　可以清楚的看到收錄在3月中下旬正常，問(wèn)題出現在3.31到4.25之間。也就是說(shuō)，這個(gè)間隔肯定是網(wǎng)站有問(wèn)題造成的。收錄異常。

　　開(kāi)始按照通常的方法查看，尤其是服務(wù)器日志中的一些參數沒(méi)有排除，導致發(fā)現問(wèn)題，如下：

　　1.1. 站長(cháng)平臺模擬爬蟲(chóng)爬取，屬于正?，F象。

　　1.2. 搜索引擎爬蟲(chóng)爬取的搜索量在增加，趨于正常。這里有異常。查看假的蜘蛛爬蟲(chóng)在抓取數據，真正的百度爬蟲(chóng)確實(shí)在增加。

　　1.3. 核心關(guān)鍵詞的排名波動(dòng)較大，但偏高，上升趨勢居前。目前核心詞排在前5，這很正常。

　　1.4、服務(wù)端日志分析，爬蟲(chóng)對應的request_uri值（相對地址）暫時(shí)正常，請看下圖。

　　1.5. 服務(wù)器日志是阿里云的日志。http請求，7月18日、7月19日、7月20日、7月26日出現小范圍服務(wù)器500訪(fǎng)問(wèn)錯誤；但頂多也只是有限時(shí)間的收錄異常，不是*敏*感*詞*的No收錄。

　　在服務(wù)器訪(fǎng)問(wèn)日志分析中，一般需要關(guān)注的項目有：爬蟲(chóng)爬取時(shí)間值、爬蟲(chóng)頁(yè)面URL值、爬蟲(chóng)在頁(yè)面上的爬取順序、一段時(shí)間內爬蟲(chóng)爬取的次數，還有一種說(shuō)法是蜘蛛 IP 值具有不同的權重。（我不確定，所以我沒(méi)有提到它）

　　頁(yè)面URL值：一般服務(wù)器日志都是相對地址。我診斷的問(wèn)題是主機值被忽略了。真正的抓取URL應該是host+request_uri值的組合。

　　頁(yè)面爬取順序：可以查看網(wǎng)站架構的爬取情況，可以大概知道網(wǎng)站頁(yè)面中爬蟲(chóng)的爬取順序，可以輔助爬蟲(chóng)軟件的使用或者經(jīng)典爬蟲(chóng)（PY、PHP等）的爬取情況作為參考

　　時(shí)間段內爬蟲(chóng)爬取量：查看網(wǎng)站頁(yè)面總數與時(shí)間段內爬取量的比值，判斷網(wǎng)站的受歡迎程度。

　　說(shuō)到這里，我來(lái)解釋一下站點(diǎn)的服務(wù)器架構：

　　采用負載均衡，文件服務(wù)器+數據服務(wù)器+前端服務(wù)器。數據服務(wù)器的所有數據都被API接口、GET前端和APP使用。網(wǎng)站URL 是相對地址。自然地，服務(wù)器之間也使用內網(wǎng)通信。

　　綜上，大家可能還會(huì )看到有被忽略的參數，就是1.4中提到的log host值。因為是相對地址，host+request_uri就是要抓取的完整地址。被忽略的Host值為API的二級域名

　　說(shuō)到這里，你可能已經(jīng)基本確定知道原因了。

　　即百度根本沒(méi)有抓取真實(shí)的頁(yè)面URL，而是實(shí)際抓取了API域名+request_uri，

　　即假設數據庫服務(wù)器API渲染到前端的數據路徑是使用內網(wǎng)IP，

　　捕獲的頁(yè)面 URL 是：

　　真實(shí)的URL應該是外網(wǎng)IP：

　　既然已經(jīng)掌握了30%的核心問(wèn)題，接下來(lái)自然就是數據論證了，主要是從幾個(gè)方面著(zhù)手。

　　1.翻開(kāi)開(kāi)發(fā)日志記錄

　　2、4月前后服務(wù)器日志對比

　　從1發(fā)現4.13號負載均衡數據服務(wù)器的數據服務(wù)器api取消了代理。這樣做的后果就是前端直接抓取host主機值作為api域名下的數據渲染到前端，因為它直接使用內網(wǎng)IP，沒(méi)有經(jīng)過(guò)代理。同時(shí)api二級域名是host主機值。

　　從2開(kāi)始，發(fā)現四月份左右的日志的host主機值發(fā)生了變化，從到。

　　最終問(wèn)題出現在host主機為api的站點(diǎn)，沒(méi)有使用代理，也就是說(shuō)只要api站點(diǎn)通過(guò)代理成為www的二次站點(diǎn)渲染即可。如果不使用代理，百度GET返回的頁(yè)面就是內網(wǎng)IP，這就是抓取的URL。

　　解決方案：

　　1.負載均衡數據服務(wù)器api接口使用代理

　　2.在Head區域添加標簽

　　3.前端渲染的HTML使用絕對路徑

　　4.開(kāi)發(fā)API接口推送數據

　　需要SEO網(wǎng)站優(yōu)化網(wǎng)站代更新百度云加速可以聯(lián)系783398135紫燕

　　解決方案:wordpress采集插件-wordpress關(guān)鍵詞插件

　　wordpress插件，最近很多站長(cháng)問(wèn)我有沒(méi)有熱門(mén)插件推薦的好用的wordpress插件。它主要是一個(gè)用于SEO優(yōu)化的wordpress插件。wordpress采集插件、wordpress流行關(guān)鍵詞插件、wordpress百度推送插件、wordpress搜索引擎蜘蛛統計分析插件、wordpress翻譯插件等別問(wèn)，只問(wèn)有各種插件。今天來(lái)說(shuō)說(shuō)wordpress插件。

　　wordpress采集插件，wp站長(cháng)都知道wordpress本身不提供文章采集偽原創(chuàng )發(fā)布功能，我們需要使用wordpress采集插件大量使用長(cháng)尾關(guān)鍵詞做全網(wǎng)文章關(guān)鍵詞pan采集，需要注意的是，雖然wordpress采集外掛-in 數據源比較豐富，文章 內容質(zhì)量來(lái)源不用擔心，但是文章 來(lái)自這些數據源采集 需要偽原創(chuàng )文章 為搜索引擎處理，然后結合文章 聚合+ 標簽進(jìn)行聚合，最后文章 被釋放。

　　Wordpress采集插件不需要任何采集規則，完全實(shí)現一鍵抓取任務(wù)。支持365天無(wú)限循環(huán)掛機采集維護所有網(wǎng)站。設置好相關(guān)參數后，軟件會(huì )從第一個(gè)開(kāi)始，完成全自動(dòng)采集和維護，并移至下一站進(jìn)行更新。它一直循環(huán)，可以輕松管理數十個(gè)或數百個(gè)站點(diǎn)。

　　function remove\_comment\_fields($fields) {

unset($fields\['url'\]);

return $fields;

}

<p>

add\_filter('comment\_form\_default\_fields','remove\_comment\_fields');

function wpd\_remove\_comment\_website\_field( $fields ) {

unset( $fields\['url'\] );

return $fields;

}

add\_filter( 'astra\_comment\_form\_default\_fields\_markup', 'wpd\_remove\_comment\_website\_field', 99 );</p>

　　Wordpress 采集 插件幾乎可以按照您需要的格式執行任何操作 采集，只要您可以在瀏覽器中看到內容即可。

　　wordpress流行關(guān)鍵詞插件可以通過(guò)百度下拉詞和百度相關(guān)搜索詞獲取，支持搜狗、百度、今日頭條的下拉詞和相關(guān)搜索詞，最后是wordpress流行關(guān)鍵詞插件可以形成大量的網(wǎng)站關(guān)鍵詞相關(guān)長(cháng)尾關(guān)鍵詞，讓您網(wǎng)站得到更多的搜索引擎收錄，得到一個(gè)更好的搜索引擎優(yōu)化排名。然后這些長(cháng)尾關(guān)鍵詞自動(dòng)從互聯(lián)網(wǎng)采集獲取最新的文章、圖片、視頻等。

　　Wordpress百度推送插件，我們都知道推送是SEO的重要組成部分。文章發(fā)布后，我們使用百度推送插件主動(dòng)推送wordpress 采集偽原創(chuàng )，一鍵批量搜索引擎，方便文章被及時(shí)搜索到收錄 被搜索引擎使用，以保護 網(wǎng)站 的 原創(chuàng ) 身份，并避免 網(wǎng)站 內容同質(zhì)化。

　　特別是提交新站點(diǎn)最快的方法是推薦wordpress百度推送插件，將站點(diǎn)新輸出鏈接推送到百度，保證新鏈接能被百度及時(shí)收錄。與sitemap相比，及時(shí)推送、搜索、抓取速度更快。我們網(wǎng)站制作的新內容最好盡快自動(dòng)推送到百度，效果更好；自動(dòng)推送受推送次數限制。盡量不要向百度推送重復內容。這將是對您自己的可推送資源的巨大浪費。

　　Wordpress搜索引擎蜘蛛統計分析插件，今日蜘蛛——方便站長(cháng)快速了解當天、昨天和30天平均訪(fǎng)問(wèn)??蜘蛛數、爬取網(wǎng)址和平均爬取網(wǎng)址。

　　Wordpress搜索引擎爬蟲(chóng)統計分析插件提供爬蟲(chóng)趨勢圖——支持查看爬蟲(chóng)數量、抓取URL總量以及按今天、昨天、最近7天抓取URL平均值的趨勢折線(xiàn)圖以及最近30天，可以查看之前的周期數據進(jìn)行對比分析。

　　Wordpress搜索引擎蜘蛛統計分析插件統計Top10蜘蛛-支持按今天、昨天、最近7天、最近30天查看爬取的URL數量和Top10蜘蛛的比例。

　　Wordpress搜索引擎蜘蛛統計分析插件可統計Top10蜘蛛爬取網(wǎng)址-支持按今天、昨天、最近7天、最近30天查看Top10蜘蛛爬取網(wǎng)址的爬取頻率和比例，方便站長(cháng)爬取流行的蜘蛛獲取頁(yè)面URL進(jìn)行分析。

　　Wordpress翻譯插件主要有百度、谷歌、有道、訊飛、翻譯。wordpres翻譯插件支持內容到繁體中文、內容到英文、內容到火星文、內容到拼音、內容到繁體、英文、拼音、火星文等相互轉換，非常有利于SEO優(yōu)化。

　　Wordpress 網(wǎng)站建設優(yōu)化是一個(gè)長(cháng)期的過(guò)程。一定要懂得使用各種wordpress插件來(lái)做網(wǎng)站SEO優(yōu)化，這樣才不會(huì )重復造輪子，SEO優(yōu)化效果才會(huì )有效果。今天關(guān)于wordpress插件的講解就到這里了，下一期分享更多SEO知識和SEO技巧。