搜索引擎禁止的方式優(yōu)化網(wǎng)站自身搜索結果具體情況分析

　　搜索引擎禁止的方式優(yōu)化網(wǎng)站自身搜索結果，

　　1、給自己網(wǎng)站加上代碼正則表達式，

　　2、增加網(wǎng)站安全機制。

　　3、創(chuàng )建基于索引數據庫的索引。增加r語(yǔ)言\python\graphql\cookiejar等庫，把瀏覽器瀏覽過(guò)的所有網(wǎng)站數據存儲到數據庫。

　　4、創(chuàng )建信息可靠的抓取。利用檢測、開(kāi)發(fā)、策略分析等各種算法，采集更多、更便宜的用戶(hù)數據。

　　這得具體情況具體分析，你可以參考看看我之前做的一個(gè)新浪博客，選擇一個(gè)合適的路徑引入，簡(jiǎn)單說(shuō)一下該如何進(jìn)行。1.不是直接將所有的用戶(hù)數據都上傳，可以選擇稍微少一點(diǎn)的，保留幾個(gè)核心大型站點(diǎn)，主要包括部分頭部和部分尾部頁(yè)面。前期建議采用php作為服務(wù)器，服務(wù)器負載低一些，穩定。開(kāi)始用php來(lái)處理大型新聞?wù)?，先跑起?lái)可以跑測試跑接口等。

　　2.采用獨立存儲，也可以用mongodb等非關(guān)系型數據庫（后面采用scrapy等框架的話(huà)建議用redis）3.可以打tp做二次開(kāi)發(fā)，也可以對接php的api，當然這塊主要看你做的什么項目，如果做的是scrapy爬蟲(chóng)建議走scrapy，不僅僅是能用scrapy還要你的項目能實(shí)現接口管理，簡(jiǎn)單來(lái)說(shuō)先根據項目架構設計程序，一般是scrapy，不會(huì )計劃直接就設計tp的話(huà)，都要先做好架構再用scrapy。

　　然后開(kāi)始開(kāi)發(fā)應用了，詳細過(guò)程你可以參考我之前的博客，比較簡(jiǎn)單的是scrapy+tp，scrapy用tomcat安裝即可，tp這個(gè)你去看其他爬蟲(chóng)建議用到相關(guān)框架的。