網(wǎng)站被采集怎么辦 一招制服!
優(yōu)采云 發(fā)布時(shí)間: 2020-08-28 20:01網(wǎng)站被采集怎么辦 一招制服!
A5聯(lián)盟
前幾天我搜索我網(wǎng)站內容的時(shí)侯,發(fā)現有很多非法網(wǎng)站同時(shí)更新, 我點(diǎn)擊進(jìn)去發(fā)覺(jué)是一些非法的網(wǎng)站,但只能在對方網(wǎng)站頂部找到少量的廣告信息, 并沒(méi)有哪些實(shí)際內容。
我仔細查看了對方的源代碼,發(fā)現對方隱藏了網(wǎng)站內容。他用這樣的方式可以誤導搜索引擎,讓搜索引擎給其不錯的排行,同時(shí)又能在訪(fǎng)客面前隱藏自己小偷小摸的行為。
我第一時(shí)間想到了是不是網(wǎng)站被黑?
所以我更改了網(wǎng)站FTP,數據庫,管理員帳號等信息后,又更新了新文章,隔幾小時(shí)后發(fā)覺(jué)對方還是能順利更新我網(wǎng)站的文章。這就奇怪了,難道是服務(wù)器被黑?我又仔細查看了服務(wù)器,沒(méi)發(fā)覺(jué)哪些異常。
最后想到是不是可能被采集?
所以我把網(wǎng)站開(kāi)通了訪(fǎng)問(wèn)日志功能,等了半天之后,我打開(kāi)幾M的日志查看,仔細一查就發(fā)覺(jué)了采集器的IP,
我把對方的IP屏蔽之后,從此對方再也沒(méi)和我的網(wǎng)站同步更新。
如何能快速的發(fā)覺(jué),并且一招制服采集你網(wǎng)站的歹徒呢?
方法十分簡(jiǎn)單,你只須要查看那個(gè)IP訪(fǎng)問(wèn)你最新文章,然后查看這種IP,其中有異常的就肯定是采集你網(wǎng)站的。
比如你更新一兩篇新文章,你的新文章ID是 /123.htm ,半天時(shí)間內訪(fǎng)問(wèn)你新文章/123.htm 的常常就這么幾個(gè)IP,然后分別查看這幾個(gè)IP都訪(fǎng)問(wèn)了什么頁(yè)面,流量是否正常。
比如有的IP是國外IP,只訪(fǎng)問(wèn)了幾個(gè)正常頁(yè)面,流量占用太小,那她們就是正常的訪(fǎng)客。
而象這類(lèi)英國IP 207.46.13.* 就不正常。
第一,他是英國IP,就算是真實(shí)訪(fǎng)問(wèn)也不是我的意向客戶(hù)。
第二,采集小偷的網(wǎng)站服務(wù)器在英國,而這個(gè)IP也在新加坡,那他肯定就是采集IP。
第三,他做非法網(wǎng)站不可能用國外服務(wù)器,一來(lái)英國服務(wù)器成本低,二來(lái)可以避免法律風(fēng)險。
第四,訪(fǎng)問(wèn)頁(yè)面太多,占用流量比較大。
發(fā)現了采集器的IP, 如何屏蔽采集器的IP段呢?
下圖是我屏蔽了采集器的IP后,狀態(tài)碼是403,就證明屏蔽成功。
如果你的linux服務(wù)器,只須要在.htaccess里這樣寫(xiě)就行
order allow,deny
Deny from 127.0.0
allow from all
舉例,如果你要屏蔽的IP段比較多,可以這樣寫(xiě)
order allow,deny
Deny from 68.180.230
Deny from 40.77.167
allow from all
通過(guò)這樣的方式就可以完全避免采集你網(wǎng)站的歹徒, 對方發(fā)覺(jué)自己未能采集成功,就會(huì )另選目標。如果每位站長(cháng)都曉得這樣的方式,那么互聯(lián)網(wǎng)環(huán)境將會(huì )純凈許多。