解決方案:安全小課堂第四十九期【網(wǎng)站安全檢測之信息收集類(lèi)工具】

　　網(wǎng)站安全檢測的第一步是盡可能地采集目標系統的信息，這也是網(wǎng)站安全檢測的關(guān)鍵一步。網(wǎng)站安全檢查的每一步都伴隨著(zhù)信息采集和分析。作為一名擁有多年網(wǎng)絡(luò )安全經(jīng)驗的資深白帽，在做滲透測試的時(shí)候通常會(huì )使用哪些信息采集工具呢？在JSRC安全課第49期，我們邀請了華華若祥大師簡(jiǎn)單介紹一下他們常用的信息采集工具。和 JSRC 白帽強迫 Sima、DragonEgg、wadcl、iDer、PX1624 討論。

　　主講人：花如相惜

　　講師簡(jiǎn)介：

　　Hard Earth Security CTO，Pax.MacTeam創(chuàng )始人之一，多年滲透測試和安全培訓經(jīng)驗。專(zhuān)注于安全開(kāi)發(fā)、滲透測試、代碼審計等領(lǐng)域。

　　講師：秋天

　　講師簡(jiǎn)介：

　　安全白帽，甲方安全研究員，網(wǎng)絡(luò )尖刀團隊核心成員，具有滲透測試、漏洞挖掘等相關(guān)經(jīng)驗和技能。

　　用于信息采集的工具有哪些？靜安小美

　　subDomainsBrute, Layer subdomain miner, WebRobot, nmap, wyportma,

　　Python 和一雙勤勞的手會(huì )自動(dòng)使用 python 來(lái)自動(dòng)化常用的東西。

　　主講人：落下，花開(kāi)似相惜

　　白帽視角：matego

　　白帽觀(guān)點(diǎn)：和Sublist3r類(lèi)似，自動(dòng)從各種搜索引擎中搜索一個(gè)域名的子域

　　白帽視圖：theharverser

　　白帽觀(guān)點(diǎn)：指紋識別也有各種工具

　　

　　白帽觀(guān)點(diǎn)：在人員安全方面，在QQ群搜索，搜索公司名稱(chēng)等，如果你嘗試進(jìn)群，可能會(huì )有意想不到的發(fā)現。

　　如果只能推薦三種工具，您會(huì )推薦哪三種？為什么？靜安小妹

　　seay寫(xiě)的Layer子域挖掘機字典在速度和速度方面都相當不錯。唯一的缺點(diǎn)是每次都必須打開(kāi)虛擬機。

　　chrome插件shodan ip、端口信息mysql redis等各種信息一目了然。

　　谷歌，你知道的。

　　subDomainsBrute、WebRobot、nmap，嘗試了幾個(gè)域名后，我還是覺(jué)得subDomainsBrute采集域名更準確，沒(méi)有太多重復的業(yè)務(wù)。查詢(xún)、域名暴力破解等），nmap掃描端口指紋識別效果更好。

　　主講人：落下，花開(kāi)似相惜

　　請分別描述這三個(gè)工具的常用用法。靜安小妹

　　圖層子域挖掘機輸入好域名，點(diǎn)擊開(kāi)始，喝杯咖啡等結果。

　　shodan 單擊圖標 view-hoste-detail 查看詳細信息。

　　谷歌：每個(gè)人都知道要搜索什么，搜索什么，以及谷歌黑客域名采集什么。subDomainsBrute 的使用非常簡(jiǎn)單。從github下載后，直接寫(xiě)入subDomainsBrute的執行文件有相關(guān)使用說(shuō)明，如：

　　- 滿(mǎn)的。

　　WebRobot 比較容易理解。

　　

　　.

　　Nmap是必備的，我相信它會(huì )被使用。

　　主講人：落下，花開(kāi)似相惜

　　這三個(gè)工具在使用中存在哪些問(wèn)題？怎么解決？

　　靜安小妹

　　使用過(guò)程中確實(shí)存在一些不足。比如用 subDomainsBrute 掃描只采集 IP 和域名，但有些指紋是無(wú)法識別的。例如 網(wǎng)站 的標題、服務(wù)和端口可以在 subDomainsBrute 的前提下使用。編寫(xiě)和添加這些函數更方便。

　　主講人：落下，花開(kāi)似相惜

　　企業(yè)有沒(méi)有辦法防御這三種工具？我需要使用什么方法？靜安小美

　　如果使用了端口，可以通過(guò)添加防火墻規則來(lái)處理。

　　那么，如果域名一般對外公開(kāi)，??遲早會(huì )被采集。最好的方法是在上線(xiàn)前進(jìn)行全面的安全測試，通過(guò)后上線(xiàn)。

　　主講人：落下，花開(kāi)似相惜

　　本次 JSRC 安全類(lèi)到此結束。更多內容，敬請期待下一期安全課。如果有什么內容你想在安全類(lèi)中出現還沒(méi)有出現，請留言告訴我們。

　　解決方案:3人團隊，如何管理10萬(wàn)采集網(wǎng)站？(最全、最細解讀)

　　人類(lèi)的發(fā)展經(jīng)歷了猿到人的發(fā)展。工業(yè)發(fā)展經(jīng)歷了石器時(shí)代、工業(yè)時(shí)代和智能工業(yè)的發(fā)展。

　　采集 也經(jīng)歷了從單點(diǎn)到多點(diǎn)，再到分布式的發(fā)展。采集源的數量也從 10、100、1000 增加到 1W、50,000 和 100,000。這么多網(wǎng)站，怎么保證一直有效（網(wǎng)站可以正常打開(kāi)）？

　　時(shí)代在進(jìn)步，公司在不斷發(fā)展壯大，網(wǎng)站的內容不斷豐富。每年和每個(gè)月，都會(huì )有新的柱子上架，舊的柱子會(huì )下架。我們如何確保我們的 采集 列始終有效？

　　今天跟大家分享一下我這幾年做采集的心得。

　　第一：搭建信息源系統

　　由于我們是做輿情監測服務(wù)的，所以我們的采集覆蓋面比較廣，包括我們經(jīng)營(yíng)所在行業(yè)的所有網(wǎng)站（盡可能的），以及各大媒體發(fā)布的一、二級各大媒體。國家、各類(lèi)黨媒、紙媒、APP等，以及微博、微信、論壇等社交媒體網(wǎng)站。

　　網(wǎng)站，欄目管理

　　現在我們采集覆蓋網(wǎng)站大約6W個(gè)家庭，而且每天還在增加。我們應該如何管理這么大量的網(wǎng)站？這就是源系統的價(jià)值！

　　我們管理源系統中需要采集的網(wǎng)站以及這些網(wǎng)站下需要采集的通道或列。同時(shí)，部分網(wǎng)站媒體分類(lèi)、行業(yè)分類(lèi)、網(wǎng)站類(lèi)型等均在系統中進(jìn)行管理。

　　同時(shí)為了提高網(wǎng)站、欄目等的配置效率，我們支持直接將欄目的HTML源碼復制到系統中，然后自動(dòng)分析欄目名稱(chēng)、欄目網(wǎng)址、列下數據和其他數據的正則表達式。通過(guò)這樣的優(yōu)化，過(guò)去每人每天的網(wǎng)站數量已經(jīng)增加到100多個(gè)。

　　關(guān)鍵詞搜索

　　數據采集，除了直接采集發(fā)布信息網(wǎng)站，另一種快速獲取數據的方式是通過(guò)關(guān)鍵詞采集在各大搜索引擎中搜索，如：百度、搜狗、360等搜索引擎。

　　在源系統中，除了管理上述兩類(lèi)采集源外，還可以管理服務(wù)器，部署采集器等。因為在大批量的采集中，有上百個(gè)的服務(wù)器，每臺服務(wù)器上部署三五個(gè)甚至十個(gè)或二十個(gè)爬蟲(chóng)。這些爬蟲(chóng)的上傳、部署、啟動(dòng)、關(guān)閉也是耗時(shí)耗力的。能源的事。通過(guò)對系統的統一管理，可以大大減少部署、運維時(shí)間，降低很多成本。

　　

　　二：搭建網(wǎng)站監控系統

　　這部分主要包括兩部分：一是網(wǎng)站或者列狀態(tài)的監控（可以正常訪(fǎng)問(wèn)）；二是定期信息的監測；

　　網(wǎng)站，列狀態(tài)監控

　　1：自動(dòng)化

　　通常，所有 網(wǎng)站 都會(huì )以自動(dòng)方式每?jì)芍芑蛞粋€(gè)月檢查一次。

　　然后，如果返回狀態(tài)碼不是 200，則再次進(jìn)行第二次和第三次檢查。主要目的是防止網(wǎng)絡(luò )問(wèn)題或網(wǎng)站響應問(wèn)題導致的監控失敗，增加人工二次處理。時(shí)間;

　　根據驗證碼，刪除404、403等類(lèi)型，502，域名未備案，過(guò)一段時(shí)間再驗證其他類(lèi)型。但記得要同步關(guān)閉這些網(wǎng)站的采集，否則會(huì )大大降低采集的效率。

　　2：傳遞結果數據

　　如果你有10W的網(wǎng)站，每次進(jìn)行自動(dòng)驗證也是很費時(shí)間的。為了提高效率，我們可以結合采集的結果進(jìn)行處理。從采集的結果數據，我們先分析一下上周哪些列沒(méi)有收到采集數據，然后自動(dòng)校驗這些網(wǎng)站，效率會(huì )大大提高。

　　3：爬蟲(chóng)監控

　　當然，我們也可以在解析HTML源碼的時(shí)候標記爬蟲(chóng)數據。如果網(wǎng)站沒(méi)有響應，直接保存任務(wù)的ID，然后在源系統中標記，運維人員可以實(shí)時(shí)看到網(wǎng)站的狀態(tài)>，及時(shí)處理，提高數據效率采集。

　　同時(shí)，如果網(wǎng)站正常返回數據，但沒(méi)有解析出任何信息，則該任務(wù)可能是常規異常，也可能是網(wǎng)站異常。需要進(jìn)行第二次測試。

　　正則表達式的驗證

　　如前所述，在采集的時(shí)候，我們可以通過(guò)當前列或者網(wǎng)站記錄數據是否按照已有的正則表達式解析，如果不是，則標記源系統中的對應數據列上。

　　同時(shí)需要建立一個(gè)自動(dòng)識別列正則表達式的服務(wù)，每隔一段時(shí)間（比如30分鐘）讀取一次識別的記錄，自動(dòng)識別其正則表達式，并同步到采集 隊列。

　　

　　為了保證正確獲取正則表達式，自動(dòng)識別后同步到采集隊列，如果信息仍然不匹配。此時(shí)系統需要提示運維人員進(jìn)行人工分析。

　　三：數據補充記錄

　　在輿情監測中，無(wú)論你對采集的覆蓋范圍有多大，角落里總會(huì )有數據。如果你沒(méi)有 采集，你可以看到。這時(shí)候，為了提升客戶(hù)體驗，我們需要密切關(guān)注人工對系統的補充錄音，然后呢？

　　那么首先要分析一下我們的網(wǎng)站是否配置，列是否配置正確，正則表達式是否正確。通過(guò)檢查這些步驟，我們就能找到錯過(guò)挖礦的原因。根據原因優(yōu)化源或改進(jìn)采集器。

　　數據補充記錄可以及時(shí)減少客戶(hù)的不滿(mǎn)，同時(shí)可以改善信息來(lái)源和采集，使采集實(shí)現閉環(huán)。

　　第四：自動(dòng)化

　　第一：智能識別采集的頻率

　　目前我們的網(wǎng)站和列采集的頻率還是固定頻率，所以一些更新信息比較少的網(wǎng)站，或者無(wú)效的列采集，會(huì )大大減少采集的效率>。這導致網(wǎng)站或列采集信息更新頻繁，數據的價(jià)值降低。

　　我們現在根據每個(gè)網(wǎng)站或采集列的數據分布情況，對采集的頻率進(jìn)行更合適的統計分析，盡量減少服務(wù)器資源的浪費，提高采集 效率和最大化數據價(jià)值。

　　二：智能識別網(wǎng)站欄目

　　我們現在的采集的網(wǎng)站有6W左右，列有70W左右。這6W的網(wǎng)站中，每天都有很多網(wǎng)站的升級和改版，大量新柱上架，舊柱下架。一個(gè) 3 人的運維團隊不可能完成這些工作量。

　　因此，我們根據 6W 網(wǎng)站 中配置的列進(jìn)行訓練，然后每周分析一次 網(wǎng)站 以自動(dòng)識別列。然后，過(guò)濾掉與我的業(yè)務(wù)無(wú)關(guān)的列，最后進(jìn)行人工抽檢，最后發(fā)布到采集隊列中供采集使用。就這樣，我們的運維團隊從9人減少到了現在的3人。并且還可以保證采集的穩定性和效率。

　　在大數據盛行的今天，一切分析的基礎都是數據。

　　隨著(zhù)人工智能時(shí)代的到來(lái)，人類(lèi)能做的一切，或多或少都可以被機器取代。

　　那么，30、50 年后，機器人能戰勝人類(lèi)嗎？哈哈.....