秘密:【工具】開(kāi)源足跡和情報收集工具-----SpiderFoot

　　今天給大家推薦一款開(kāi)源的足跡和情報采集

工具---SpiderFoot

　　SpiderFoot 是一種偵察工具，可自動(dòng)查詢(xún) 100 多個(gè)公共數據源 (OSINT)，以采集

有關(guān) IP 地址、域名、電子郵件地址、姓名等的相關(guān)情報。

　　SpiderFoot是一款開(kāi)源的智能自動(dòng)化工具，內置了很多模塊和接口，利用這些模塊和接口從網(wǎng)上抓取目標相關(guān)的信息。

　　官網(wǎng)地址：

　　github項目地址：

　　SpiderFoot 可用于進(jìn)攻性用途，即作為黑盒滲透測試的一部分，以采集

有關(guān)目標的信息，或用于防御性用途，以確定您的組織可以免費向攻擊者提供哪些信息。

　　模塊：

　　SecurityTrails (sfp_securitytrails)：SecurityTrails() 具有廣泛的 DNS 和 Whois 數據，任何威脅情報分析師、安全分析師或調查員都應考慮這些數據。該模塊將在其 API 中查詢(xún) IP 地址、域名、電子郵件地址和擁有的網(wǎng)絡(luò )塊，以識別共同托管的站點(diǎn)、在同一電子郵件地址*敏*感*詞*冊的域等。需要 API 密鑰，但可以免費使用。

　　

" />

　　(sfp_fullcontact): ( ) 有很多關(guān)于人和公司的數據。該模塊使用其 API（需要 API 密鑰）查找域名、電子郵件地址和姓名，以嘗試識別其他電子郵件地址和姓名，以及實(shí)際位置和電話(huà)號碼。

　　ARIN (sfp_arin)：ARIN（美國互聯(lián)網(wǎng)號碼注冊局：）類(lèi)似于 RIPE（SpiderFoot 已經(jīng)有一個(gè)模塊 --sfp_ripe），因為它們提供了一個(gè) API 來(lái)查詢(xún)有關(guān)網(wǎng)絡(luò )范圍的信息。但更有趣的是，從 OSINT 的角度來(lái)看，您可以通過(guò)名字和姓氏進(jìn)行查詢(xún)，同樣可以通過(guò)域名來(lái)獲取附屬名稱(chēng)。該模塊將獲取任何已識別的域名并返回一個(gè)人名列表和 ARIN 注冊數據，然后由其他模塊掃描這些數據以識別潛在的電子郵件地址和主機名。它還會(huì )查找任何名稱(chēng)以識別可能相關(guān)的數據。

　　(sfp_hackedemails)：與 () 類(lèi)似，提供免費服務(wù)來(lái)識別數據泄露中提到的電子郵件地址。該模塊將查詢(xún)其 API 以查找在掃描期間識別的任何電子郵件地址。

　　Citadel.pw (sfp_citadel)：如上所述，citadel.pw 提供了一種搜索大量泄露電子郵件地址的方法，而這正是該模塊要做的。

　　CIRCL.LU (sfp_circllu)：CIRCL.LU（盧森堡計算機事件響應中心）提供免費但按需的 API，用于查詢(xún)其豐富的歷史 SSL 和 DNS 數據數據庫。該模塊將獲取主機名、擁有的網(wǎng)絡(luò )塊、IP 地址和域名，并識別更多 IP 地址和主機名，以及與您的目標關(guān)聯(lián)的 SSL 證書(shū)和共同主機。

　　

" />

　　(sfp_quad9)：聚合了許多威脅情報數據源并將它們集成到解析器中，任何人都可以指向 (9.9.9.9)。解析器不會(huì )針對集成數據源解析任何惡意內容。該模塊將嘗試使用 9.9.9.9 解析可識別的主機名、從屬關(guān)系和共同主機，如果無(wú)法解析但使用配置的解析器解析，則將它們報告為惡意。

　　RiskIQ/PassiveTotal (sfp_riskiq)：RiskIQ() 為威脅情報平臺提供了一個(gè) API（需要 API 密鑰）來(lái)查詢(xún)其被動(dòng) DNS 和其他數據。該模塊將查詢(xún)其 API 以獲取任何已識別的主機名、IP 地址、域名或電子郵件地址，并返回擁有的網(wǎng)址、其他 IP 地址、共同托管的站點(diǎn)以及使用提供的電子郵件地址注冊的域（反向 Whois））。

　　之前的相關(guān)閱讀：

　　1、

　　2、

　　3.

　　4.

　　秘密:技巧｜資產(chǎn)收集對抗-子域名爆破

　　技巧｜資產(chǎn)采集對抗-子域名爆破

　　冰刃安保

　　霜刃

　　人最大的敵人是自己的懶惰；做一件事不難，難在堅持。堅持一時(shí)不難，難的是堅持到底。全力以赴，你才有資格說(shuō)你倒霉；感到疲倦，可能是因為你正處在人生的上坡路上；只有全力以赴，才能迎來(lái)更美好的明天！

　　發(fā)表于

　　收錄

在集合中#Skills26

　　資產(chǎn)采集對抗——子域名爆破

　　子域名爆破是發(fā)現多種資產(chǎn)的好方法。在子域名爆破中，經(jīng)常會(huì )遇到泛解析問(wèn)題

　　什么是泛解析（參考百度百科）？

　　泛域名解析是：*.域名解析到同一IP。<br />域名解析是：子域名.域名解析到同一IP。<br />

　　這給我們做子域名爆破帶來(lái)了很大的不便。以往爆破子域名常用的是分層子域名挖掘機。適用

　　最近在做漏洞挖掘的時(shí)候，發(fā)現跑的很多資產(chǎn)都是無(wú)效資產(chǎn)。解決這個(gè)問(wèn)題對信息采集

很有幫助

　　前幾天朋友給我發(fā)了一個(gè)自己寫(xiě)的子域名爆破工具。使用后，感覺(jué)很好。這是一個(gè)簡(jiǎn)短的解釋?zhuān)?/p>

　　這里我們以淘寶和百度為例：ping一個(gè)絕對隨機的不能存在的域名，如果他解析了，說(shuō)明他大概率用了泛解析

　　圖片

　　結論：說(shuō)明淘寶可能存在泛解析問(wèn)題

　　以百度為例：

　　圖片

　　結論：說(shuō)明百度可能沒(méi)有泛解析的問(wèn)題

　　對于百度，我們可以直接使用layer subdomain digger等子域名爆破工具，但是對于淘寶資產(chǎn)，我們不能使用layer subdomain digger等常規工具

　　

" />

　　然后我們要做第一步，識別泛分析：

　　這里的思路是這樣的：

　　圖片

　　圖片

　　這里用到的python3庫：aiodns，他很強大，aiodns支持的查詢(xún)類(lèi)型：A、AAAA、ANY、CAA、CNAME、MX、NAPTR、NS、PTR、SOA、SRV、TXT。

　　5個(gè)完整的A記錄解析成功，認為存在泛解析問(wèn)題。如果沒(méi)有泛解析問(wèn)題，就為正則子域名收一梭子。如果檢測到泛解析，使用破泛解析的子域名爆破工具

　　突破分析實(shí)現思路：

　　圖片

　　剛才演示泛解析判斷是否存在，仍然以資產(chǎn)淘寶為例：

　　測試演示：

　　import asyncio<br />import aiodns<br />import sys<br />loop = asyncio.get_event_loop()<br />resolver = aiodns.DNSResolver(loop=loop)<br /><br />async def query(name, query_type):<br /> return await resolver.query(name, query_type)<br /><br />try:<br /> coro = query(str(sys.argv[1]), 'CNAME')<br /> result = loop.run_until_complete(coro)<br /> print(result)<br />except Exception as e:<br /> print(e)<br />

　　CNAME查詢(xún)幾個(gè)不存在的淘寶域名，同樣的思路，多次循環(huán)不存在的域名。如果訪(fǎng)問(wèn)不存在的域名，CNAME是

　　圖片

　　圖片

　　那么在爆破子域名的時(shí)候，可以先判斷CNAME。在這里您可以維護特定制造商的 CNAME 列表。

　　代碼：

　　

" />

　　先查詢(xún)

　　CNAME記錄，收錄

則跳過(guò)

　　同理，方法三：A記錄查詢(xún)命中數：

　　如果A記錄查詢(xún)命中同一個(gè)ip&gt;10，后續爆破A記錄解析的域名將不會(huì )顯示該記錄

　　通過(guò)這個(gè)思路，可以解決域名泛解析的問(wèn)題

　　域名深度問(wèn)題：replace提取最后一個(gè)域名前綴并添加到下一個(gè)fuzz+最后一個(gè)域名前綴

　　圖片

　　圖片

　　題外話(huà)：判斷是不是真生意？

　　當域名較多時(shí)，檢測該域名是否為真實(shí)業(yè)務(wù)非常重要?，F在很多網(wǎng)站跳轉到入口，點(diǎn)擊任意一個(gè)子域名都會(huì )跳轉到sso/入口，防止泛解析問(wèn)題：

　　思路如下：

　　效果如下：

　　參考：

　?。ㄒ唬┏Ｓ糜蛎麄浒竻⒖迹?/p>

　　(2)處理泛解析子域名爆破工具參考：

　　福利在文末?。?！加好友回復“GO Black Hat”，贏(yíng)取《GO Black Hat——滲透測試編程之書(shū)》