如何進(jìn)行手機APP的數據爬???
優(yōu)采云 發(fā)布時(shí)間: 2020-05-30 08:00作者:xiaoyu
微信公眾號:Python數據科學(xué)
知乎:Python數據分析師
平時(shí)我們的爬蟲(chóng)多是針對網(wǎng)頁(yè)的,但是隨著(zhù)手機端APP應用數目的增多,相應的爬取需求也就越來(lái)越多,因此手機端APP的數據爬取對于一名爬蟲(chóng)工程師來(lái)說(shuō)是一項必備的技能。我們曉得手機上爬蟲(chóng)軟件,網(wǎng)頁(yè)爬取的時(shí)侯我常常使用F12開(kāi)發(fā)者工具或則fiddler之類(lèi)的工具來(lái)幫助我們剖析瀏覽器行為。那對于手機的APP該怎么使用呢?同樣的,我們也可以使用fiddler來(lái)剖析。好了,本篇博主將會(huì )給你們介紹怎樣在筆記本端使用fiddler進(jìn)行手機APP的抓包。
首先了解一下fiddler(百度百科):
Fiddler是一個(gè)http合同調試代理工具,它就能記錄并檢測所有你的筆記本和互聯(lián)網(wǎng)之間的http通信,設置斷點(diǎn),查看所有的“進(jìn)出”Fiddler的數據(指cookie,html,js,css等文件,這些都可以使你胡亂更改的意思)。 Fiddler 要比其他的網(wǎng)路調試器要愈發(fā)簡(jiǎn)單,因為它不僅僅曝露http通信還提供了一個(gè)用戶(hù)友好的格式。
完成此項工作的整個(gè)流程可分為如下幾個(gè)步驟。
fiddler的官方下載鏈接:
安裝步驟沒(méi)哪些非常,常規下一步完成即可。
這里有兩點(diǎn)須要說(shuō)明一下。
操作很簡(jiǎn)單,打開(kāi)下載好的fiddler手機上爬蟲(chóng)軟件,找到 Tools -> Options,然后再HTTPS的工具欄下勾選Decrpt HTTPS traffic,在新彈出的選項欄下勾選Ignore server certificate errors。
相同的,在Connections選項欄下勾選Allow remote computers to connect,并記住前面的端口號8888,后面會(huì )使用到。
好了,需要的fiddler設置就配置完成了。
設置手機端之前,我們須要記住一點(diǎn):電腦和手機須要在同一個(gè)網(wǎng)路下進(jìn)行操作。
可以使用wifi或則手機熱點(diǎn)等來(lái)完成。
假如你已然使筆記本和手機處于同一個(gè)網(wǎng)路下了,這時(shí)候我們須要曉得此網(wǎng)路的ip地址,可以在命令行輸入ipconfig簡(jiǎn)單的獲得,如圖。
好了,下面我們開(kāi)始手機端的設置。
手機APP的抓取操作對于A(yíng)ndroid和Apple系統都可用,博主使用的蘋(píng)果系統,在此以蘋(píng)果系統為例。
進(jìn)入到手機wifi的設置界面,選擇當前聯(lián)接網(wǎng)路的更多信息,在蘋(píng)果中是一個(gè)感嘆號。然后在最下邊你會(huì )看見(jiàn)HTTP代理的選項,點(diǎn)擊步入。
進(jìn)入后,填寫(xiě)里面記住的ip地址和端口號,確定保存。
在手機上打開(kāi)瀏覽器輸入一個(gè)里面ip地址和端口號組成的url::8888,然后點(diǎn)擊FiddlerRoot certificate下載fiddler證書(shū)。
以上就簡(jiǎn)單完成了所有的操作,最后我們測試一下是否好用。
就以知乎APP為例,在手機上打開(kāi) 知乎APP。下面是筆記本上fiddler的抓包結果。
結果沒(méi)有問(wèn)題,抓到信息包。然后就可以使用我們剖析網(wǎng)頁(yè)的方式來(lái)進(jìn)行后續的操作了。