? 優(yōu)采云采集器——最良心的爬蟲(chóng)軟件

　　2020 年如果讓我推薦一款大眾向的數據采集軟件，那一定是優(yōu)采云采集器[1]了。和我之前推薦的 相比，如果說(shuō) web scraper 是小而精的瑞士*敏*感*詞*，那優(yōu)采云采集器就是大而全的重型武器，基本上可以解決所有的數據爬取問(wèn)題。

　　下面我們就來(lái)聊聊，這款軟件的優(yōu)秀之處。

　　一、產(chǎn)品特點(diǎn)1.跨平臺

　　優(yōu)采云采集器是一款桌面應用軟件，支持三大操作系統：Linux、Windows 和 Mac，可以直接在官網(wǎng)上免費下載[2]。

　　2.功能強大

　　優(yōu)采云采集器把采集工作分為兩種類(lèi)型：智能模式和流程圖模式。

　　智能模式[3]就是加載網(wǎng)頁(yè)后，軟件自動(dòng)分析網(wǎng)頁(yè)結構，智能識別網(wǎng)頁(yè)內容，簡(jiǎn)化操作流程。這種模式比較適合簡(jiǎn)單的網(wǎng)頁(yè)，經(jīng)過(guò)我的測試，識別準確率還是挺高的。

　　流程圖模式[4]的本質(zhì)就是圖形化編程。我們可以利用優(yōu)采云采集器提供的各種控件，模擬編程語(yǔ)言中的各種條件控制語(yǔ)句，從而模擬真人瀏覽網(wǎng)頁(yè)的各種行為爬取數據。

　　3.導出無(wú)限制

　　這個(gè)可以說(shuō)是優(yōu)采云采集器最良心的功能了。

　　市面上有很多的數據采集軟件，出于商業(yè)化的目的，多多少少會(huì )對數據導出進(jìn)行限制。不清楚套路的人經(jīng)常用相關(guān)軟件辛辛苦苦采集了一堆數據，結果發(fā)現導出數據需要花錢(qián)。

　　優(yōu)采云采集器就沒(méi)有這個(gè)問(wèn)題，它的付費點(diǎn)[5]主要是體現在 IP 池和采集加速等高級功能上，不但導出數據不花錢(qián)，還支持 Excel、CSV、TXT、HTML 多種導出格式，并且支持直接導出到數據庫，對于普通的用戶(hù)來(lái)說(shuō)完全夠用了。

　　4.教程詳細

　　我在本文動(dòng)筆之前曾經(jīng)想過(guò)先寫(xiě)幾篇優(yōu)采云采集器的使用教程，但是看了他們的官網(wǎng)教程后就知道沒(méi)這個(gè)必要了，因為寫(xiě)的實(shí)在是太詳細了。

　　優(yōu)采云采集器的官網(wǎng)提供了兩種教程，一種是視頻教程[6]，每個(gè)視頻五分鐘左右；一種是圖文教程[7]，*敏*感*詞*教學(xué)?？赐赀@兩類(lèi)教程后還可以看看他們的文檔中心[8]，寫(xiě)的也非常詳細，基本覆蓋了該軟件的各個(gè)功能點(diǎn)。

　　二、基礎功能1.數據抓取

　　基本的數據抓取非常簡(jiǎn)單：我們只要點(diǎn)擊「添加字段」那個(gè)按鈕，就會(huì )出現一個(gè)選擇魔棒，然后點(diǎn)選要抓取的數據，就能采集數據了：

　　2.翻頁(yè)功能

　　我在介紹 時(shí)曾把網(wǎng)頁(yè)翻頁(yè)分為 3 大類(lèi)：滾動(dòng)加載、分頁(yè)器加載和點(diǎn)擊下一頁(yè)加載。

　　對于這三種基礎翻頁(yè)類(lèi)型，優(yōu)采云采集器也是完全支持的。

　　不像 web scraper 的分頁(yè)功能散落在各種選擇器上，優(yōu)采云采集器的分頁(yè)配置集中在一個(gè)地方上，只要通過(guò)下拉選擇，就可以輕松配置分頁(yè)模式。相關(guān)的配置教程可見(jiàn)官網(wǎng)教程：如何設置分頁(yè)[9]。

　　3.復雜表單

　　對于一些多項聯(lián)動(dòng)篩選的網(wǎng)頁(yè)，優(yōu)采云采集器也能很好的處理。我們可以利用優(yōu)采云采集器里的流程圖模式，去自定義一些交互規則。

　　例如下圖，我就利用了流程圖模式里的點(diǎn)擊組件模擬點(diǎn)擊篩選按鈕，非常方便。

　　三、進(jìn)階使用1.數據清洗

　　我在介紹 時(shí)，說(shuō) web scraper 只提供了基礎的正則匹配功能，可以在數據抓取時(shí)對數據進(jìn)行初步的清洗。

　　相比之下，優(yōu)采云采集器提供了更多的功能：強大的過(guò)濾配置，完整的正則功能和全面的文字處理配置。當然，功能強大的同時(shí)也帶來(lái)了復雜度的提升，需要有更多的耐心去學(xué)習使用。

　　下面是官網(wǎng)上和數據清洗有關(guān)的教程，大家可以參考學(xué)習：

　　2.流程圖模式

　　本文前面也介紹過(guò)了，流程圖模式的本質(zhì)就是圖形化編程。我們可以利用優(yōu)采云采集器提供的各種控件，模擬編程語(yǔ)言中的各種條件控制語(yǔ)句，從而模擬真人瀏覽網(wǎng)頁(yè)的各種行為爬取數據。

　　比如說(shuō)下圖這個(gè)流程圖，就是模擬真人瀏覽微博時(shí)的行為去抓取相關(guān)數據。

　　經(jīng)過(guò)我個(gè)人的幾次測試，我認為流程圖模式有一定的學(xué)習門(mén)檻，但是和從頭學(xué)習 python 爬蟲(chóng)比起來(lái)，學(xué)習曲線(xiàn)還是緩和了不少。如果對流程圖模式很感興趣，可以去官網(wǎng)[13]上學(xué)習，寫(xiě)的非常詳細。

　　3.XPath/CSS/Regex

　　無(wú)論是什么爬蟲(chóng)軟件，他們都是基于一定的規則去抓取數據的。XPath/CSS/Regex 就是幾個(gè)常見(jiàn)的匹配規則。優(yōu)采云采集器支持自定義這幾種選擇器，可以更靈活的選擇要抓取的數據。

　　比如說(shuō)某個(gè)網(wǎng)頁(yè)里存在數據 A，但只有鼠標移到對應的文字上才會(huì )以彈窗的形式顯示出來(lái)，這時(shí)候我們就可以自己寫(xiě)一個(gè)對應的選擇器去篩選數據。

　　XPath

　　XPath 是一種在爬蟲(chóng)中運用非常廣泛的數據查詢(xún)語(yǔ)言。我們可以通過(guò) XPath 教程[14]去學(xué)習這個(gè)語(yǔ)言的運用。

　　CSS

　　這里的 CSS 特指的 CSS 選擇器，我之前介紹 web scraper 的高級技巧時(shí)，講解過(guò) CSS 選擇器的使用場(chǎng)景和注意事項。感興趣的人可以看我寫(xiě)的 。

　　Regex

　　Regex 就是正則表達式。我們也可以通過(guò)正則表達式去選擇數據。我也寫(xiě)過(guò)一些。但是個(gè)人認為在字段選擇器這個(gè)場(chǎng)景下，正則表達式?jīng)]有 XPath 和 CSS 選擇器好用。

　　4.定時(shí)抓取/IP 池/打碼功能

　　這幾個(gè)都是優(yōu)采云采集器的付費功能，我沒(méi)有開(kāi)會(huì )員，所以也不知道使用體驗怎么樣。在此我做個(gè)小小的科普，給大家解釋一下這幾個(gè)名詞是什么意思。

　　定時(shí)抓取

　　定時(shí)抓取非常好理解，就是到了某個(gè)固定的時(shí)間爬蟲(chóng)軟件就會(huì )自動(dòng)抓取數據。市面上有一些比價(jià)軟件，背后就是運行著(zhù)非常多的定時(shí)爬蟲(chóng)，每隔幾分鐘爬一下價(jià)格信息，以達到價(jià)格監控的目的。

　　IP 池

　　互聯(lián)網(wǎng)上 90% 的流量都是爬蟲(chóng)貢獻的，為了降低服務(wù)器的壓力，互聯(lián)網(wǎng)公司會(huì )有一些風(fēng)控策略，里面就有一種是限制 IP 流量。比如說(shuō)互聯(lián)網(wǎng)公司后臺檢測到某個(gè) IP 有大量的數據請求，超過(guò)了正常范圍，就會(huì )暫時(shí)的封鎖這個(gè) IP，不返回相關(guān)數據。這時(shí)候爬蟲(chóng)軟件就會(huì )自己維護一個(gè) IP 池，用不同的 IP 發(fā)送請求，降低 IP 封鎖的概率。

　　打碼功能

　　這個(gè)功能就是內置了驗證碼識別器，可以實(shí)現機器打碼 or 手動(dòng)打碼，也是繞過(guò)網(wǎng)站風(fēng)控的一種方法。

　　四、總結

　　個(gè)人認為優(yōu)采云采集器是一款非常優(yōu)秀的數據采集軟件。它提供的免費功能可以解決絕大部分編程小白的數據抓取需求。

　　如果有一些編程基礎，可以明顯的看出一些功能是對編程語(yǔ)言邏輯的封裝，比如說(shuō)流程圖模式是對流程控制的封裝，數據清洗功能是對字符串處理函數的封裝。這些高階功能擴展了優(yōu)采云采集器的能力，也增大了學(xué)習難度。

　　我個(gè)人看來(lái)，如果是輕量的數據抓取需求，更傾向于使用 web scraper；需求比較復雜，優(yōu)采云采集器是個(gè)不錯的選擇；如果涉及到定時(shí)抓取等高級需求，自己寫(xiě)爬蟲(chóng)代碼反而更加可控。

　　總而言之，優(yōu)采云采集器是一款優(yōu)秀的數據采集軟件，非常推薦大家學(xué)習和使用。

　　聯(lián)系我