Shuhuiji分發(fā)了采集平臺試用報告

　　一、概述

　　該產(chǎn)品分布式，快速，穩定，適用于各種采集企業(yè)級產(chǎn)品，適用于大數據量采集（每日采集數千萬(wàn)，數以百計的數據量）百萬(wàn)），需要高度及時(shí)性的公司，例如民意公司，大數據分析公司和實(shí)時(shí)數據監視公司。

　　二、具體說(shuō)明

　　1、分布式

　　它由調度服務(wù)器和多個(gè)采集節點(diǎn)組成，以形成分布式體系結構。調度服務(wù)器可以同時(shí)管理多個(gè)節點(diǎn)，例如，同時(shí)重新啟動(dòng)100個(gè)采集個(gè)節點(diǎn)并同時(shí)發(fā)布規則。檢查統一接口上每個(gè)節點(diǎn)的操作，并提供采集節點(diǎn)警告機制。多個(gè)采集節點(diǎn)協(xié)同工作，有效地避免了不同的采集節點(diǎn)重復采集數據。

　　2、速度快

　　我們的產(chǎn)品不同于市場(chǎng)上其他爬蟲(chóng)軟件。該產(chǎn)品作為后臺進(jìn)程運行，不需要呈現圖形界面，而是直接分析消息格式。速度大約是其他產(chǎn)品的30到100倍。

　　3、穩定

　　它可以一天24小時(shí)不間斷運行，并且運行穩定。使用我們產(chǎn)品的客戶(hù)已經(jīng)運行了將近一年。

　　4、 采集廣泛

　　本產(chǎn)品可以采集任何格式和形式的數據，例如采集百度地圖數據，AutoNavi地圖數據，采集手機APP數據和采集指定網(wǎng)站完整數據。這些功能在市場(chǎng)上其他采集軟件中不可用。

　　5、 采集寬數據格式

　　可以采集所有格式，例如html，xml，json，圖片文件，視頻文件，word文件，pdf文件，excel文件等都可以為采集。

　　6、有效突破反采集機制

　　內置了多種預防突破采集的方法和解決方案，有效地擴大了采集的范圍

　　簡(jiǎn)而言之，我們的客戶(hù)位于采集個(gè)具有大數據量和高及時(shí)性的大數據公司中。它是真正的企業(yè)級產(chǎn)品，與市場(chǎng)上的采集軟件不同（僅小規模數據采集和采集的范圍有限）。我們的產(chǎn)品可以節省企業(yè)中履帶工程師一半以上的人力資源。數據采集看起來(lái)很簡(jiǎn)單，但是要實(shí)現大量數據采集和整個(gè)數據采集的穩定性非常困難?，F在，履帶工程師供不應求，其中大多數人經(jīng)驗不足。即使他們被雇用，他們也可能無(wú)法解決所有爬蟲(chóng)問(wèn)題。從目前的角度來(lái)看，我們的產(chǎn)品市場(chǎng)需求量很大。隨著(zhù)大數據的興起，它將變得越來(lái)越大。