內容采集(基于網(wǎng)絡(luò )爬蟲(chóng)的網(wǎng)站信息采集技術(shù)整合方案的設計與實(shí)現)

　　【摘要】 隨著(zhù)互聯(lián)網(wǎng)的迅速普及和發(fā)展，它已逐漸融入人們日常生活的方方面面。網(wǎng)絡(luò )是人們在互聯(lián)網(wǎng)上相互交流、獲取*敏*感*詞*繞這一目標，本文提出了基于網(wǎng)絡(luò )爬蟲(chóng)的網(wǎng)站信息采集技術(shù)集成方案的設計與實(shí)現。本文提出的基于網(wǎng)絡(luò )爬蟲(chóng)的網(wǎng)站信息采集技術(shù)集成方案包括信息采集、信息抽取和信息檢索三個(gè)部分。信息采集是基于Heritrix爬蟲(chóng)擴展實(shí)現的（結合HtmlUnit），負責完成目標站點(diǎn)的網(wǎng)頁(yè)采集；信息提取是基于Jsoup和DOM技術(shù)，負責完成從網(wǎng)頁(yè)中提取文章信息存入數據庫，將非結構化信息轉化為結構化信息；信息檢索基于Lucene索引工具和SSH2架構實(shí)現，負責呈現采集信息的文章，方便用戶(hù)瀏覽。