Python爬蟲(chóng)大數據采集和挖掘教學(xué)（課程提綱）

　　

　　“ Python爬蟲(chóng)大數據采集和挖掘”

　　課程大綱

　　部門(mén): 日期: 2019年10月10日

　　課程代碼

　　課程名稱(chēng)

　　Python爬蟲(chóng)大數據采集和挖掘

　　學(xué)分數量

　　2

　　每周幾小時(shí)

　　2

　　教學(xué)語(yǔ)言

　　中文

　　課程的性質(zhì)

　　√核心課程√通識教育選修□基礎基礎√主要選修√專(zhuān)業(yè)選修□其他

　　教學(xué)目的

　　本課程主要針對大數據技術(shù)與應用，數據科學(xué)，計算機和電子信息等領(lǐng)域的2年級以上的本科生. 主要講解互聯(lián)網(wǎng)大數據采集技術(shù)和各種典型的爬蟲(chóng)技術(shù)，并結合相關(guān)的開(kāi)放知識源碼該軟件包用Python實(shí)現，以加深學(xué)生對所學(xué)知識的理解. 通過(guò)本課程的教學(xué)，學(xué)生將對互聯(lián)網(wǎng)大數據采集技術(shù)有全面的了解，掌握基本信息內容采集，提取和分析方法，并具有一定的實(shí)際應用和特定信息采集的需求. 解決能力.

　　基本內容簡(jiǎn)介

　　互聯(lián)網(wǎng)大數據采集技術(shù)和實(shí)施概述； Web服務(wù)器應用程序體系結構和HTTP，機器人，HTML，頁(yè)面編碼和其他相關(guān)協(xié)議和規范；常用的Web爬蟲(chóng)技術(shù)，動(dòng)態(tài)頁(yè)面采集方法，主題爬蟲(chóng)技術(shù)，深層Web爬蟲(chóng)，微博信息采集，Web信息提取和反爬蟲(chóng)技術(shù)等；爬蟲(chóng)應用程序中使用的典型大數據處理和挖掘技術(shù)；全面運用各種爬蟲(chóng)和處理技術(shù)分析和設計新聞閱讀器;了解采集器用于檢測SQL注入安全性的方法.

　　基本要求:

　　必須了解互聯(lián)網(wǎng)大數據的技術(shù)體系和主要技術(shù)采集；掌握各種典型爬蟲(chóng)的技術(shù)原理，技術(shù)框架，實(shí)現方法以及主要開(kāi)源軟件包的使用；了解抓取工具采集到達的網(wǎng)頁(yè)數據. 處理方法，文本處理和相關(guān)的挖掘方法將使用Python來(lái)實(shí)現.

　　教學(xué)方法:

　　本課程主要基于講座. 在本課程的教學(xué)過(guò)程中，將使用課堂講解和課堂討論為學(xué)生提供互動(dòng)交流，并根據教學(xué)進(jìn)度進(jìn)行一些輔助實(shí)驗.

　　課堂內外的討論或實(shí)踐，實(shí)踐，經(jīng)驗等的設計:

　　課外活動(dòng)需要認真完成分配的作業(yè)，理解并鞏固所學(xué)內容.

　　評估和評估方法（提供學(xué)生課程最終成績(jì)的分數構成，反映形成性評估過(guò)程）

　　評估包括普通成績(jì)（出勤，項目，實(shí)驗）和期末考試，分別占總課程成績(jì)的35％和65％. 最終的評估形式是閉卷考試.

　　“ Python爬蟲(chóng)大數據采集和挖掘”

　　教學(xué)時(shí)間表

　?。ㄍ扑]）

　　教學(xué)內容安排（每節課內容共16周，每32小時(shí)一次）:

　　第一周:

　　第1課: 互聯(lián)網(wǎng)大數據采集的概念，重要性，應用狀態(tài)等；第2課: 互聯(lián)網(wǎng)大數據采集技術(shù)體系，法律和技術(shù)邊界，技術(shù)前景.

　　第二周:

　　第一課: HTML語(yǔ)言規范；第二課: 網(wǎng)頁(yè)編碼，正則表達式.

　　第三周:

　　第一課: Web服務(wù)器，應用程序體系結構，機器人；第二課: HTTP協(xié)議，狀態(tài)保持技術(shù).

　　第四周:

　　第1課: 常見(jiàn)的采集器系統，請求；第2課: 異常處理，鏈接提取

　　第5周:

　　第1課: 檢索策略和實(shí)現，PR算法；第2課: 動(dòng)態(tài)頁(yè)面和采集技術(shù)

　　第6周:

　　第1課: 動(dòng)態(tài)頁(yè)面，Ajax，Cookie；第2課: 模擬瀏覽器技術(shù)

　　第七周:

　　第1課: 嘗試使用靜態(tài)頁(yè)面采集；第2課: 嘗試動(dòng)態(tài)頁(yè)面采集

　　第八周:

　　第1課: 介紹網(wǎng)頁(yè)提取技術(shù)和思想；第2課: 基于結構的提取方法和主要的開(kāi)源軟件包.

　　第9周:

　　第1課: 主題采集器和技術(shù)框架，主題表示；第2課: 主題表示，相關(guān)性計算，示例.

　　第十周:

　　第1課: 網(wǎng)絡(luò )信息提取實(shí)驗；第2課: 關(guān)于主題采集器的實(shí)驗.

　　第11周:

　　第一課: DeepWeb的概念，特征和采集要求，技術(shù)體系結構；第二課: 技術(shù)架構和實(shí)現示例.

　　第12周:

　　第一課: 微博采集方法概述，平臺授權，API簡(jiǎn)介；第二課: Python調用API 采集，爬網(wǎng)方法采集.

　　第13周:

　　第1課: 反履帶，反履帶技術(shù)，反反履帶技術(shù)概述；第2課: 文本分析和預處理概述.

　　第十四周:

　　第一課: 向量空間和文本分類(lèi)；第二課: 主題建模，可視化技術(shù).

　　第15周:

　　第1課: 常見(jiàn)的應用模式，新聞閱讀器；第2課: 新聞閱讀器，SQL注入檢測.

　　第十六周:

　　綜合實(shí)驗，復習，考試

　　

　　提供300分鐘的視頻講解，教學(xué)大綱，課件，教學(xué)計劃，練習答案，程序源代碼和其他支持資源.

　　帶書(shū)的視頻演示