最近中文字幕2019高清,亚洲人成高清在线播放,男生淦哭男生图片动漫有字,国产亚洲精品九九久在线观看,无码av专区丝袜专区

　　最新信息:如何查看網(wǎng)站被百度抓取的情況？
　　百度用來(lái)抓取網(wǎng)頁(yè)的程序叫做Baiduspider——百度蜘蛛。我們主要分析網(wǎng)站被百度爬取的情況。 網(wǎng)站日志中百度蜘蛛Baiduspider的活動(dòng)：爬取頻率，返回HTTP狀態(tài)碼。
　　如何查看日志：
　　通過(guò)FTP，在網(wǎng)站的根目錄下找到一個(gè)日志文件，文件名一般收錄日志，下載解壓里面的記事本，這是網(wǎng)站的日志，記錄網(wǎng)站 被訪(fǎng)問(wèn)和操縱。
　　由于每個(gè)服務(wù)器和主機的情況不同，不同主機的日志功能記錄的內容也不同，有的甚至沒(méi)有日志功能。
　　
　　日志內容如下：
　　61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1- 1.html HTTP/1.1" 200 8450 "-" "百度蜘蛛+(+)"
　　分析：
　　GET /bbs/thread-7303-1-1.html代表，抓取/bbs/thread-7303-1-1.html這個(gè)頁(yè)面。
　　200 表示抓取成功。
　　
　　8450 表示抓取了 8450 個(gè)字節。
　　如果你的日志中的格式不是這樣的，說(shuō)明日志格式設置不一樣。
　　在很多日志中可以看到200 0 0和200 0 64代表正常爬取。
　　爬取頻率是通過(guò)查看每日日志中的百度蜘蛛爬取次數得出的。爬取頻率沒(méi)有標準化的時(shí)間表或頻率數，我們一般通過(guò)多天的日志對比來(lái)判斷。當然，我們希望百度蜘蛛每天爬的次數越多越好。返回搜狐，查看更多
　　匯總:突發(fā)新聞實(shí)時(shí)監控聚合顯示方法
　　作為一名記者，您需要盡快了解突發(fā)新聞，以便快速跟進(jìn)報道和評論。
　　本文簡(jiǎn)要說(shuō)明了如何及時(shí)從多個(gè)新聞類(lèi)別網(wǎng)站中獲取突發(fā)新聞，并將所有網(wǎng)站相關(guān)新聞匯總到一個(gè)列表中，方便查看新聞內容。
　　首先打開(kāi)網(wǎng)站信息監控工具軟件，依次點(diǎn)擊工具菜單，關(guān)鍵詞管理。在關(guān)鍵詞管理窗口中，將關(guān)鍵詞組的名稱(chēng)改為Outbreak關(guān)鍵詞，并添加多個(gè)相關(guān)關(guān)鍵詞，如“事故、車(chē)禍、爆炸、火山”。
　　
　　然后，添加監控URL，設置網(wǎng)站標題和代碼，選擇A元素監控方案，根據情況選擇源監控或元素監控，勾選關(guān)鍵詞監控，開(kāi)啟burst關(guān)鍵詞組。
　　添加多條新聞網(wǎng)站如上。注意：如果您更喜歡使用源碼監控，如果監控失敗，您可以更改元素監控。
　　
　　最后，在軟件歷史列表中，可以查看相關(guān)新聞，任何網(wǎng)站中收錄關(guān)鍵詞的新聞都會(huì )立即出現在列表的第一行。點(diǎn)擊新聞標題，直接打開(kāi)新聞內容頁(yè)面。
　　從一個(gè)案例來(lái)推論，同樣的方法也適用于金融股新聞的監控，只是改變關(guān)鍵詞的地址，監控網(wǎng)站。

　　一般瀏覽器都自帶圖片下載程序，直接就有imagecapture
　　網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片，
　　不需要，一般瀏覽器都自帶圖片抓取程序，直接用。如果從網(wǎng)頁(yè)端下載圖片，還需要用到j(luò )avascript。
　　一般瀏覽器自帶的有自己的圖片下載程序，
　　
　　還是用服務(wù)器直接存放為jpg好一些
　　ie瀏覽器就有imagecapture呀，這個(gè)真的很方便，基本只要按下ctrl+c就可以，
　　看瀏覽器自己
　　facebook有個(gè)musicformusicproductionandinternetservices.可以在蘋(píng)果商店下載付費軟件。
　　
　　一般瀏覽器都可以自帶有下載圖片的功能，
　　這個(gè)不是很了解。google貌似也有這個(gè)功能。我們當時(shí)adsense需要圖片，直接就forward谷歌。
　　多次試驗：下載百度圖片png類(lèi)的小圖片，用瀏覽器自帶的圖片下載功能。下載pdf文件，用ie自帶的圖片下載功能。headless情況下瀏覽器自帶圖片下載功能也可以，瀏覽器自帶瀏覽器的圖片下載功能，請使用firefoxie瀏覽器自帶圖片下載功能（請使用navigator擴展內的圖片瀏覽器打開(kāi)headless頁(yè)面）。
　　chrome，
　　有比如我用了一下就是我的一個(gè)模擬手機瀏覽器功能圖片不是很準確，

　　Python爬蟲(chóng)中的"靜態(tài)網(wǎng)頁(yè)"和"動(dòng)態(tài)網(wǎng)頁(yè)"！
　　大家好，我是黃同學(xué)
　　網(wǎng)絡(luò )爬蟲(chóng)又稱(chēng)為網(wǎng)絡(luò )蜘蛛，是一段計算機程序，它從互聯(lián)網(wǎng)上按照一定的邏輯和算法抓取和下載互聯(lián)網(wǎng)的網(wǎng)頁(yè)，是搜索引擎的一個(gè)重要組成部分。簡(jiǎn)單來(lái)說(shuō)，網(wǎng)絡(luò )爬蟲(chóng)就是一段程序，它模擬人類(lèi)訪(fǎng)問(wèn)互聯(lián)網(wǎng)的形式，不停地從網(wǎng)絡(luò )上抓取我們需要的數據。我們可以定制各種各樣的爬蟲(chóng)，來(lái)滿(mǎn)足不同的需求，如果法律允許，你可以采集在網(wǎng)頁(yè)上看到的、任何你想要獲得的數據。
　　當我們在編寫(xiě)一個(gè)爬蟲(chóng)程序前，首先要明確待爬取的頁(yè)面是靜態(tài)的，還是動(dòng)態(tài)的，只有確定了頁(yè)面類(lèi)型，才方便后續對網(wǎng)頁(yè)進(jìn)行分析和程序編寫(xiě)。對于不同的網(wǎng)頁(yè)類(lèi)型，編寫(xiě)爬蟲(chóng)程序時(shí)所使用的方法也不盡相同。今天我帶大家了解一下靜態(tài)網(wǎng)頁(yè)和動(dòng)態(tài)網(wǎng)頁(yè)的相關(guān)概念。
　　靜態(tài)網(wǎng)頁(yè)
　　
　　靜態(tài)網(wǎng)頁(yè)是標準的 HTML 文件，通過(guò) GET 請求方法可以直接獲取，文件的擴展名是.html、.htm等，網(wǎng)面中可以包含文本、圖像、聲音、FLASH 動(dòng)畫(huà)、客戶(hù)端腳本和其他插件程序等。靜態(tài)網(wǎng)頁(yè)是網(wǎng)站建設的基礎，早期的網(wǎng)站一般都是由靜態(tài)網(wǎng)頁(yè)制作的。靜態(tài)并非靜止不動(dòng)，它也包含一些動(dòng)畫(huà)效果，這一點(diǎn)不要誤解。
　　我們知道當網(wǎng)站信息量較大的時(shí)，網(wǎng)頁(yè)的生成速度會(huì )降低，由于靜態(tài)網(wǎng)頁(yè)的內容相對固定，且不需要連接后臺數據庫，因此響應速度非?？?。但靜態(tài)網(wǎng)頁(yè)更新比較麻煩，每次更新都需要重新加載整個(gè)網(wǎng)頁(yè)。
　　靜態(tài)網(wǎng)頁(yè)的數據全部包含在 HTML 中，因此爬蟲(chóng)程序可以直接在 HTML 中提取數據。通過(guò)分析靜態(tài)網(wǎng)頁(yè)的 URL，并找到 URL 查詢(xún)參數的變化規律，就可以實(shí)現頁(yè)面抓取。與動(dòng)態(tài)網(wǎng)頁(yè)相比，并且靜態(tài)網(wǎng)頁(yè)對搜索引擎更加友好，有利于搜索引擎收錄。
　　動(dòng)態(tài)網(wǎng)頁(yè)
　　動(dòng)態(tài)網(wǎng)頁(yè)指的是采用了動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)的頁(yè)面，比如 AJAX（是指一種創(chuàng )建交互式、快速動(dòng)態(tài)網(wǎng)頁(yè)應用的網(wǎng)頁(yè)開(kāi)發(fā)技術(shù)）、ASP(是一種創(chuàng )建動(dòng)態(tài)交互式網(wǎng)頁(yè)并建立強大的 web 應用程序)、JSP(是 Java 語(yǔ)言創(chuàng )建動(dòng)態(tài)網(wǎng)頁(yè)的技術(shù)標準) 等技術(shù)，它不需要重新加載整個(gè)頁(yè)面內容，就可以實(shí)現網(wǎng)頁(yè)的局部更新。
　　
　　動(dòng)態(tài)頁(yè)面使用“動(dòng)態(tài)頁(yè)面技術(shù)”與服務(wù)器進(jìn)行少量的數據交換，從而實(shí)現了網(wǎng)頁(yè)的異步加載。下面看一個(gè)具體的實(shí)例：打開(kāi)百度圖片（）并搜索 Python，當滾動(dòng)鼠標滑輪時(shí)，網(wǎng)頁(yè)會(huì )從服務(wù)器數據庫自動(dòng)加載數據并渲染頁(yè)面，這是動(dòng)態(tài)網(wǎng)頁(yè)和靜態(tài)網(wǎng)頁(yè)最基本的區別。如下所示：
　　動(dòng)態(tài)網(wǎng)頁(yè)中除了有 HTML 標記語(yǔ)言外，還包含了一些特定功能的代碼。這些代碼使得瀏覽器和服務(wù)器可以交互，服務(wù)器端會(huì )根據客戶(hù)端的不同請求來(lái)生成網(wǎng)頁(yè)，其中涉及到數據庫的連接、訪(fǎng)問(wèn)、查詢(xún)等一系列 IO 操作，所以其響應速度略差于靜態(tài)網(wǎng)頁(yè)。
　　當然動(dòng)態(tài)網(wǎng)頁(yè)也可以是純文字的，頁(yè)面中也可以包含各種動(dòng)畫(huà)效果，這些都只是網(wǎng)頁(yè)內容的表現形式，其實(shí)無(wú)論網(wǎng)頁(yè)是否具有動(dòng)態(tài)效果，只要采用了動(dòng)態(tài)網(wǎng)站技術(shù)，那這個(gè)網(wǎng)頁(yè)就稱(chēng)為動(dòng)態(tài)網(wǎng)頁(yè)。
　　抓取動(dòng)態(tài)網(wǎng)頁(yè)的過(guò)程較為復雜，需要通過(guò)動(dòng)態(tài)抓包來(lái)獲取客戶(hù)端與服務(wù)器交互的 JSON 數據。抓包時(shí)，可以使用谷歌瀏覽器開(kāi)發(fā)者模式（快捷鍵：F12）Network選項，然后點(diǎn)擊 XHR，找到獲取 JSON 數據的 URL，如下所示：
　　或者您也可以使用專(zhuān)業(yè)的抓包工具 Fiddler（點(diǎn)擊訪(fǎng)問(wèn)）。
　　推薦"經(jīng)典原創(chuàng )"文章點(diǎn)擊標題可跳轉
　　4.

　　網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片的基本知識以及圖片相關(guān)的代碼
　　網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片是一個(gè)值得從事的技術(shù)工作,主要工作內容是按照指定的方法爬取指定網(wǎng)站的圖片。今天跟大家分享下圖片抓取的一些基本知識以及圖片抓取相關(guān)的代碼。
　　一、代碼結構：1.1基本語(yǔ)法：圖片：/獲取指定url：jpg：（轉義）gif：（轉義）imageloader：（轉義）imagereloader:（轉義）image：按需圖片上傳：(直傳)1.2，需要注意：圖片標題一定要有一個(gè)英文冒號testlogo.png,不然上傳不成功。圖片評分等于看十個(gè)imgurls_index的值加起來(lái)。
　　
　　1.3圖片源程序可能的結構：image-test.png（源程序的樣式）image-test.jpg（用戶(hù)的樣式）image-test.png（爬蟲(chóng)圖片）image-test.jpg（網(wǎng)頁(yè)源程序的樣式）。
　　二、圖片爬取工具的引用ide#pragmaonce#include#include#include#include#includeintmain(intargc,char*argv[]){strings="";inttarget_url=int(argc*argv);//ie插件中的url地址對應正則表達式匹配stringsorted_url="/";//排序后的內容存放在sorted_url中stringtarget_name="testlogo。
　　png";//返回testlogo。png標簽target_url+=s;target_name+=url;target_url-=target_url;target_url-=url;while(case"/"){vectorbi=array_index(s);vectorfile_buf=bi。size();if(file_buf。
　　
　　empty()){target_buf=bi。front();}file_buf。copy(s+target_url);}if(is_image(file_buf)){//要獲取指定目錄下所有圖片的idvectorimg_index_images(file_buf);intlast_url=file_buf。
<p>size();//圖片idstringindex=img_index_images。size();stringurl="";for(inti=0;i

　　大數據思維與設計之后的購物攻略(一級)
　　
　　網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片：豆瓣網(wǎng)圖片數據可抓取豆瓣網(wǎng)圖片百度圖片：分析百度抓取圖片，其他網(wǎng)站盡量避免網(wǎng)頁(yè)爬蟲(chóng)采集：大部分網(wǎng)站都需要登錄保證網(wǎng)站的安全使用第三方云加速：非常麻煩，很多網(wǎng)站第三方云加速也不穩定全球獨一無(wú)二：pwa?；ヂ?lián)網(wǎng)應用將在2020年前達到30%的普及率人工智能將迎來(lái)爆發(fā)式增長(cháng)優(yōu)網(wǎng)助手大數據分析平臺：大數據思維與設計之后再做下一步學(xué)術(shù)化：學(xué)術(shù)平臺快速獲取信息教材整理：教材圖書(shū)整理很重要購物攻略：從學(xué)生到父母都很喜歡的學(xué)習咨詢(xún)平臺一級學(xué)科的劃分為：數學(xué)、物理、化學(xué)、生物、經(jīng)濟學(xué)、歷史、地理、軍事醫學(xué)科學(xué)、工程、教育學(xué)、藝術(shù)學(xué)、哲學(xué)、法學(xué)以下專(zhuān)業(yè)的課程也將跨越很大的專(zhuān)業(yè)領(lǐng)域即將實(shí)施四年大三（規培、高教都取消了）必修課：數據結構與算法數據庫系統與網(wǎng)絡(luò )數據挖掘與機器學(xué)習實(shí)踐等專(zhuān)業(yè)課程的劃分從本科4年改為2-3年結束研究生可按照導師分配專(zhuān)業(yè)博士3年碩士3年論文的分類(lèi)：論文分為核心期刊論文，普通期刊論文，論文普刊基本是核心期刊區域性論文各省級，各大區域發(fā)的核心期刊：微觀(guān)金融分析，系統金融分析，現代金融分析，經(jīng)濟金融分析大數據分析數據挖掘網(wǎng)絡(luò )營(yíng)銷(xiāo)應用數據應用企業(yè)價(jià)值體現醫療情報與健康網(wǎng)絡(luò )數據規劃跨國情報分析，政治國際關(guān)系與大數據數據的管理與使用校驗機制對外、內部多源數據之間的匹配，數據庫合并、拷貝等關(guān)系數據的安全傳播的數學(xué)前沿我是數據分析師其實(shí)就是數據分析結果變現所有數據分析師都是干貨站數據分析師各種專(zhuān)業(yè)術(shù)語(yǔ)應該不少于10個(gè)很多數據分析師都喜歡用“技術(shù)”做自我調侃也可以說(shuō)做技術(shù)的人都是孤獨的吧入門(mén)的話(huà)mysql入門(mén)會(huì )python再加上最好對常用的數據庫會(huì )mysql配置啥的關(guān)系型數據庫需要會(huì )個(gè)etl對聚合查詢(xún)和分組查詢(xún)有了解再接著(zhù)在了解一些外圍的內容比如數據挖掘模型的使用等等各領(lǐng)域的很多基礎，相關(guān)的語(yǔ)言要熟悉，都要會(huì )一點(diǎn)點(diǎn)爬蟲(chóng)又是另外一種東西啦。
　　

　　chrome,,360瀏覽器都可以爬到國內所有的網(wǎng)站
　　網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片，chrome、safari、ie。抓取微信公眾號圖片抓取圖片很簡(jiǎn)單，選擇微信圖片獲取來(lái)源，
　　chrome，safari，googlechrome，
　　
　　我也發(fā)現這個(gè)問(wèn)題搜了一下tineye找了各種爬蟲(chóng)第一個(gè)爬到了國內所有的網(wǎng)站我用的chrome瀏覽器其他瀏覽器應該也都可以畢竟我就是從chrome開(kāi)始自己寫(xiě)一些小爬蟲(chóng)的現在我找了talkingdata和華爾街每天差不多有2億條數據talkingdata貌似都是一些公開(kāi)的數據比如搜索量什么的華爾街的話(huà)保密性較強基本無(wú)爬蟲(chóng)的要求目前自己寫(xiě)了一個(gè)小爬蟲(chóng)就可以從谷歌搜索一些公開(kāi)的數據例如百度的數據做比較研究感覺(jué)挺有意思的。
　　chrome，safari,ie都可以爬，下面這個(gè)連接可以幫你爬中國網(wǎng)站的數據，我自己也寫(xiě)了爬蟲(chóng)，還有字體列表。
　　不能。因為并不是真正的爬蟲(chóng)，只是在抓取網(wǎng)頁(yè)。
　　
　　能的，
　　我做過(guò)一個(gè)爬蟲(chóng)，抓取你的聊天記錄。
　　有中國站站的網(wǎng)頁(yè)，不僅你用chrome可以抓取，ie也行，firefox也行，不要想歪了，
　　chrome,firefox,360瀏覽器都可以抓取美國網(wǎng)站的數據,非常簡(jiǎn)單.詳細參看鏈接chromeinternals但是國內訪(fǎng)問(wèn)量稍微大點(diǎn)的網(wǎng)站，如果要爬的話(huà)是不行的。

　　網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片一圖流(圖)抓取
　　網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片一圖流作者：白貓首先打開(kāi)瀏覽器，搜索關(guān)鍵詞百度就可以看到相關(guān)結果。拉到上面第一張圖上方顯示全部的。從上往下這3個(gè)都可以看到對應的地址。下面三個(gè)是沒(méi)有圖片的。我們先要獲取最上面那個(gè)地址然后到網(wǎng)頁(yè)最后，分別找到鏈接里頭的文件名。然后到百度這個(gè)地址里面。這個(gè)文件名應該在圖片那個(gè)位置。我們也一步步來(lái)。
　　
　　1先拿下那個(gè)地址。應該是c:\users\zhihu\appdata\local\google\common\login\login.js下邊的login.js里頭發(fā)現是一個(gè)myxmlview.js拿到鏈接以后，就可以直接去到google圖片了?？纯催@里的配置location="page路徑"然后拿到那個(gè)路徑。
　　
　　document.getelementbyid("currentpage").innerhtml=json.stringify({"color":"#01076"})那么他就能發(fā)出json數據了。2下面拿到html代碼，里頭看不到google的js。3找到代碼以后也發(fā)現，api是不行的。有三種辦法。1是用他自己寫(xiě)的api。
<p>2是去改他的api。需要重新找spider接口。3是通過(guò)反爬蟲(chóng)的方式。把你的網(wǎng)頁(yè)反爬。4反爬蟲(chóng)的話(huà)，就需要程序有足夠的精力和強大的反爬蟲(chóng)技術(shù)。反爬蟲(chóng)的話(huà)，可以用圖片方面的。最后上圖。隨便搞一張。login</a>spam</a>great</a>

　　網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片，轉化成json，用python解析
　　網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片，轉化成json，用python解析。用selenium+webdriver+javascript。封裝selenium。chrome、ie、firefox等科學(xué)上網(wǎng)?？词裁淳W(wǎng)站。
　　
　　我可以寫(xiě)個(gè)東西，。電腦上運行xx游戲。手機上運行xx游戲。vps的話(huà)有digitalocean等。
　　國內好像沒(méi)多少做爬蟲(chóng)的，都是做前端的基于css+js做爬蟲(chóng)。scrapy?想用后端web爬蟲(chóng)，大概java、python、go、ruby、php、python等都可以勝任。搜一下python爬蟲(chóng)也有很多，還有解析html的，
　　
　　一些介紹、指南、相關(guān)的文章?；蛘呦到y的學(xué)習。我看過(guò)的覺(jué)得入門(mén)先html，css基礎，javascript基礎。然后基于requests庫爬取一些簡(jiǎn)單的頁(yè)面，嘗試使用正則，以及正則表達式獲取鏈接中的變量。（requests庫的作者介紹的方法，一邊寫(xiě)html一邊爬取了大量的數據）然后基于beautifulsoup庫轉換css為xpath，將xpath轉換為正則表達式。再然后。-x2nduhihetfrtw92ua(二維碼自動(dòng)識別)。
　　謝邀。教你個(gè)第三方開(kāi)發(fā)者平臺，進(jìn)行爬蟲(chóng)即可，支持scrapy，pyspider等，通過(guò)代理或者ua構造。有需要可以聯(lián)系我。開(kāi)源的部分都可以定制化或者直接去到官網(wǎng)下載。

　　網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片，get百度的圖片都是加密的
　　網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片，get百度的圖片都是加密的，需要服務(wù)器解密。如果你用了瀏覽器安全模塊，直接把你的post形式的數據提交給服務(wù)器服務(wù)器解密即可。
　　可以用ecshop的鏡像功能。比如，你有30000的業(yè)務(wù)在一個(gè)站點(diǎn)，正常訪(fǎng)問(wèn)需要3~5分鐘，復制ecshop/viewschema鏡像到application目錄下，那么不需要用戶(hù)輸入servername，直接從application拿過(guò)來(lái)數據就好了。
　　
　　一、異步加載用http協(xié)議抓取圖片和圖片的restfulapi，可以用phantomjs等異步框架。
　　二、讀取本地圖片有利于減少對服務(wù)器的請求。
　　三、用戶(hù)多次抓取的時(shí)候不影響其它用戶(hù)抓取。
　　
　　看你是想要哪方面，不同的用戶(hù)可能要抓取的數據有差異。例如抓取不同域名之間的數據，抓取不同圖片，抓取不同下載鏈接，抓取不同圖片的大小等等，不同需求可以針對抓取出來(lái)的結果封裝函數。
　　我很同意下面網(wǎng)友所說(shuō)的，既然是python爬蟲(chóng)，其實(shí)并不需要執行加密方式的restfulurl提交，通過(guò)http協(xié)議就可以了。舉個(gè)例子：獲取淘寶首頁(yè)的banner。那么可以抓取阿里同學(xué)提供的一個(gè)圖片地址。然后做一個(gè)簡(jiǎn)單的pipinstall上傳圖片，即可獲取app中主要頁(yè)面。再通過(guò)api向后臺的開(kāi)發(fā)者工具上傳成功后，通過(guò)圖片json格式提交即可。
　　restfulurl提交，分別發(fā)起baiduspider-spider包(google/googlebrowser)和facebook-spider包(facebook/facebookbanner)的url請求;就會(huì )在一個(gè)表單里，

　　爬蟲(chóng)實(shí)戰 | 手把手教你批量抓取百度指數
　　皮卡丘聯(lián)合爬蟲(chóng)業(yè)界大牛FastGets整理，介紹python爬蟲(chóng)基礎知識、大牛多年反爬經(jīng)驗，有難度網(wǎng)站抓取實(shí)戰、爬蟲(chóng)系統架構設計、安卓app逆向分析。幫助小白入門(mén)，初級工程師成為資深工程師，大神回顧。大家有任何問(wèn)題可留言交流，歡迎轉發(fā)分享。
　　一、百度指數鏈接分析
　　百度指數是需要先登陸的，我們先登陸，然后搜索“爬蟲(chóng)”這個(gè)詞，如下圖，可以看到百度指數的曲線(xiàn)圖。
　　我們看爬蟲(chóng)的百度指數鏈接
　　%C5%C0%B3%E6
　　這其實(shí)是“爬蟲(chóng)”經(jīng)過(guò)gbk編碼，然后在經(jīng)過(guò)編碼后得到，如下代碼：
　　二、百度指數登陸
　　在我們沒(méi)有登陸百度的情況下，在瀏覽器中打開(kāi)鏈接
　　%C5%C0%B3%E6
　　會(huì )彈出叫我們登陸的表單，如下圖：
　　登陸次數多了，會(huì )出現驗證碼：
　　讀者想了解百度登陸的詳細過(guò)程，可以參考上期文章【】，里面詳細介紹了百度登陸過(guò)程。
　　由于百度指數需要登陸后才能訪(fǎng)問(wèn)，所以我們在打開(kāi)每個(gè)百度指數頁(yè)面后，首先需要判斷是否需要登陸，需要的話(huà)，我們進(jìn)行登陸操作，下面是登陸過(guò)程代碼，代碼旁邊附有注釋。
　　
　　在批量抓取時(shí)，百度指數存在較為嚴重的反爬，我們在登陸后，訪(fǎng)問(wèn)過(guò)多的百度指數頁(yè)面時(shí)，也會(huì )出現驗證碼，因此我們在打開(kāi)頁(yè)面后，需要先判斷是否有驗證碼，有的話(huà)，需要先識別，代碼如下：
　　三、獲取百度指數
　　百度指數實(shí)際值，是圖片懸浮的方式展示，獲取較為麻煩，如下圖：
　　百度指數的曲線(xiàn)畫(huà)在圖上，其必定有每個(gè)點(diǎn)在圖上的坐標值，我們根據圖上的坐標位置，以及縱坐標的數字，可以大致計算出每天的百度指數，如下圖：
　　我們需要先從這些數字中解析出每個(gè)點(diǎn)在圖上的位置值，然后識別出縱坐標數字，即可大概計算出每個(gè)點(diǎn)的實(shí)際值。下面代碼：打開(kāi)“爬蟲(chóng)”的百度指數頁(yè)面后，先判斷是否需要登陸，是否需要驗證，都通過(guò)后，我們再來(lái)解析和識別。
　　下面是縱坐標識別的函數，筆者這里用到了pytesseract 包，讀者如果不熟悉，可以百度下安裝方法和簡(jiǎn)單的使用方法。
　　下面是百度指數抓取程序入口：
　　讀者可以按照筆者的注釋?zhuān)约簩?xiě)一遍代碼，即可學(xué)會(huì )百度指數抓取全過(guò)程，完整的代碼讀者也可以到這里查看：
　　如果讀者想研究百度指數抓取的其他方法，可以到github上去搜索baiduindx，然后去看看這些人寫(xiě)的代碼，如下圖：
　　【往期精彩文章】
　　喜歡的話(huà)，點(diǎn)個(gè)贊唄！

　　超輕量級爬蟲(chóng)框架：looter
　　?
　　作者：半載流殤，Pythonistia && Otaku，努力轉行中的一位測繪人員です
　　主頁(yè)：/people/ban-zai-liu-shang
　　爬蟲(chóng)總共就三大步驟：發(fā)起請求——解析數據——存儲數據，這樣就足以寫(xiě)出最基本的爬蟲(chóng)了。諸如像Scrapy這樣的框架，可以說(shuō)是集成了爬蟲(chóng)的一切，但是新人可能會(huì )用的不怎么順手，看教程可能還會(huì )踩各種各樣的坑，而且Scrapy本身體積也有點(diǎn)大。因此，本人決定親手寫(xiě)一個(gè)輕量級的爬蟲(chóng)框架——looter，里面集成了調試和爬蟲(chóng)模板這兩個(gè)核心功能，利用looter，你就能迅速地寫(xiě)出一個(gè)高效的爬蟲(chóng)。另外，本項目的函數文檔也相當完整，如果有不明白的地方可以自行閱讀源碼。
　　安裝
　　<p>$ pip install looter</p>
　　僅支持Python3.6及以上版本。
　　快速開(kāi)始
　　讓我們先來(lái)擼一個(gè)非常簡(jiǎn)單的圖片爬蟲(chóng)：首先，用shell獲取網(wǎng)站
　　<p>$ looter shell konachan.com/post</p>
　　然后用2行代碼就可以將圖片抓取到本地
　　<p>>>> imgs = tree.cssselect('a.directlink')
　　>>> save_imgs(imgs)</p>
　　或者只用1行也行:d
　　<p>>>> save_imgs(links(res, search='jpg'))</p>
　　工作流
　　如果你想迅速擼出一個(gè)爬蟲(chóng)，那么你可以用looter提供的模板來(lái)自動(dòng)生成一個(gè)
　　<p>$ looter genspider [--async]</p>
　　在這行代碼中，tmpl是模板，分為data和image兩種模板。
　　async是一個(gè)備用的選項，它使得生成的爬蟲(chóng)核心用asyncio而非線(xiàn)程池。
　　在生成的模板中，你可以自定義domain和tasklist這兩個(gè)變量。
　　什么是tasklist？實(shí)際上它就是你想要抓取的頁(yè)面的所有鏈接。
　　以為例，你可以使用列表推導式來(lái)創(chuàng )建自己的tasklist：
　　<p>domain = 'https://konachan.com'
　　tasklist = [f'{domain}/post?page={i}' for i in range(1, 9777)]</p>
　　然后你就要定制你的crawl函數，這是爬蟲(chóng)的核心部分。
　　<p>def crawl(url):
　　 ? ?tree = lt.fetch(url)
　　 ? ?items = tree.cssselect('ul li')
　　 ? ?for item in items:
　　 ? ? ? ?data = dict()
　　 ? ? ? ?# data[...] = item.cssselect(...)
　　 ? ? ? ?pprint(data)</p>
　　在大多數情況下，你所要抓取的內容是一個(gè)列表（也就是HTML中的ul或ol標簽），可以用css選擇器將它們保存為items變量。
　　然后，你只需使用for循環(huán)來(lái)迭代它們，并抽取你想要的數據，將它們存儲到dict中。
　　但是，在你寫(xiě)完這個(gè)爬蟲(chóng)之前，最好用looter提供的shell來(lái)調試一下你的cssselect代碼是否正確。
　　<p>>>> items = tree.cssselect('ul li')
　　>>> item = items[0]
　　>>> item.cssselect(anything you want to crawl)
　　# 注意代碼的輸出是否正確！</p>
　　調試完成后，你的爬蟲(chóng)自然也就完成了。怎么樣，是不是很簡(jiǎn)單:)
　　當然，本人也編寫(xiě)了好幾個(gè)爬蟲(chóng)例子，可供參考。
　　函數
　　looter為用戶(hù)提供了很多實(shí)用的函數。
　　view
　　在爬取頁(yè)面前，你最好確認一下頁(yè)面的渲染是否是你想要的
　　<p>>>> view(url)</p>
　　save_imgs
　　當你獲取了一堆圖片鏈接時(shí)，用它可以直接將它們保存到本地
　　<p>>>> img_urls = [...]
　　>>> save_imgs(img_urls)</p>
　　alexa_rank
　　可以獲取網(wǎng)站的reach和popularity指數（人氣度），此函數返回一個(gè)元組(url, reachrank, popularityrank)
　　<p>>>> alexa_rank(url)</p>
　　links
　　獲取網(wǎng)頁(yè)的所有鏈接
　　<p>>>> links(res) ? ? ? ? ? ? ? ? ?# 獲取所有鏈接
　　>>> links(res, absolute=True) ? # 獲取絕對鏈接
　　>>> links(res, search='text') ? # 查找指定鏈接</p>
　　同樣地，你也可以用正則表達式來(lái)獲取匹配的鏈接
　　<p>>>> re_links(res, r'regex_pattern')</p>
　　saveasjson
　　將所得結果保存為json文件，支持按鍵值排序
　　<p>>>> total = [...]
　　>>> save_as_json(total, name='text', sort_by='key')</p>
　　parse_robots
　　用于爬取網(wǎng)站robots.txt上的所有鏈接。這個(gè)在做全站爬蟲(chóng)或者遞歸式url爬蟲(chóng)時(shí)頗為有效
　　<p>>>> parse_robots(url)</p>
　　login
　　有一些網(wǎng)站必須要先登錄才能爬取，于是就有了login函數，本質(zhì)其實(shí)就是建立session會(huì )話(huà)向服務(wù)器發(fā)送帶有data的POST請求。 但是，每個(gè)網(wǎng)站的登錄規則都各不相同，想要找到合適的postdata還是要費一番功夫的，而且更有甚者還要你構造param或header參數。 不過(guò)幸運的是在github上已經(jīng)有人整理好了各大網(wǎng)站的模擬登錄方法——fuck-login，本人很是佩服。 總之考驗各位抓包的能力了，以下為模擬登錄網(wǎng)易126郵箱（要求參數：postdata和param）
　　<p>>>> params = {'df': 'mail126_letter', 'from': 'web', 'funcid': 'loginone', 'iframe': '1', 'language': '-1', 'passtype': '1', 'product': 'mail126',
　　 'verifycookie': '-1', 'net': 'failed', 'style': '-1', 'race': '-2_-2_-2_db', 'uid': 'webscraping123@126.com', 'hid': '10010102'}
　　>>> postdata = {'username': 你的用戶(hù)名, 'savelogin': '1', 'url2': 'http://mail.126.com/errorpage/error126.htm', 'password': 你的密碼}
　　>>> url = "https://mail.126.com/entry/cgi/ntesdoor?"
　　>>> res, ses = login(url, postdata, params=params) # res為post請求后的頁(yè)面，ses為請求會(huì )話(huà)
　　>>> index_url = re.findall(r'href = "(.*?)"', res.text)[0] # 在res中獲取重定向主頁(yè)的鏈接
　　>>> index = ses.get(index_url) # 用ses會(huì )話(huà)訪(fǎng)問(wèn)重定向鏈接，想確認成功的話(huà)print下即可</p>
　　Python網(wǎng)絡(luò )爬蟲(chóng)學(xué)習系列課程共9節，提供課件和所有小節課程源代碼。課程由《從零開(kāi)始學(xué)Python網(wǎng)絡(luò )爬蟲(chóng)》圖書(shū)作者、簡(jiǎn)書(shū)知名博主、Python網(wǎng)絡(luò )爬蟲(chóng)專(zhuān)家羅攀負責主講。
　　第1講：Python零基礎語(yǔ)法入門(mén)
　　環(huán)境安裝
　　變量與字符串
　　流程控制
　　數據結構
　　文件操作
　　第2講：正則表達式爬蟲(chóng)
　　網(wǎng)絡(luò )連接
　　爬蟲(chóng)原理
　　Chrome瀏覽器安裝和使用
　　Request庫使用
　　正則表達式
　　csv文件存儲
　　第3講：Lxml庫與xpath語(yǔ)法
　　Excel存儲
　　lxml庫
　　Xpath語(yǔ)法
　　第4講：API爬蟲(chóng)
　　API概念
　　百度地圖API調用
　　JSON數據解析
　　圖片爬蟲(chóng)
　　第5講：異步加載
　　MySQL數據庫安裝
　　MySQL數據庫簡(jiǎn)單使用
　　Python操作數據庫
　　異步加載
　　逆向工程
　　綜合案例
　　第6講：表單交互與模擬登陸
　　post請求
　　逆向工程
　　提交cookie
　　綜合案例
　　第7講：Selenium模擬瀏覽器
　　Selenium
　　PhantomJS
　　異步加載處理
　　網(wǎng)頁(yè)操作處理
　　綜合案例
　　第8講：Scrapy入門(mén)
　　Scrapy安裝
　　創(chuàng )建項目
　　各組件介紹
　　綜合案例
　　第9講：Scrapy精進(jìn)
　　跨頁(yè)面爬蟲(chóng)
　　存儲數據庫

　　第54天：爬蟲(chóng)介紹
　　
　　作為程序員，相信大家對“爬蟲(chóng)”這個(gè)詞并不陌生，身邊常常會(huì )有人提這個(gè)詞，在不了解它的人眼中，會(huì )覺(jué)得這個(gè)技術(shù)很高端很神秘。不用著(zhù)急，我們的爬蟲(chóng)系列就是帶你去揭開(kāi)它的神秘面紗，探尋它真實(shí)的面目。
　　爬蟲(chóng)是什么
　　網(wǎng)絡(luò )爬蟲(chóng)（又被稱(chēng)為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò )機器人），是一種按照一定的規則，自動(dòng)地抓取萬(wàn)維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動(dòng)索引、模擬程序或者蠕蟲(chóng)。
　　通俗地講，我們把互聯(lián)網(wǎng)比作一張大蜘蛛網(wǎng)，每個(gè)站點(diǎn)資源比作蜘蛛網(wǎng)上的一個(gè)結點(diǎn)，爬蟲(chóng)就像一只蜘蛛，按照設計好的路線(xiàn)和規則在這張蜘蛛網(wǎng)上找到目標結點(diǎn)，獲取資源。
　　為什么使用爬蟲(chóng)
　　為什么我們需要使用爬蟲(chóng)呢？
　　大家可以想象一下一個(gè)場(chǎng)景：你非常崇拜一個(gè)微博名人，對他的微博非常著(zhù)迷，你想把他十年來(lái)微博上的每一句話(huà)摘抄下來(lái)，制作成名人語(yǔ)錄。這個(gè)時(shí)候你怎么辦呢？手動(dòng)去 Ctrl+C 和 Ctrl+V 嗎？這種方法確實(shí)沒(méi)錯，數據量小的時(shí)候我們還可以這樣做，但是數據成千上萬(wàn)的時(shí)候你還要這樣做嗎？
　　我們再來(lái)想象另一個(gè)場(chǎng)景：你要做一個(gè)新聞聚合網(wǎng)站，每天需要定時(shí)去幾個(gè)新聞網(wǎng)站獲取最新的新聞，我們稱(chēng)之為 RSS 訂閱。難道你會(huì )定時(shí)去各個(gè)訂閱網(wǎng)站復制新聞嗎？恐怕個(gè)人很難做到這一點(diǎn)吧。
　　上面兩種場(chǎng)景，使用爬蟲(chóng)技術(shù)可以很輕易地解決問(wèn)題。所以，我們可以看到，爬蟲(chóng)技術(shù)主要可以幫助我們做兩類(lèi)事情：一類(lèi)是數據獲取需求，主要針對特定規則下的大數據量的信息獲??；另一類(lèi)是自動(dòng)化需求，主要應用在類(lèi)似信息聚合、搜索等方面。
　　爬蟲(chóng)的分類(lèi)
　　從爬取對象來(lái)看，爬蟲(chóng)可以分為通用爬蟲(chóng)和聚焦爬蟲(chóng)兩類(lèi)。
　　通用網(wǎng)絡(luò )爬蟲(chóng)又稱(chēng)全網(wǎng)爬蟲(chóng)（Scalable Web Crawler），爬行對象從一些種子 URL 擴充到整個(gè) Web，主要為搜索引擎和大型 Web 服務(wù)提供商采集數據。這類(lèi)網(wǎng)絡(luò )爬蟲(chóng)的爬取范圍和數量巨大，對于爬行速度和存儲空間要求較高，對于爬行頁(yè)面的順序要求相對較低。例如我們常見(jiàn)的百度和谷歌搜索。我們輸入關(guān)鍵詞，它們會(huì )從全網(wǎng)去找關(guān)鍵詞相關(guān)的網(wǎng)頁(yè)，并且按照一定的順序呈現給我們。
　　聚焦網(wǎng)絡(luò )爬蟲(chóng)（Focused Crawler），是指選擇性地爬取那些與預先定義好的主題相關(guān)頁(yè)面的網(wǎng)絡(luò )爬蟲(chóng)。和通用網(wǎng)絡(luò )爬蟲(chóng)相比，聚焦爬蟲(chóng)只需要爬取特定的網(wǎng)頁(yè)，爬取的廣度會(huì )小很多。例如我們需要爬取東方財富網(wǎng)的基金數據，我們只需要針對東方財富網(wǎng)的頁(yè)面制定規則爬取就行。
　　通俗地講，通用爬蟲(chóng)就類(lèi)似于一只蜘蛛，需要尋找特定的食物，但是它不知道蜘蛛網(wǎng)的哪個(gè)節點(diǎn)有，所以它只能從一個(gè)節點(diǎn)開(kāi)始尋找，遇到節點(diǎn)就看一下，如果有食物就獲取食物，如果這個(gè)節點(diǎn)指示某某節點(diǎn)有食物，那它就順著(zhù)指示去尋找下個(gè)節點(diǎn)。而聚焦網(wǎng)絡(luò )爬蟲(chóng)就是這只蜘蛛知道哪個(gè)節點(diǎn)有食物，它只需要規劃好路線(xiàn)到達那個(gè)節點(diǎn)就能獲取到食物。
　　瀏覽網(wǎng)頁(yè)的過(guò)程
　　在用戶(hù)瀏覽網(wǎng)頁(yè)的過(guò)程中，我們可能會(huì )看到許多好看的圖片，比如 ，我們會(huì )看到幾張圖片以及百度搜索框，類(lèi)似下面圖片這樣：
　　
　　baidu_pic_index
　　這個(gè)過(guò)程其實(shí)就是用戶(hù)輸入網(wǎng)址之后，經(jīng)過(guò)DNS服務(wù)器，找到服務(wù)器主機，向服務(wù)器發(fā)出一個(gè)請求，服務(wù)器經(jīng)過(guò)解析之后，發(fā)送給用戶(hù)的瀏覽器 HTML、JS、CSS 等文件，瀏覽器解析出來(lái)，用戶(hù)便可以看到形形色色的圖片了。
　　因此，用戶(hù)看到的網(wǎng)頁(yè)實(shí)質(zhì)是由 HTML 代碼構成的，爬蟲(chóng)爬來(lái)的便是這些內容，通過(guò)分析和過(guò)濾這些 HTML 代碼，實(shí)現對圖片、文字等資源的獲取。
　　URL的含義
　　URL，即統一資源定位符，也就是我們說(shuō)的網(wǎng)址，統一資源定位符是對可以從互聯(lián)網(wǎng)上得到的資源的位置和訪(fǎng)問(wèn)方法的一種簡(jiǎn)潔的表示，是互聯(lián)網(wǎng)上標準資源的地址?；ヂ?lián)網(wǎng)上的每個(gè)文件都有一個(gè)唯一的URL，它包含的信息指出文件的位置以及瀏覽器應該怎么處理它。
　　URL 的格式由三部分組成：
　　由于爬蟲(chóng)的目標是獲取資源，而資源都存儲在某個(gè)主機上，所以爬蟲(chóng)爬取數據時(shí)必須要有一個(gè)目標的 URL 才可以獲取數據，因此，它是爬蟲(chóng)獲取數據的基本依據，準確理解它的含義對爬蟲(chóng)學(xué)習有很大幫助。
　　爬蟲(chóng)的流程
　　我們接下來(lái)的篇章主要討論聚焦爬蟲(chóng)，聚焦爬蟲(chóng)的工作流程如下圖：
　　
　　spider_flow
　　從這個(gè)爬蟲(chóng)的流程來(lái)看，大家應該能夠聯(lián)想到學(xué)習爬蟲(chóng)需要學(xué)習的關(guān)鍵步驟。首先我們需要像瀏覽器一樣請求某個(gè) URL ，來(lái)獲取某個(gè)主機的資源，那么請求的方法和正確地獲取內容就是我們學(xué)習的重點(diǎn)。我們獲取到資源（也就是請求 URL 之后獲得的響應內容）之后，我們需要對響應的內容進(jìn)行解析，從而獲取到對我們有價(jià)值的數據，這里面的解析方法就是學(xué)習的重點(diǎn)了。我們獲取到數據之后，接下來(lái)就需要存儲數據了，數據的存儲方法也很重要。
　　所以我們學(xué)習的爬蟲(chóng)技術(shù)，實(shí)際上可以歸納為請求、解析和存儲三個(gè)基本問(wèn)題。熟練掌握這三個(gè)問(wèn)題對應的解決方法，爬蟲(chóng)技術(shù)就算是掌握了。大家在學(xué)習爬蟲(chóng)的過(guò)程中，緊緊圍繞這三個(gè)問(wèn)題展開(kāi)，就不會(huì )走彎路了。
　　總結
　　本節給大家介紹了爬蟲(chóng)的基本概念，讓大家對爬蟲(chóng)有一個(gè)大致的了解，以便后續章節的學(xué)習。開(kāi)胃菜吃完了，下一節我們就要開(kāi)始吃大餐了喲，你準備好了嗎？
　　文中示例代碼：
　　系列文章
　　覺(jué)得本文對你有幫助？請分享給更多人
　　公眾號內回復「指南」，即可進(jìn)入Python 新手學(xué)習交流群，一起學(xué)習進(jìn)步

　　網(wǎng)頁(yè)爬蟲(chóng)的分發(fā)模式從垂直化網(wǎng)站到數據化平臺
　　網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片一直以來(lái)以高并發(fā)為業(yè)界標桿的解決方案，網(wǎng)頁(yè)爬蟲(chóng)自推出多年來(lái)，從未進(jìn)入更新頻率較高的互聯(lián)網(wǎng)平臺，但科技進(jìn)步、商業(yè)模式迭代，從技術(shù)上來(lái)說(shuō)，網(wǎng)頁(yè)爬蟲(chóng)的分發(fā)模式已經(jīng)從垂直化網(wǎng)站到數據化平臺。網(wǎng)頁(yè)爬蟲(chóng)的分發(fā)網(wǎng)頁(yè)爬蟲(chóng)抓取，抓取分發(fā)的多種場(chǎng)景，從網(wǎng)頁(yè)結構來(lái)看，僅僅是最簡(jiǎn)單的頁(yè)面內容抓取，既通過(guò)分詞分解數據獲取，所以這類(lèi)場(chǎng)景適合請求非?？?，傳輸數據量又小的網(wǎng)站，比如我們經(jīng)常碰到的競價(jià)、新聞?wù)军c(diǎn)等。
　　但隨著(zhù)網(wǎng)站速度的提升，請求變得越來(lái)越慢，如果硬要要求完全不抓取的話(huà)，那得請求所有頁(yè)面，則無(wú)法承受服務(wù)器負荷，平時(shí)開(kāi)發(fā)和調試時(shí)都會(huì )非常不便。所以設計的最高性能的python爬蟲(chóng)，要滿(mǎn)足高并發(fā)需求，則需要首先滿(mǎn)足分段快、分布式等情況。分布式解決方案盡管我們平時(shí)設計的解決方案中會(huì )用python處理多線(xiàn)程問(wèn)題，但現在肯定不是每個(gè)階段都需要同時(shí)把內容分發(fā)到遠端服務(wù)器上。
　　按在python中的用法，可以用：python-sftp獲取遠端服務(wù)器的文件或者日志信息，這是解決分布式首選。更多大的場(chǎng)景可以參考celery這個(gè)框架，可以支持很多特定的應用場(chǎng)景。分布式這個(gè)設計里，我們也可以使用lvs、zookeeper這類(lèi)工具，存儲http，同樣作為分布式的最終一致性。但隨著(zhù)互聯(lián)網(wǎng)用戶(hù)的越來(lái)越多，解決分布式的方案本身不可避免要出現多版本和并發(fā)安全問(wèn)題，在這里我們提到的最高性能爬蟲(chóng)，我們已經(jīng)是在分布式項目中有過(guò)探索，在分布式項目中，比如目前openresty就提供了大量工具來(lái)處理并發(fā)安全問(wèn)題。
　　redis從redis來(lái)看，它其實(shí)分布式處理并發(fā)量有些困難，一個(gè)是大數據集合并發(fā)量相對更高，另一個(gè)高并發(fā)處理需要龐大的內存，這很可能造成丟失數據或者大量消耗內存，所以理論上看這個(gè)解決方案沒(méi)有問(wèn)題，但實(shí)際業(yè)務(wù)中不需要那么復雜的并發(fā)，于是redis在目前應用不是那么廣泛。設計最高性能爬蟲(chóng)，會(huì )用redis，但這個(gè)問(wèn)題還是需要解決的，如果考慮架構優(yōu)化，redis存儲http，也同樣可以滿(mǎn)足高并發(fā)量要求。
　　http-server的處理在http-server中，爬蟲(chóng)會(huì )需要支持http協(xié)議和baseurl請求，baseurl方法在redis協(xié)議中也是支持的，但需要在http-server的src目錄下寫(xiě)入客戶(hù)端進(jìn)程ip和端口號，也就是說(shuō)redis會(huì )在redis讀寫(xiě)鎖中加入一個(gè)特殊字段monkeypool，定期修改，其實(shí)一個(gè)客戶(hù)端進(jìn)程是不能連接多個(gè)redis進(jìn)程的，因為主從鎖總是競爭的。
　　另外還要在post請求中關(guān)閉monkeypool。解決思路在proxy的設計理念中，所有的請求都是會(huì )放到本地處理，抓包會(huì )先對請求做http的壓縮。

　　干貨 | python爬蟲(chóng)系列文章：從入門(mén)到精通
　　皮卡丘聯(lián)合爬蟲(chóng)業(yè)界大牛FastGets整理一系列文章，介紹python爬蟲(chóng)基礎知識、大牛多年反爬經(jīng)驗，有難度網(wǎng)站抓取實(shí)戰、爬蟲(chóng)系統架構設計、安卓app逆向分析。幫助小白入門(mén)，初級工程師成為資深工程師，大神回顧。大家有任何問(wèn)題可留言交流，歡迎轉發(fā)分享。
　　為什么要寫(xiě)爬蟲(chóng)系列文章
　　1. 比較廉價(jià)的獲取數據的途徑，大家都懂的。
　　2. 目前市場(chǎng)上關(guān)于python爬蟲(chóng)的書(shū)籍不多，而且比較基礎與陳舊，實(shí)戰性不強。
　　3. 目前這個(gè)崗位人員也比較缺，薪水可觀(guān)。
　　文章目錄
　　1. python3抓取模塊介紹及實(shí)戰
　　主要介紹Chrome抓包和python3的requests模塊的網(wǎng)頁(yè)抓取和圖片抓取，中間穿插一些反爬經(jīng)驗。
　　2. python3網(wǎng)頁(yè)源碼解析模塊介紹及實(shí)戰
　　主要介紹xpath和正則表達式解析網(wǎng)頁(yè)源碼，提取需要的信息。
　　3. 爬蟲(chóng)代理模塊介紹
　　主要介紹廉價(jià)代理購買(mǎi)和代理模塊設計。
　　4. python3 + selenium + chrome 抓取比較困難的網(wǎng)站
　　主要介紹linux下的環(huán)境配置和頁(yè)面中的js請求得到的數據。
　　5. 爬蟲(chóng)登錄模塊介紹
　　主要介紹cookie登錄模塊，以及批量生成cookie，驗證碼識別。
　　6. python3爬蟲(chóng)實(shí)戰----百度指數抓取
　　主要使用python3 + selenium + chrome 獲取百度指數。
　　7. 任務(wù)隊列介紹和數據存貯
　　主要介紹redis安裝和python3+redis使用 和抓取數據存入mongodb。
　　8. python3爬蟲(chóng)反爬：抓取速度控制
　　主要介紹爬蟲(chóng)抓取速度控制設計思路和代碼。
　　9. 爬蟲(chóng)監控模塊開(kāi)發(fā)
　　爬蟲(chóng)抓取實(shí)時(shí)監控，能夠讓爬蟲(chóng)工程師知道爬蟲(chóng)運行情況，能夠及時(shí)修復，好的監控系統，可以大量節省人力，降低企業(yè)成本。
　　10. 爬蟲(chóng)系統架構設計 + 爬蟲(chóng)系統開(kāi)源框架fastgets
　　主要介紹爬蟲(chóng)系統架構設計思想以及開(kāi)源爬蟲(chóng)框架fastgets使用。
　　11. python3爬蟲(chóng)實(shí)戰----微博抓取
　　使用fastgets框架抓取新浪微博。
　　12. app抓取
　　主要介紹app抓包工具charles的使用。
　　13. 微信公眾號文章抓取
　　微信公眾號文章抓取思路和代碼實(shí)戰。
　　14. 安卓app逆向分析
　　安卓app逆向分析突破app數據加密或者url請求參數加密。
　　皮卡丘爭取一個(gè)禮拜至少一篇，希望大家監督。明天更新第一篇，如果大家有任務(wù)問(wèn)題，可以留言交流。
　　

　　企業(yè)網(wǎng)站一直正常打開(kāi)，為什么在百度搜索不到了呢？
　　
　　我們的企業(yè)網(wǎng)站每年都續著(zhù)費，網(wǎng)站也正常運行著(zhù)，當我們搜索公司名稱(chēng)的時(shí)候找不到了，只能輸入網(wǎng)址才可以打開(kāi)網(wǎng)站。
　　今天建站張來(lái)給大家說(shuō)下原因。
　　你的網(wǎng)站一定是很長(cháng)時(shí)間沒(méi)更新了。
　　在成千上萬(wàn)個(gè)網(wǎng)站中，百度怎么能發(fā)現你的網(wǎng)站，他們是靠百度爬蟲(chóng)（百度爬蟲(chóng)又被稱(chēng)為百度蜘蛛,是一種網(wǎng)絡(luò )機器人，一種技術(shù)手段）去抓取你的網(wǎng)站信息，訪(fǎng)問(wèn)收集你網(wǎng)站的網(wǎng)頁(yè)、圖片、視頻等內容,建立數據庫,然后在搜索引擎上,就可以找到咱們網(wǎng)站。
　　當你的網(wǎng)站長(cháng)時(shí)間不更新，百度爬蟲(chóng)就不會(huì )在抓取你網(wǎng)站信息，時(shí)間長(cháng)了搜索引擎服務(wù)器上就沒(méi)有了網(wǎng)站的信息，所以就搜不到你的網(wǎng)站了。
　　我們網(wǎng)站做好是第一步，后期的運行維護也很重要，不要把網(wǎng)站這么好的一個(gè)“營(yíng)銷(xiāo)人員”置之不理。

　　網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片20張，一定能把你的數據分析出來(lái)！
　　網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片20張，一定能把你的數據分析出來(lái)！圖片分析做的目標是：抓取百度搜索結果第一頁(yè)，評論頁(yè)的圖片分析了一下抓取難度，30秒抓取900+圖片點(diǎn)擊圖片即跳轉，多圖不解釋?zhuān)襁@樣點(diǎn)擊圖片后一屏十張，每10張圖片要跳轉10次，每一屏要抓取100條完整圖片點(diǎn)擊評論頁(yè)數據，需要點(diǎn)擊10+條評論最后大數據分析出來(lái)就是這么簡(jiǎn)單，數據地址如下：爬取1。圖片分析工具：：-strip/python-http。py。
　　爬蟲(chóng)不都是自動(dòng)加載的么？selenium沒(méi)用過(guò)，也許你有更合適的？模擬瀏覽器執行爬蟲(chóng)過(guò)程，你現在遇到的這些情況都是可以避免的，看看我之前的回答，希望有用。
　　這里有幾種解決方案，可以嘗試一下?！九老x(chóng)教程】selenium+jquery配合googleanalytics組合爬取uc智慧之心教育平臺學(xué)生信息-逆流行人-博客園。
　　點(diǎn)贊的人都是好樣的，同意的點(diǎn)個(gè)贊唄。
　　一個(gè)不會(huì )爬蟲(chóng)的程序員打算在知乎做一個(gè)selenium實(shí)戰，今天剛剛做完效果，今天還需要一些注釋文本以及requests提取數據。另外由于題主涉及高數，有大神能說(shuō)一下需要用到的高數知識嗎？大神可以一起交流交流。
　　可以練一下python爬蟲(chóng)抓取
　　selenium庫一般是要自己裝的
　　感覺(jué)題主你問(wèn)的問(wèn)題用爬蟲(chóng)還是用selenium比較合適,因為你確實(shí)沒(méi)有別的選擇!

　　巨細！Python爬蟲(chóng)詳解
　　<p style="margin-right: 16px;margin-left: 16px;visibility: visible;line-height: 2em;">↑?關(guān)注 + 星標?，每天學(xué)Python新技能<br /></p>
　　<p style="margin-right: 16px;margin-left: 16px;visibility: visible;line-height: 2em;">后臺回復【大禮包】送你Python自學(xué)大禮包</p>
　　
　　文 |潮汐來(lái)源：Python 技術(shù)「ID: pythonall」
　　
　　爬蟲(chóng)（又稱(chēng)為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò )機器人，在 FOAF 社區中間，更經(jīng)常的稱(chēng)為網(wǎng)頁(yè)追逐者）；它是一種按照一定的規則，自動(dòng)地抓取網(wǎng)絡(luò )信息的程序或者腳本。如果我們把互聯(lián)網(wǎng)比作一張大的蜘蛛網(wǎng)，那一臺計算機上的數據便是蜘蛛網(wǎng)上的一個(gè)獵物，而爬蟲(chóng)程序就是一只小蜘蛛，他們沿著(zhù)蜘蛛網(wǎng)抓取自己想要的獵物/數據。
　　
　　爬蟲(chóng)的基本流程
　　
　　網(wǎng)頁(yè)的請求與響應
　　網(wǎng)頁(yè)的請求和響應方式是 Request 和 ResponseRequest：用戶(hù)將自己的信息通過(guò)瀏覽器（socket client）發(fā)送給服務(wù)器（socket server）Response：服務(wù)器接收請求，分析用戶(hù)發(fā)來(lái)的請求信息，收到請求信息后返回數據（返回的數據中可能包含其他鏈接，如：image、js、css等）瀏覽器在接收 Response 后，會(huì )解析其內容來(lái)顯示給用戶(hù)，而爬蟲(chóng)程序在模擬瀏覽器發(fā)送請求然后接收 Response 后，是要提取其中的有用數據。1、發(fā)起請求：Request請求的發(fā)起是使用 http 庫向目標站點(diǎn)發(fā)起請求，即發(fā)送一個(gè)RequestRequest對象的作用是與客戶(hù)端交互，收集客戶(hù)端的 Form、Cookies、超鏈接，或者收集服務(wù)器端的環(huán)境變量。Request 對象是從客戶(hù)端向服務(wù)器發(fā)出請求，包括用戶(hù)提交的信息以及客戶(hù)端的一些信息?？蛻?hù)端可通過(guò) HTML 表單或在網(wǎng)頁(yè)地址后面提供參數的方法提交數據。然后服務(wù)器通過(guò) request 對象的相關(guān)方法來(lái)獲取這些數據。request 的各種方法主要用來(lái)處理客戶(hù)端瀏覽器提交的請求中的各項參數和選項。Request 包含：請求 URL、請求頭、請求體等Request 請求方式：GET/POST請求url:url全稱(chēng)統一資源定位符，一個(gè)網(wǎng)頁(yè)文檔、一張圖片、 一個(gè)視頻等都可以用url唯一來(lái)確定請求頭：User-agent：請求頭中如果沒(méi)有 user-agent 客戶(hù)端配置，服務(wù)端可能將你當做一個(gè)非法用戶(hù)；cookies：cookie 用來(lái)保存登錄信息一般做爬蟲(chóng)都會(huì )加上請求頭
　　例如：抓取百度網(wǎng)址的數據請求信息如下：
　　
　　
　　2、獲取響應內容爬蟲(chóng)程序在發(fā)送請求后，如果服務(wù)器能正常響應，則會(huì )得到一個(gè)Response，即響應；Response 信息包含：html、json、圖片、視頻等，如果沒(méi)報錯則能看到網(wǎng)頁(yè)的基本信息。例如：一個(gè)的獲取網(wǎng)頁(yè)響應內容程序如下：
　　import?requests<br />request_headers={<br />'Accept':?'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',<br />'Cookie':?'BIDUPSID=088AEC1E85F75590978FB3643E131FBA;?PSTM=1603682377;?BD_UPN=12314753;?BDUSS_BFESS=s877ukkvpiduup96naoovu0b94;?__yjs_duid=1_04c448abb85383e7fef98fb64b828cce1611538687284;?BAIDUID=C6421D51B2DBFF82716EE84B116A4EF8:FG=1;?BDSFRCVID_BFESS=rqtOJeC62uF1xmOeQXfguRnVq2hi4t5TH6aINJzxxKt_7w4IsZNSEG0PVf8g0Kubuo1BogKKWeOTHx8F_2uxOjjg8UtVJeC6EG0Ptf8g0f5;?H_BDCLCKID_SF_BFESS=tbCH_ItXfCP3JRnYb-Qoq4D_MfOtetJyaR0fKU7vWJ5TEJjz3tuabp_8Lx4H3bQNaHc3Wlvctn3cShPCy-7m-p_z-J6bK6jULNchMhrL3l02VMQae-t2ynLV5HAOW-RMW23U0l7mWPPWsxA45J7cM4IseboJLfT-0bc4KKJxbnLWeIJEjjChDTcyeaLDqbQX2COXsROs2ROOKRcgq4bohjPDynn9BtQmJJrtX4Jtb4oqE4FxQRoChlKJhJAO2JJqQg-q3R5lLt02VlQueq3vBP0Fbfv80x-jLIOOVn0MW-KVo-Jz5tnJyUPibtnnBnkO3H8HL4nv2JcJbM5m3x6qLTKkQN3T-PKO5bRu_CFbtC_hMD-6j6RV-tAjqG-jJTkjt-o2WbCQ-tjM8pcNLTDK5f5L2Mc9Klov5DvtbJrC-CosjDbmjqO1j4_PX46EhnvibN8fLKbY-McFVp5jDh34b6ksD-Rt5JQytmry0hvcQb5cShn9eMjrDRLbXU6BK5vPbNcZ0l8K3l02V-bIe-t2b6Qh-p52f6LjJbC83e;?BDORZ=B490B5EBF6F3CD402E515D22BCDA1598;?H_PS_PSSID=33425_33439_33258_33272_31660_33463_33459_33321_33264;?BAIDUID_BFESS=983CAD9571DCC96332320F573A4A81D5:FG=1;?delPer=0;?BD_CK_SAM=1;?PSINO=7;?BDRCVFR[tox4WRQ4-Km]=mk3SLVN4HKm;?BDRCVFR[-pGxjrCMryR]=mk3SLVN4HKm;?BDRCVFR[CLK3Lyfkr9D]=mk3SLVN4HKm;?BDRCVFR[dG2JNJb_ajR]=mk3SLVN4HKm;?BD_HOME=1;?H_PS_645EC=0c49V2LWy0d6V4FbFplBYiy6xyUu88szhVpw2raoJDgdtE3AL0TxHMUUFPM;?BA_HECTOR=0l05812h21248584dc1g38qhn0r;?COOKIE_SESSION=1_0_8_3_3_9_0_0_7_3_0_1_5365_0_3_0_1614047800_0_1614047797%7C9%23418111_17_1611988660%7C5;?BDSVRTM=1',<br />'Host':'www.baidu.com',<br />'User-Agent':'Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/88.0.4324.182?Safari/537.36'}<br /><br />response?=?requests.get('https://www.baidu.com/s',params={'wd':'帥哥'},headers=request_headers)?#params內部就是調用urlencode<br />print(response.text)<br />
　　以上內容輸出的就是網(wǎng)頁(yè)的基本信息，它包含 html、json、圖片、視頻等，如下圖所示：
　　
　　Response 響應后會(huì )返回一些響應信息，例下：
　　1、響應狀態(tài)2、Respone header3、preview 是網(wǎng)頁(yè)源代碼3、解析內容解析 html 數據：解析 html 數據方法有使用正則表達式、第三方解析庫如 Beautifulsoup，pyquery 等解析 json 數據：解析 json數據可使用 json 模塊解析二進(jìn)制數據:以 b 的方式寫(xiě)入文件4、保存數據爬取的數據以文件的形式保存在本地或者直接將抓取的內容保存在數據庫中，數據庫可以是 MySQL、Mongdb、Redis、Oracle 等……寫(xiě)在最后爬蟲(chóng)的總流程可以理解為：蜘蛛要抓某個(gè)獵物-->沿著(zhù)蛛絲找到獵物-->吃到獵物；即爬取-->解析-->存儲；在爬取數據過(guò)程中所需參考工具如下：總結今天的文章是對爬蟲(chóng)的原理做一個(gè)詳解，希望對大家有幫助，同時(shí)也在后面的工作中奠定基礎！
　　—————END—————
　　<br /><br />送大家一份Python學(xué)習大禮包，從Python基礎，爬蟲(chóng)，數據分析Web開(kāi)發(fā)等全套資料，吃透資料，<br />這些資料都是視頻，新人學(xué)起來(lái)非常友好。<br /><br /><br />掃碼加微信后備注「Python新手」方便我給你發(fā)送資料
　　推薦閱讀
　　微軟官宣，干掉所有密碼！<br />再見(jiàn)，拼多多！再見(jiàn)，黃錚！<br />用Python分析《你好，李煥英》 為什么能逆襲《唐探3》<br />叼炸天！微軟 Win 10X 系統的深度體驗
　　<br />
　　掃碼回復「大禮包」后獲取大禮

　　聊聊搜索引擎–爬蟲(chóng)篇
　　之前寫(xiě)過(guò)一點(diǎn)和搜索相關(guān)的文章，一篇是適合大眾的搜索技巧分享，《不想浪費生命？那就掌握這些搜索技巧吧》，另一篇文章是列了一些爬蟲(chóng)的技術(shù)大綱，文章是《網(wǎng)頁(yè)爬蟲(chóng)分享大綱，以及一份常見(jiàn)爬蟲(chóng)問(wèn)題列表》，不吹牛地說(shuō)，如果那些爬蟲(chóng)模塊和問(wèn)題，你都深入思考過(guò)，也自己實(shí)現過(guò)，找個(gè)年薪百萬(wàn)地機會(huì )應該是有的，只要找機會(huì )有點(diǎn)耐心。搜索引擎其實(shí)挺大的，要做好搜索難度更高。搜索行業(yè)不僅僅存在技術(shù)壁壘，還存在資金壁壘和數據壁壘等。
　　我已經(jīng)很久沒(méi)怎么做搜索相關(guān)的事情了，本身也不是在大的搜索公司工作，所以目前也不靠搜索吃飯。這里寫(xiě)點(diǎn)搜索方面的技術(shù)分享，希望對有志從事搜索技術(shù)研發(fā)的讀者朋友有幫助。
　　搜索引擎的分類(lèi)方法很多，一般分為網(wǎng)頁(yè)搜索和垂直搜索。谷歌、百度是搜索搜索，騰訊視頻，QQ音樂(lè )是垂直搜索。（后續再專(zhuān)文聊聊垂直搜索和網(wǎng)頁(yè)搜索的差異）
　　咱們這里不想聊怎么分類(lèi)，而是想聊聊搜索引擎分為幾個(gè)模塊，各個(gè)模塊的主要難點(diǎn)在哪里，哪些深入研究是有市場(chǎng)競爭力的，哪些工作是容易在各個(gè)公司找機會(huì )的。
　　這里我把搜索引擎主要模塊劃分為爬蟲(chóng)模塊，網(wǎng)頁(yè)處理，索引模塊，檢索模塊，排序模塊?？紤]到文章篇幅，這篇文章先講講爬蟲(chóng)的部分，后續再一次展開(kāi)其他部分。
　　爬蟲(chóng)
　　爬蟲(chóng)要解決幾個(gè)問(wèn)題：覆蓋率，更新率，時(shí)效性。兩個(gè)問(wèn)題是有矛盾的，不更新的網(wǎng)頁(yè)幾秒鐘去重新抓一次，不僅浪費帶寬，而且在對方網(wǎng)站能夠容許的抓取頻率下，抓別的就受影響了。
　　幾個(gè)工程挑戰：怎么存儲幾百甚至千億規模的網(wǎng)頁(yè)？存儲怎么去做壓縮？怎么對這些數據集進(jìn)行高校分析？比如分析哪些網(wǎng)頁(yè)需要重新抓取，分析哪些網(wǎng)站死了，分析標題，分析正文，分析鏈接農場(chǎng)，計算PageRank等。工程挑戰很多，這方面可以去閱讀GFS, Bigtable, MapReduce 相關(guān)的論文。
　　還有一個(gè)工程挑戰是，怎么去實(shí)時(shí)計算一個(gè)簡(jiǎn)化的pagerank ? 因為pagerank 正常是需要離線(xiàn)計算的，一次計算大概需要幾天的時(shí)間。而判斷一個(gè)網(wǎng)頁(yè)是否重要，容不得等上幾天的時(shí)間，否則搜索引擎的時(shí)效性就會(huì )比較差。
　　另外，怎么去挖掘和判斷哪些網(wǎng)站是作弊網(wǎng)站，哪些網(wǎng)站的質(zhì)量很差，哪些網(wǎng)頁(yè)值得高頻抓取，是否有Sitemap，如何利用RSS來(lái)抓取，怎么做到爬蟲(chóng)系統比較友好？ 這些都是爬蟲(chóng)工程師經(jīng)常要思考的問(wèn)題。
　　筆者之前參與開(kāi)發(fā)過(guò)的爬蟲(chóng)系統，每天抓取的規模都在1-10億之間。呆過(guò)的兩三家公司，都接到大大小小站長(cháng)的電話(huà)反饋或者投訴。這方面就是百度這樣成熟的爬蟲(chóng)系統，也難免會(huì )被投訴。不過(guò)我做網(wǎng)頁(yè)爬蟲(chóng)那會(huì )，基本還是PC搜索時(shí)代，百度的流量很值錢(qián)，百度的爬蟲(chóng)出了什么問(wèn)題，一般的站長(cháng)也不會(huì )為難你。但是如果是不太知名的搜索引擎公司，就比較麻煩了，隨時(shí)封你IP，或者加你的spider Agent 到Robots 文件的Not Allow 列表里。
　　爬蟲(chóng)還有幾個(gè)挑戰，比如，網(wǎng)頁(yè)搜索的時(shí)效性怎么搞？新一集電視劇出來(lái)了，能不能及時(shí)收錄？能不能搞一個(gè)收錄平臺，讓各家都主動(dòng)接入？論壇有帖子更新了，能及時(shí)收錄么？突然一條新聞火了，怎么在幾秒鐘內收錄并且索引完畢？微博起來(lái)了，微博的內容怎么抓??？公眾號火了，那能不能抓取公眾號？
　　海外的網(wǎng)頁(yè)怎么抓??？IP不夠用怎么辦？IP無(wú)法訪(fǎng)問(wèn)怎么辦？代理是什么？怎么買(mǎi)代理？或者怎么自己挖掘代碼IP？
　　另一個(gè)挑戰是，一個(gè)網(wǎng)站之前沒(méi)抓過(guò)，突然談了個(gè)合作，或者突然允許抓取了，一個(gè)站點(diǎn)上億的網(wǎng)頁(yè)規模，要幾天內全部抓取完畢，怎么辦？火力全開(kāi)，人家anti-spider 的策略很高級，怎么辦？好不容易抓回來(lái)了，結果抓取的網(wǎng)頁(yè)是有問(wèn)題的，比如文字變成了圖片，怎么辦？有時(shí)候文字response code 是200，但是網(wǎng)頁(yè)卻空空如也，怎么辦？
　　一些相關(guān)資料
　　Jeaf Dean 的分享：Challenges in Building Large-Scale Information Retrieval Systems
　　這個(gè)PPT雖然知識有點(diǎn)老，不過(guò)對了解搜索引擎足夠了。如果你能夠深入了解里面的每一頁(yè)，應該足夠成為一名搜索引擎的高級工程師了。
　　另外就是谷歌的三大神器了。GFS，BigTable, MapReduce。文章鏈接就不放了，如果不知道怎么搜索，請翻閱文章開(kāi)頭我寫(xiě)過(guò)的搜索技巧。

　　百度圖片搜索怎么優(yōu)化？
　　01
　　百度圖片是什么，有什么好處？
　　百度圖片是什么？它是百度下面的搜索圖片的一個(gè)垂直圖片工具。從數十億級中文網(wǎng)頁(yè)提取圖片，目前可檢索圖片超過(guò)5億張！
　　
　　做好百度圖片搜索有什么好處？
　　一是現在百度APP日活2億+，而使用百度圖片搜索每天也有百萬(wàn)級以上，潛在用戶(hù)量多。二是如果能把自己的圖片讓百度收錄，就有可能吸引大量免費流量。02百度圖片搜索收錄基本原則
　　如何讓圖片被百度圖片收錄呢？這里，我們先要了解下百度圖片收錄基本原則。主要有三個(gè)方面：
　　1、圖片的網(wǎng)頁(yè)維度
　　1.1、圖片與所在的網(wǎng)站主題一致，這樣百度圖片搜索認為該網(wǎng)頁(yè)圖片可信度高。比如搜索PCB線(xiàn)路板點(diǎn)進(jìn)去圖片所在網(wǎng)頁(yè)截圖如下。網(wǎng)站也是PCB生產(chǎn)廠(chǎng)家。
　　
　　1.2、圖片所在網(wǎng)頁(yè)的周邊有相關(guān)文字描述，以及圖片做了alt標簽屬性。如上圖，圖片中加了ALT文字：線(xiàn)路板。查看源代碼即如圖：
　　
　　1.3、圖片所在的網(wǎng)頁(yè)沒(méi)有權限要求，即不是要登錄才能查看網(wǎng)頁(yè)內容及圖片
　　2、圖片的網(wǎng)站維度
　　圖片所在網(wǎng)站維度這里也分二小點(diǎn)：一是百度對于網(wǎng)站有一個(gè)評分，只要是正規SEO的話(huà)，一般網(wǎng)站較好排名，其網(wǎng)站圖片也會(huì )有好的表現。
　　二是圖片所在網(wǎng)站的穩定性了，這點(diǎn)至關(guān)重要。很多人說(shuō)自己圖片沒(méi)帶百度圖片收錄，可自己網(wǎng)站經(jīng)常因不穩定打不開(kāi)，何談收錄？
　　3、圖片的自身維度
　　除了上面兩大站圖片所在網(wǎng)頁(yè)維度與網(wǎng)站維度，第三點(diǎn)可能被百度圖片搜索抓取的維度即圖片本身！首先是圖片清晰度，清晰度越高這個(gè)在參與排名越好；
　　
　　其次是圖片尺寸適配內容
　　第三是圖片水印，不是說(shuō)不能有，而是水印不要擋住圖片主要部分，可以放圖片左上角或右下角。
　　
　　第四是新奇特圖片，或者說(shuō)稀缺圖片，因為這也是百度圖片需要的。最好圖片周尾加上描述。03百度圖片如何做優(yōu)化？
　　百度圖片優(yōu)化，其實(shí)也是網(wǎng)站內部站內SEO優(yōu)化，主要分三步：
　　第一步：圖片本身的優(yōu)化
　　圖片的尺寸和大小要注意。一般建議大于450*450這個(gè)尺寸，圖片過(guò)小對用戶(hù)不太好。
　　圖片的體積大小進(jìn)行優(yōu)化。一般網(wǎng)站圖片過(guò)大適當進(jìn)行壓縮，增加打開(kāi)速度。
　　圖片中是否有第三方的水印。比如很多網(wǎng)站的內容和圖片都是采集發(fā)別人的網(wǎng)站內容，但圖片水印還是別人的。舉例如圖：
　　
　　第二步：圖片與文字搭配優(yōu)化
　　圖片的alt屬性的優(yōu)化、title標簽優(yōu)化、周?chē)淖值膬?yōu)化以及圖片命名。
　　舉例：
　　
　　
　　/UploadFiles/FCK/201801/20180129X4RVVXB204.jpg" title="線(xiàn)路板" alt="線(xiàn)路板" />
　　噴錫多層PCb線(xiàn)路板（電路板）加工廠(chǎng)商
　　alt="線(xiàn)路板"即是ALT標簽優(yōu)化，加了線(xiàn)路板三個(gè)字。
　　title="線(xiàn)路板"，title屬性進(jìn)行優(yōu)化。
　　噴錫多層PCb線(xiàn)路板（電路板）加工廠(chǎng)商，這個(gè)就是圖片周邊文字描述。
　　第三步：圖片在網(wǎng)站中優(yōu)化
　　圖片建議要本地化上傳，不要用網(wǎng)上圖片。另外要善用“width、height”標簽設置圖片寬高調整。
　　04百度圖片搜索排名技巧
　　其實(shí)關(guān)于圖片搜索排名技巧，有以下三點(diǎn)：
　　1、找到高權重第三方網(wǎng)站
　　如果你去看看，會(huì )發(fā)現某些類(lèi)別的關(guān)鍵詞新聞類(lèi)站點(diǎn)的圖片索引與展現的排名相對靠前，這一點(diǎn)在早期四大門(mén)戶(hù)網(wǎng)站的新聞頁(yè)面中，更加明顯。
　　
　　
　?。承侣?wù)景l(fā)布商標注冊新聞稿搜圖片看到）
　　所以，如果你想用圖片排名時(shí)，并非需要自己網(wǎng)站，你可以考慮行業(yè)的垂直網(wǎng)站，比如虎嗅網(wǎng)。比如發(fā)新聞網(wǎng)站，或者社交網(wǎng)站，比如新浪微博等。
　　2、做高質(zhì)量網(wǎng)頁(yè)內容
　　我們所說(shuō)的高質(zhì)量?jì)热?，主要是指圖片這個(gè)網(wǎng)頁(yè)的內容載體，充分的把圖片說(shuō)清楚。
　　網(wǎng)頁(yè)標題(title)覆蓋圖片ALT標簽關(guān)鍵詞。（上面講優(yōu)化有舉例）
　　圖片上下文，圍繞圖片相關(guān)內容，進(jìn)行寫(xiě)作的。
　　圖片里描述名稱(chēng)。需要排名的圖片位置，盡量出現在網(wǎng)頁(yè)上方第一張圖片，最好是居中對齊哈。
　　3、提高網(wǎng)頁(yè)加載速度
　　現在移動(dòng)優(yōu)先索引，確保首頁(yè)加載速度最好在1秒以?xún)?！它直接影響百度爬蟲(chóng)對頁(yè)面元素的有效抓取。當然包括圖片抓取，所以這個(gè)速度很重要！
　　05百度圖片搜索如何做引流？
　　百度圖片其實(shí)是一個(gè)很容易被忽略的引流渠道，上面講百度圖片意義有提到過(guò)。很多人上百度圖片搜索一些配圖，你可以利用百度圖片搜索規則，上傳自己的產(chǎn)品圖片放上聯(lián)系方式進(jìn)行引流。
　　引流方法如下：

　　爬蟲(chóng)工程師是干什么的？你真的知道了嗎？
　　點(diǎn)擊上方“咸魚(yú)學(xué)Python”，選擇“加為星標”
　　第一時(shí)間關(guān)注Python技術(shù)干貨！
　　
　　程序員有時(shí)候很難和外行人講明白自己的工作是什么，甚至有些時(shí)候，跟同行的人講清楚“你是干什么的”也很困難。比如我自己，就對Daivd在搞的語(yǔ)義網(wǎng)一頭霧水。所以我打算寫(xiě)一篇博客，講一下“爬蟲(chóng)工程師”的工作內容是什么，需要掌握哪些技能，難點(diǎn)和好玩的地方等等，講到哪里算哪里吧。
　　一、爬蟲(chóng)工程師是干嘛的？1.主要工作內容？互聯(lián)網(wǎng)是由一個(gè)一個(gè)的超鏈接組成的，從一個(gè)網(wǎng)頁(yè)的鏈接可以跳到另一個(gè)網(wǎng)頁(yè)，在新的網(wǎng)頁(yè)里，又有很多鏈接。理論上講，從任何一個(gè)網(wǎng)頁(yè)開(kāi)始，不斷點(diǎn)開(kāi)鏈接、鏈接的網(wǎng)頁(yè)的鏈接，就可以走遍整個(gè)互聯(lián)網(wǎng)！這個(gè)過(guò)程是不是像蜘蛛沿著(zhù)網(wǎng)一樣爬？這也是“爬蟲(chóng)”名字的由來(lái)。作為爬蟲(chóng)工程師，就是要寫(xiě)出一些能夠沿著(zhù)網(wǎng)爬的”蜘蛛“程序，保存下來(lái)獲得的信息。一般來(lái)說(shuō)，需要爬出來(lái)的信息都是結構化的，如果不是結構化的，那么也就沒(méi)什么意義了（百分之八十的數據是非結構化的）。爬蟲(chóng)的規?？蛇_可小，小到可以爬取豆瓣的top 250電影，定時(shí)爬取一個(gè)星期的天氣預報等。大到可以爬取整個(gè)互聯(lián)網(wǎng)的網(wǎng)頁(yè)（例如google）。下面這些，我認為都可以叫做爬蟲(chóng)：爬知乎的作者和回答爬百度網(wǎng)盤(pán)的資源，存到數據庫中（當然，只是保存資源的鏈接和標題），然后制作一個(gè)網(wǎng)盤(pán)的搜索引擎同上，種子網(wǎng)站的搜索引擎也是這樣的到這里，我們知道爬蟲(chóng)的任務(wù)是獲取數據?，F在比較流行大數據，從互聯(lián)網(wǎng)方面講，數據可以分成兩種，一種是用戶(hù)產(chǎn)生的（UGC），第二種就是通過(guò)一些手段獲得的，通常就是爬蟲(chóng)。爬蟲(chóng)又不僅僅局限于從網(wǎng)頁(yè)中獲得數據，也可以從app抓包等。
　　簡(jiǎn)而言之，就是聚合數據并讓他們結構化。那么，哪些工作需要爬蟲(chóng)呢？2.爬蟲(chóng)能做什么？典型的數據聚合類(lèi)的網(wǎng)站都需要爬蟲(chóng)。比如Google搜索引擎。Google能在幾毫秒之內提供給你包含某些關(guān)鍵字的頁(yè)面，肯定不是實(shí)時(shí)給你去找網(wǎng)頁(yè)的，而是提前抓好，保存在他們自己的數據庫里（那他們的數據庫得多大呀）。所以種子搜索引擎，網(wǎng)盤(pán)搜索引擎，Resillio key引擎等都是用爬蟲(chóng)實(shí)現抓好數據放在數據庫里的。另外有一些提供信息對比的網(wǎng)站，比如比價(jià)類(lèi)的網(wǎng)站，就是通過(guò)爬蟲(chóng)抓取不同購物網(wǎng)站商品的價(jià)格，然后將各個(gè)購物網(wǎng)站的價(jià)格展示在網(wǎng)站上。購物網(wǎng)站的價(jià)格時(shí)時(shí)都在變，但是比價(jià)網(wǎng)站抓到的數據不會(huì )刪除，所以可以提供價(jià)格走勢，這是購物網(wǎng)站不會(huì )提供的信息。除此之外，個(gè)人還可以用爬蟲(chóng)做一些好玩的事情。比如我們想看大量的圖片，可以寫(xiě)一個(gè)爬蟲(chóng)批量下載下來(lái)，不必一個(gè)一個(gè)點(diǎn)擊保存，還要忍受網(wǎng)站的廣告了；比如我們想備份自己的資料，例如保存下來(lái)我們在豆瓣發(fā)布過(guò)的所有的廣播，可以使用爬蟲(chóng)將自己發(fā)布的內容全部抓下來(lái)，這樣即使一些網(wǎng)站沒(méi)有提供備份服務(wù)，我們也可以自己豐衣足食。二、爬蟲(chóng)工程師需要掌握哪些技能？我見(jiàn)過(guò)這樣的說(shuō)法：“爬蟲(chóng)是低級、重復性很多的工作，沒(méi)有發(fā)展前途”。
　　這是誤解。首先，對于程序員來(lái)說(shuō)基本上不存在重復性的工作，任何重復勞動(dòng)都可以通過(guò)程序自動(dòng)解決。例如博主之前要抓十幾個(gè)相似度很高但是html結構不太一樣的網(wǎng)站，我就寫(xiě)了一個(gè)簡(jiǎn)單的代碼生成器，從爬蟲(chóng)代碼到單元測試代碼都可以自動(dòng)生成，只要對應html結構稍微修改一下就行了。所以我認為，重復性的勞動(dòng)在編程方面來(lái)說(shuō)基本上是不存在的，如果你認為自己做的工作是重復性的，說(shuō)明你比較勤快，不愿意去偷懶。而我還認為，勤快的程序員不是好程序員。下面我根據自己這段時(shí)間的工作經(jīng)歷，講一講爬蟲(chóng)需要哪些相關(guān)的技能。1.基本的編碼基礎（至少一門(mén)編程語(yǔ)言）這個(gè)對于任何編程工作來(lái)說(shuō)都是必須的?；A的數據結構你得會(huì )吧。數據名字和值得對應（字典），對一些url進(jìn)行處理（列表）等等。事實(shí)上，掌握的越牢固越好，爬蟲(chóng)并不是一個(gè)簡(jiǎn)單的工作，也并不比其他工作對編程語(yǔ)言的要求更高。熟悉你用的編程語(yǔ)言，熟悉相關(guān)的框架和庫永遠是百益無(wú)害。我主要用Python，用Java寫(xiě)爬蟲(chóng)的也有，理論上講任何語(yǔ)言都可以寫(xiě)爬蟲(chóng)的，不過(guò)最好選擇一門(mén)相關(guān)的庫多，開(kāi)發(fā)迅速的語(yǔ)言。用C語(yǔ)言寫(xiě)肯定是自找苦吃了。2.任務(wù)隊列當爬蟲(chóng)任務(wù)很大的時(shí)候，寫(xiě)一個(gè)程序跑下來(lái)是不合適的：如果中間遇到錯誤停掉，重頭再來(lái)？這不科學(xué)我怎么知道程序在哪里失敗了？任務(wù)和任務(wù)之間不應該相互影響如果我有兩臺機器怎么分工？所以我們需要一種任務(wù)隊列，它的作用是：講計劃抓取的網(wǎng)頁(yè)都放到任務(wù)隊列里面去。
　　然后worker從隊列中拿出來(lái)一個(gè)一個(gè)執行，如果一個(gè)失敗，記錄一下，然后執行下一個(gè)。這樣，worker就可以一個(gè)接一個(gè)地執行下去。也增加了擴展性，幾億個(gè)任務(wù)放在隊列里也沒(méi)問(wèn)題，有需要可以增加worker，就像多一雙虧筷子吃飯一樣。常用的任務(wù)隊列有kafka，beanstalkd，celery等。3.數據庫這個(gè)不用講了，數據保存肯定要會(huì )數據庫的。不過(guò)有時(shí)候一些小數據也可以保存成json或者csv等。我有時(shí)想抓一些圖片就直接按照文件夾保存文件。推薦使用NoSQL的數據庫，比如mongodb，因為爬蟲(chóng)抓到的數據一般是都字段-值得對應，有些字段有的網(wǎng)站有有的網(wǎng)站沒(méi)有，mongo在這方面比較靈活，況且爬蟲(chóng)爬到的數據關(guān)系非常非常弱，很少會(huì )用到表與表的關(guān)系。4.HTTP知識HTTP知識是必備技能。因為要爬的是網(wǎng)頁(yè)，所以必須要了解網(wǎng)頁(yè)啊。首先html文檔的解析方法要懂，比如子節點(diǎn)父節點(diǎn)，屬性這些。我們看到的網(wǎng)頁(yè)是五彩斑斕的，只不過(guò)是被瀏覽器處理了而已，原始的網(wǎng)頁(yè)是由很多標簽組成的。處理最好使用html的解析器，如果自己用正則匹配的話(huà)坑會(huì )很多。我個(gè)人非常喜歡xpath，跨語(yǔ)言，表達比價(jià)好，但是也有缺點(diǎn)，正則、邏輯判斷有點(diǎn)別扭。
　　HTTP協(xié)議要理解。HTTP協(xié)議本身是無(wú)狀態(tài)的，那么“登錄”是怎么實(shí)現的？這就要求去了解一下session和cookies了。GET方法和POST方法的區別（事實(shí)上除了字面意思不一樣沒(méi)有任何區別）。瀏覽器要熟練。爬蟲(chóng)的過(guò)程其實(shí)是模擬人類(lèi)去瀏覽器數據的過(guò)程。所以瀏覽器是怎么訪(fǎng)問(wèn)一個(gè)網(wǎng)站的，你要學(xué)會(huì )去觀(guān)察，怎么觀(guān)察呢？Developer Tools！Chrome的Developer Tools提供了訪(fǎng)問(wèn)網(wǎng)站的一切信息。從traffic可以看到所有發(fā)出去的請求。copy as curl功能可以給你生成和瀏覽器請求完全一致的curl請求！我寫(xiě)一個(gè)爬蟲(chóng)的一般流程是這樣的，先用瀏覽器訪(fǎng)問(wèn)，然后copy as curl看看有哪些header，cookies，然后用代碼模擬出來(lái)這個(gè)請求，最后處理請求的結果保存下來(lái)。5.運維這個(gè)話(huà)題要說(shuō)的有很多，實(shí)際工作中運維和開(kāi)發(fā)的時(shí)間差不多甚至更多一些。維護已經(jīng)在工作的爬蟲(chóng)是一個(gè)繁重的工作。隨著(zhù)工作時(shí)間增加，一般我們都會(huì )學(xué)著(zhù)讓寫(xiě)出來(lái)的爬蟲(chóng)更好維護一些。比如爬蟲(chóng)的日志系統，數據量的統計等。將爬蟲(chóng)工程師和運維分開(kāi)也不太合理，因為如果一個(gè)爬蟲(chóng)不工作了，那原因可能是要抓的網(wǎng)頁(yè)更新了結構，也有可能出現在系統上，也有可能是當初開(kāi)發(fā)爬蟲(chóng)的時(shí)候沒(méi)發(fā)現反扒策略，上線(xiàn)之后出問(wèn)題了，也可能是對方網(wǎng)站發(fā)現了你是爬蟲(chóng)把你封殺了，所以一般來(lái)說(shuō)開(kāi)發(fā)爬蟲(chóng)要兼顧運維。
　　所以爬蟲(chóng)的運維我可以提供下面幾個(gè)思路：首先，從數據增量監控。定向爬蟲(chóng)（指的是只針對一個(gè)網(wǎng)站的爬蟲(chóng)）比較容易，一段時(shí)間之后對一些網(wǎng)站的數據增量會(huì )有一個(gè)大體的了解。經(jīng)?？纯催@些數據的增加趨勢是否是正常就可以了（Grafana）。非定向爬蟲(chóng)的數據增量不是很穩定，一般看機器的網(wǎng)絡(luò )狀況，網(wǎng)站的更新情況等（這方面我的經(jīng)驗不多）。然后看爬蟲(chóng)執行的成功情況。在上面提到了用任務(wù)隊列控制爬蟲(chóng)工作，這樣解耦可以帶來(lái)很多好處，其中一個(gè)就是可以就是可以對一次爬蟲(chóng)執行進(jìn)行日志?？梢栽诿看闻老x(chóng)任務(wù)執行的時(shí)候，將執行的時(shí)間、狀態(tài)、目標url、異常等放入一個(gè)日志系統（比如kibana），然后通過(guò)一個(gè)可視化的手段可以清晰地看到爬蟲(chóng)的失敗率。爬蟲(chóng)拋出的Exception。幾乎所有的項目都會(huì )用到錯誤日志收集（Sentry），這里需要注意的一點(diǎn)是，忽略正常的異常（比如Connection錯誤，鎖沖突等），否則的話(huà)你會(huì )被這些錯誤淹沒(méi)。三、爬蟲(chóng)與反爬這同樣是很深的一個(gè)話(huà)題，就像攻擊武器與防御武器一樣，雙方總是在不斷升級。常見(jiàn)的反爬措施（我遇到過(guò)的）有下面幾種：1.訪(fǎng)問(wèn)頻率很好理解，如果訪(fǎng)問(wèn)太頻繁網(wǎng)站可能針對你的ip封鎖一段時(shí)間，這和防DDoS的原理一樣。
　　對于爬蟲(chóng)來(lái)說(shuō)，碰到這樣的限制一下任務(wù)的頻率就可以了，可以盡量讓爬蟲(chóng)想人類(lèi)一樣訪(fǎng)問(wèn)網(wǎng)頁(yè)（比如隨機sleep一段時(shí)間，如果每隔3s訪(fǎng)問(wèn)一次網(wǎng)站很顯然不是正常人的行為）。2.登錄限制也比較常見(jiàn)。不過(guò)公開(kāi)信息的網(wǎng)站一般不會(huì )有這個(gè)限制，這樣讓用戶(hù)也麻煩了。其實(shí)反爬措施都或多或少的影響真實(shí)用戶(hù)，反爬越嚴格，誤殺用戶(hù)的可能性也越高。對爬蟲(chóng)來(lái)說(shuō)，登錄同樣可以通過(guò)模擬登錄的方式解決，加個(gè)cookie就行了（話(huà)又說(shuō)回來(lái)，網(wǎng)絡(luò )的原理很重要）。3.通過(guò)Header封殺一般瀏覽器訪(fǎng)問(wèn)網(wǎng)站會(huì )有header，比如Safari或者Chrome等等，還有操作系統信息。如果使用程序訪(fǎng)問(wèn)并不會(huì )有這樣的header。破解也很簡(jiǎn)單，訪(fǎng)問(wèn)的時(shí)候加上header就行。4.JavaScript腳本動(dòng)態(tài)獲取網(wǎng)站數據有一些網(wǎng)站（尤其是單頁(yè)面網(wǎng)站）的內容并不是通過(guò)服務(wù)器直接返回的，而是服務(wù)器只返回一個(gè)客戶(hù)端JavaScript程序，然后JavaScript獲取內容。更高級的是，JavaScript在本地計算一個(gè)token，然后拿這個(gè)token來(lái)進(jìn)行AJAX獲取內容。而本地的JavaScript又是經(jīng)過(guò)代碼混淆和加密的，這樣我們做爬蟲(chóng)的通過(guò)看源代碼幾乎不可能模擬出來(lái)這個(gè)請求（主要是token不可能破解），但是我們可以從另一個(gè)角度：headless的瀏覽器，也就是我們直接運行這個(gè)客戶(hù)端程序，這可以100%地模擬真實(shí)用戶(hù)！5.驗證碼這幾乎是終極武器了，驗證碼是專(zhuān)門(mén)用來(lái)區分人和計算機的手段。
　　對于反爬方來(lái)說(shuō)，這種方式對真實(shí)用戶(hù)和搜索引擎（其實(shí)可以通過(guò)記錄搜索引擎爬蟲(chóng)的ip來(lái)區別對待，可以解決）的危害比較大，相信讀者都有輸入驗證碼的痛苦經(jīng)歷。但這種方法也并不是無(wú)敵的！通過(guò)現在很火的機器學(xué)習可以輕松的識別大部分的驗證碼！Google的reCAPTCHA是一種非常高級的驗證碼，但是聽(tīng)過(guò)通過(guò)模擬瀏覽器也是可以破解的。6.ip限制網(wǎng)站可能將識別的ip永久封殺，這種方式需要的人力比較大，而且誤傷用戶(hù)的代價(jià)也很高。但是破解辦法卻非常簡(jiǎn)單。目前代理池幾乎是搞爬蟲(chóng)的標配了，甚至還有很多高匿代理等好用的東西。所以這基本上只能殺殺小爬蟲(chóng)。7.網(wǎng)站內容反爬有一些網(wǎng)站將網(wǎng)站內容用只有人類(lèi)可以接收的形式來(lái)呈現（其實(shí)反爬就是區別對待人類(lèi)和機器嘛）。比如將內容用圖片的形式顯示。但是近幾年來(lái)人類(lèi)和機器的差別越來(lái)越小，圖片可以用OCR準確率非常高地去識別。反爬總結爬蟲(chóng)和反爬是典型的攻防雙方的互相升級。但是我認為，這種升級不像軍事，軍事是無(wú)盡頭的，但是爬蟲(chóng)和反爬是有盡頭的。爬蟲(chóng)的盡頭就是瀏覽器，一旦使用瀏覽器，程序完全可以模擬真實(shí)用戶(hù)發(fā)出請求，缺點(diǎn)是就是消耗資源，因為需要新開(kāi)一個(gè)進(jìn)程，解析DOM，運行客戶(hù)端JavaScript代碼。
　?。╟hrome的node api在github開(kāi)源僅僅兩天，就拿到8k個(gè)star）反爬的盡頭就是像Google這種超級厲害的驗證碼，畢竟驗證碼的根本目的就是識別人類(lèi)和機器的。我正好有一個(gè)反爬做的非常好的例子。Google Arts Project項目是一個(gè)匯聚世界名畫(huà)的藝術(shù)長(cháng)廊，我比較喜歡里面的一些畫(huà)，所以想下載一些（當然這是不對的），然后發(fā)現這個(gè)網(wǎng)站反爬做的相當好（因為版權屬于收藏作品的博物館，所以Google Arts Project肯定不會(huì )提供下載），要下載幾乎是不可能的。我有點(diǎn)不服，開(kāi)始用各種手段試圖下載原圖。嘗試了一番，發(fā)現這個(gè)網(wǎng)站block掉了鼠標右鍵功能、審查元素發(fā)現圖片并不是一個(gè)常規的圖片、追蹤網(wǎng)絡(luò )包發(fā)現原圖竟然不是一次網(wǎng)絡(luò )請求拿到的，而是分成了好幾次請求base64編碼的字符流每次請求圖片的一部分，然后在客戶(hù)端組裝起來(lái)圖片！當然在客戶(hù)端的代碼也是經(jīng)過(guò)加密和混淆的！這完全可以作為反爬的教科書(shū)了，既沒(méi)有誤傷用戶(hù)，又讓爬蟲(chóng)無(wú)法下手。圖片每次只請求部分四、職業(yè)道德成規模的爬蟲(chóng)一般都會(huì )使用集群，一般的小網(wǎng)站服務(wù)器規?？赡懿蝗缗老x(chóng)集群的規模大。所以很多時(shí)候我們最好對要爬的網(wǎng)站限制一下頻率。
　　否則這些爬蟲(chóng)就相當于DoS攻擊集群了！一般的網(wǎng)站都會(huì )有robots.txt可以參考。好了，總結來(lái)說(shuō)，寫(xiě)爬蟲(chóng)需要經(jīng)驗積累，需要靈活的思路。比如說(shuō)我之前就遇到過(guò)網(wǎng)站，需要驗證碼驗證拿到一個(gè)token，可是通過(guò)看網(wǎng)絡(luò )請求發(fā)現這個(gè)token長(cháng)得很像一個(gè)時(shí)間戳，然后本地自己生成一個(gè)時(shí)間戳發(fā)現也是能用的！于是就這樣繞過(guò)了驗證碼。所以多多積累和嘗試，可以偷不少懶，嘿嘿。另外爬蟲(chóng)也不是和我之前想的那樣是一個(gè)枯燥無(wú)味的工作，比如我就發(fā)現了不少很垃圾，很搞笑的網(wǎng)站，樂(lè )趣也蠻多的。學(xué)到的東西也不少。萬(wàn)變不離其宗嘛。五、工作內容互聯(lián)網(wǎng)時(shí)代信息無(wú)處不在，我們日常所接觸的大量信息例如微博、社交媒體網(wǎng)站的帖子、消費者點(diǎn)評、新聞、銷(xiāo)售人員的拜訪(fǎng)記錄，這些都是常見(jiàn)的非結構化數據來(lái)源。非結構化數據分析能夠揭示潛藏在文本當中的趨勢和關(guān)聯(lián)，為商業(yè)決策、研究行業(yè)趨勢和熱點(diǎn)內容分析提供有力支持。緯橫團隊致力于打造最出色的中文語(yǔ)義分析技術(shù)，通過(guò)自主研發(fā)的中文分詞、句法分析、搜素引擎和實(shí)體識別技術(shù)，結合海量行業(yè)語(yǔ)料的不斷積累，為企業(yè)客戶(hù)（營(yíng)銷(xiāo)、公關(guān)、客服、銷(xiāo)售和產(chǎn)品部門(mén)）、研究機構和政府部門(mén)等提供數據監測和采集、分析和可視化以及專(zhuān)業(yè)服務(wù)，增強用戶(hù)在大數據時(shí)代的競爭力。
　　崗位職責1. 分布式網(wǎng)頁(yè)抓取平臺的研發(fā)、完善和運維，每天支持數千萬(wàn)級的網(wǎng)頁(yè)采集、清洗和分析；2. 產(chǎn)品后端 API 的開(kāi)發(fā)，實(shí)現高性能、高可用及可擴展的后端代碼；3. 線(xiàn)上分布式環(huán)境的自動(dòng)化運維、監控、性能調優(yōu)。職位要求1. 扎實(shí)的算法與數據結構功底，對新的知識和技術(shù)有強烈熱情；2. 具有較強的分析和解決問(wèn)題的能力；3. 擁有良好的編程習慣；4. 熟悉至少一門(mén)高級編程語(yǔ)言（例如 Python/C++/JAVA ）并有實(shí)際開(kāi)發(fā)的經(jīng)驗。
　　本文轉自%E6%96%87%E7%AB%A0%E9%A1%B5%E5%86%85%E9%93%BE%E6%8E%A5