網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片，get百度的圖片都是加密的

　　網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片，get百度的圖片都是加密的，需要服務(wù)器解密。如果你用了瀏覽器安全模塊，直接把你的post形式的數據提交給服務(wù)器服務(wù)器解密即可。

　　可以用ecshop的鏡像功能。比如，你有30000的業(yè)務(wù)在一個(gè)站點(diǎn)，正常訪(fǎng)問(wèn)需要3~5分鐘，復制ecshop/viewschema鏡像到application目錄下，那么不需要用戶(hù)輸入servername，直接從application拿過(guò)來(lái)數據就好了。

　　一、異步加載用http協(xié)議抓取圖片和圖片的restfulapi，可以用phantomjs等異步框架。

　　二、讀取本地圖片有利于減少對服務(wù)器的請求。

　　三、用戶(hù)多次抓取的時(shí)候不影響其它用戶(hù)抓取。

　　看你是想要哪方面，不同的用戶(hù)可能要抓取的數據有差異。例如抓取不同域名之間的數據，抓取不同圖片，抓取不同下載鏈接，抓取不同圖片的大小等等，不同需求可以針對抓取出來(lái)的結果封裝函數。

　　我很同意下面網(wǎng)友所說(shuō)的，既然是python爬蟲(chóng)，其實(shí)并不需要執行加密方式的restfulurl提交，通過(guò)http協(xié)議就可以了。舉個(gè)例子：獲取淘寶首頁(yè)的banner。那么可以抓取阿里同學(xué)提供的一個(gè)圖片地址。然后做一個(gè)簡(jiǎn)單的pipinstall上傳圖片，即可獲取app中主要頁(yè)面。再通過(guò)api向后臺的開(kāi)發(fā)者工具上傳成功后，通過(guò)圖片json格式提交即可。

　　restfulurl提交，分別發(fā)起baiduspider-spider包(google/googlebrowser)和facebook-spider包(facebook/facebookbanner)的url請求;就會(huì )在一個(gè)表單里，