網(wǎng)頁(yè)爬蟲(chóng)抓取百度圖片(Python視頻寫(xiě)了一個(gè)爬蟲(chóng)程序，實(shí)現簡(jiǎn)單的網(wǎng)頁(yè)圖片下載)

　　一、簡(jiǎn)介

　　這段時(shí)間我一直在學(xué)習 Python 的東西。我聽(tīng)說(shuō)過(guò) Python 爬蟲(chóng)有多強大。我現在才學(xué)會(huì )這個(gè)。跟著(zhù)小烏龜的Python視頻寫(xiě)了一個(gè)爬蟲(chóng)程序，可以實(shí)現簡(jiǎn)單的網(wǎng)頁(yè)圖片下載。

　　二、代碼

　　__author__ = "JentZhang"

import urllib.request

import os

import random

import re

def url_open(url):

'''

打開(kāi)網(wǎng)頁(yè)

:param url:

:return:

'''

req = urllib.request.Request(url)

req.add_header('User-Agent',

'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36')

# 應用代理

'''

proxyies = ["111.155.116.237:8123","101.236.23.202:8866","122.114.31.177:808"]

proxy = random.choice(proxyies)

proxy_support = urllib.request.ProxyHandler({"http": proxy})

opener = urllib.request.build_opener(proxy_support)

urllib.request.install_opener(opener)

'''

response = urllib.request.urlopen(url)

html = response.read()

return html

def save_img(folder, img_addrs):

'''

保存圖片

:param folder: 要保存的文件夾

:param img_addrs: 圖片地址（列表）

:return:

'''

# 創(chuàng )建文件夾用來(lái)存放圖片

if not os.path.exists(folder):

os.mkdir(folder)

os.chdir(folder)

for each in img_addrs:

filename = each.split('/')[-1]

try:

with open(filename, 'wb') as f:

img = url_open("http:" + each)

f.write(img)

except urllib.error.HTTPError as e:

# print(e.reason)

pass

print('完畢！')

def find_imgs(url):

'''

獲取全部的圖片鏈接

:param url: 連接地址

:return: 圖片地址的列表

'''

html = url_open(url).decode("utf-8")

img_addrs = re.findall(r'src="(.+?\.gif)', html)

return img_addrs

def get_page(url):

'''

獲取當前一共有多少頁(yè)的圖片

:param url: 網(wǎng)頁(yè)地址

:return:

'''

html = url_open(url).decode('utf-8')

a = html.find("current-comment-page") + 23

b = html.find("]", a)

return html[a:b]

def download_mm(url="http://jandan.net/ooxx/", folder="OOXX", pages=1):

'''

主程序（下載圖片）

:param folder:默認存放的文件夾

:param pages: 下載的頁(yè)數

:return:

'''

page_num = int(get_page(url))

for i in range(pages):

page_num -= i

page_url = url + "page-" + str(page_num) + "#comments"

img_addrs = find_imgs(page_url)

save_img(folder, img_addrs)

if __name__ == "__main__":

download_mm()

　　三、總結

　　因為代碼中訪(fǎng)問(wèn)的網(wǎng)址已經(jīng)使用了反爬蟲(chóng)算法。所以爬不出來(lái)我想要的圖片，所以，就做個(gè)爬蟲(chóng)的筆記吧。僅供學(xué)習參考【捂臉】。 . . .

　　最后：我把jpg格式改成gif了，還是可以爬到很爛的gif：

　　

　　第一張圖只是反爬蟲(chóng)機制的占位符，沒(méi)有任何內容。