Python如何抓取圖片數據

Python是一門強大的編程語言，能夠輕鬆地進行各種數據抓取與處理。抓取圖片數據是一個非常常見的需求。在這篇文章中，我們將從多個方面介紹Python如何抓取圖片數據。

一、使用urllib庫抓取圖片

urllib庫是Python內置的HTTP請求庫，可以用來發送HTTP請求、獲取HTTP響應等操作。使用它，我們可以通過URL鏈接來抓取網絡上的圖片。

import urllib.request

url = 'https://picsum.photos/200/300' # 圖片鏈接

urllib.request.urlretrieve(url, 'image.jpg') # 保存圖片到本地

這段代碼首先使用了urllib.request.urlretrieve()方法來下載圖片到本地，並命名為“image.jpg”。

二、使用requests庫抓取圖片

requests庫也是一個Python中常用的HTTP庫，功能更加強大，且操作更加方便。使用它，我們可以通過HTTP協議訪問圖片鏈接，然後直接下載圖片。

import requests

url = 'https://picsum.photos/200/300'

response = requests.get(url) # 發起GET請求

with open('image.jpg', 'wb') as f: # 將下載的圖片保存到本地
    f.write(response.content)

這段代碼中，首先我們使用requests.get()方法發起了一個GET請求，然後通過response.content獲取響應體的二進制內容。

三、使用BeautifulSoup解析網頁獲取圖片

BeautifulSoup是Python中常用的HTML和XML的解析庫，它能夠將HTML和XML文件轉換成樹形結構，然後使用一些特定的方法來查找、遍歷節點。

import requests
from bs4 import BeautifulSoup

url = 'https://unsplash.com/s/photos/dog'

response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser') # 使用BeautifulSoup解析HTML頁面

img_tags = soup.find_all('img') # 查找所有img標籤

urls = [img['src'] for img in img_tags] # 提取所有圖片的鏈接

for url in urls:
    response = requests.get(url)
    with open(f"{url.split('/')[-1]}", "wb") as f:
        f.write(response.content)

這段代碼中，我們先通過requests.get()方法獲取HTML頁面，並使用BeautifulSoup解析頁面。然後使用soup.find_all()方法查找所有包含標籤的節點，再從中提取出圖片鏈接。最後，我們循環遍歷所有圖片鏈接，使用requests.get()方法發起GET請求，然後將響應體中的內容寫入到文件中。

四、使用Selenium進行網頁截屏

Selenium是一個自動化測試工具，但由於它提供了模擬瀏覽器行為的方式，因此可以用來截屏，即將整個網頁截圖下來，這也能夠用於抓取圖片數據。

from selenium import webdriver

url = 'https://unsplash.com/s/photos/dog'

driver = webdriver.Chrome() # 創建一個Chrome瀏覽器實例

driver.get(url) # 訪問頁面

driver.save_screenshot('screenshot.png') # 將整個頁面截屏

這段代碼中，首先我們創建了一個Chrome瀏覽器實例，並使用driver.get()方法訪問網頁。然後使用driver.save_screenshot()方法將整個頁面截屏，並保存到本地文件“screenshot.png”中。

五、使用API獲取圖片數據

許多網站也提供了API接口，我們可以通過這些API直接獲取所需的圖片數據。以Unsplash為例，它提供了HTTP API接口，我們可以通過訪問類似下面這樣的鏈接，來獲取圖片數據：

https://api.unsplash.com/photos?client_id=

我們可以使用requests庫訪問這個鏈接，然後獲取到圖片的JSON數據。根據JSON的結構，可以提取出圖片鏈接、高度、寬度等相關信息。

import requests

url = 'https://api.unsplash.com/photos?client_id='

response = requests.get(url)

data = response.json() # 將數據轉化為JSON格式

for item in data:
    img_url = item['urls']['raw'] # 圖片鏈接
    height = item['height'] # 圖片高度
    width = item['width'] # 圖片寬度
    # 將圖片下載下來或者進行其他操作

這段代碼中，我們首先發起了一個HTTP請求，獲取到了Unsplash的圖片數據。然後使用response.json()方法將數據轉化為JSON格式。最後，我們循環遍歷每個圖片數據項，提取出圖片鏈接、高度、寬度等信息。