Python爬取網站數據

引言

Python是一種高效的編程語言，可用於各種任務。其中一個最流行的使用場景是Web爬蟲。Web爬蟲是一種程序，可自動遍歷Web頁面並提取感興趣的數據，如文本、圖片或視頻。Python缺乏Web瀏覽器的圖形用戶界面，但可用於發送HTTP請求和解析Web頁面的HTML源代碼。

使用Python爬取網站數據的好處

Python可以與HTTP協議配合使用，幫助開發人員編寫能夠提取感興趣數據的爬蟲程序。這種爬蟲程序的好處很多，比如：

• 爬取大多數的網站，從而快速地獲取大量網頁數據；
• 可避免手動複製和粘貼數據，從而節省時間和精力；
• 可以強制完成可能過時的任務，例如：網站更新過數據以及可用的API的更改等。

Python爬蟲原理

Web爬蟲由兩個主要組件組成：Web請求引發器和頁面解析器。其中Web請求引發器將被用於發送HTTP GET或POST請求，攜帶請求參數（參數可包含查詢字符串、頭部信息、Cookie等），以獲取特定的Web頁面。頁面解析器負責從HTML源代碼中提取有趣的部分，例如：超鏈接、圖像、標題、段落以及其他元素。

一、Web請求引發器

Web請求引發器被用來發送HTTP GET或POST請求以及帶請求參數（例如查詢字符串、頭、Cookie等）的數據到Web服務器上。通過這種方式，開發人員可以在頁面上檢索關鍵信息。下面代碼展示了Python如何使用requests庫發送請求：

import requests
 
url = 'https://www.example.com'
params = {'key1': 'value1', 'key2': 'value2'}
headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, params=params, headers=headers)
response.encoding = 'utf-8'
print(response.text)

二、頁面解析器

頁面解析器用於從HTML源代碼中提取有趣的數據。Python有許多可用於此目的的庫，如BeautifulSoup4和lxml等。以下代碼是使用BeautifulSoup4從HTML中提取數據的示例：

import requests
from bs4 import BeautifulSoup

url = 'https://www.example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
links = soup.find_all('a')
for link in links:
    print(link.get('href'))

三、保存數據

最後一步是保存已完成的數據。Python有很多內置的數據格式，包括csv、json和sqlite等。這些格式都很適合存儲爬取到的數據。

import csv

filename = 'data.csv'

with open(filename, 'w', newline='', encoding='utf-8') as f:
    fieldnames = ['name', 'price', 'description']
    writer = csv.DictWriter(f, fieldnames=fieldnames)

    writer.writeheader()
    writer.writerow({'name': 'product1', 'price': '100', 'description': 'best product'})
    writer.writerow({'name': 'product2', 'price': '200', 'description': 'better product'})

結論

本文介紹了Python Web爬蟲的主要原理和使用方法。通過使用Python，開發人員可以輕鬆地遍歷Web頁面並提取有意義的數據，而不必花費大量時間和精力手動複製和粘貼數據。Python的出色語言特性使它成為一個流行的Web爬蟲。但是請注意，爬取網站數據行為可能違反某些網站的服務協議。