python爬取網頁並生成表格

本文將從以下幾個方面詳細介紹如何使用Python爬取網頁數據並生成表格：

一、獲取網頁數據

獲取網頁數據的一般思路是通過HTTP請求獲取網頁內容，最常用的方式是使用Python庫requests。使用requests庫發送HTTP請求需要指定請求方法、請求頭部、請求參數等。以獲取豆瓣電影評分榜單為例，可以使用以下代碼：

import requests

url = "https://movie.douban.com/chart"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"}
response = requests.get(url, headers=headers)
content = response.text

其中：url是目標網頁的URL地址，headers是請求頭部，可以增加請求主體的信息。response是服務器返回的HTTP響應，content是響應的主體內容。需要注意的是，豆瓣電影評分榜單是需要登錄後才能查看的，因此需要在請求頭部中添加Cookie信息。

二、解析網頁數據

獲得網頁內容後，需要解析出需要的數據。在Python中，最常用的解析庫是BeautifulSoup和lxml。以獲取豆瓣電影評分榜單的電影名稱和評分為例，可以使用以下代碼：

from bs4 import BeautifulSoup

soup = BeautifulSoup(content, "lxml")
movies = soup.select(".pl2 a")
ratings = soup.select(".rating_nums")
for movie, rating in zip(movies, ratings):
    print(movie.text, rating.text)

其中，soup變量是將網頁內容解析為BeautifulSoup對象的結果，”lxml”是使用lxml解析器解析網頁內容。movies和ratings是使用CSS選擇器選取的電影和評分。通過Python的zip函數將電影和評分一一對應輸出。

三、生成表格

獲得需要的數據之後，可以通過Python庫pandas將其保存為表格形式。以保存豆瓣電影評分榜單的電影名稱和評分為例，可以使用以下代碼：

import pandas as pd

data = {"電影名稱": [movie.text for movie in movies], "評分": [rating.text for rating in ratings]}
df = pd.DataFrame(data)
df.to_excel("douban_movies.xlsx", index=False)

其中，data是包含電影名稱和評分的字典，df是將data轉換為DataFrame對象的結果。to_excel方法可以將DataFrame保存為Excel文件，以便後續分析使用。

四、完整代碼

import requests
from bs4 import BeautifulSoup
import pandas as pd

url = "https://movie.douban.com/chart"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
    "Cookie": ""}
response = requests.get(url, headers=headers)
content = response.text

soup = BeautifulSoup(content, "lxml")
movies = soup.select(".pl2 a")
ratings = soup.select(".rating_nums")

data = {"電影名稱": [movie.text for movie in movies], "評分": [rating.text for rating in ratings]}
df = pd.DataFrame(data)
df.to_excel("douban_movies.xlsx", index=False)

五、總結

本文主要介紹了如何使用Python爬取網頁數據並生成表格。具體來說，我們可以使用requests庫獲取網頁內容，使用BeautifulSoup或lxml解析網頁內容，使用pandas保存解析出來的數據為表格。掌握了這些技能，我們就可以快速地獲取需要的數據，並對其進行分析處理。