Python爬蟲實戰：抓取豆瓣Top250電影

介紹

電影是我們生活中不可或缺的一部分，而其中有些電影經典程度不言自明。在豆瓣網站上，有一個叫做Top250的電影榜單，記錄了豆瓣用戶對電影的評分和評論。本篇文章將介紹如何使用Python爬蟲技術，從豆瓣網站上抓取Top250電影的信息。

背景

抓取網頁信息是現代化的網絡數據處理方法。在科技高速發展的今天，數據已經成為一個非常重要的資源，任何涉及到數據研究、數據分析、數據挖掘等領域的都需要大量數據作為支撐。但是由於有些數據不對外開放，或者數據獲取難度很大，這時就需要爬蟲技術上場了。

Python是一個非常適合網絡爬蟲的語言，因為它的代碼簡潔、靈活、易於學習，而且有很多強大的第三方數據處理庫，例如 Requests, BeautifulSoup, Scrapy等等。這些庫使得Python成為開發爬蟲的首選語言。

正文

一、訪問豆瓣網站

使用Python訪問一個網站需要用到Requests庫，這個庫可以幫助我們向一個URL發送請求，並且返回包含響應內容的對象。下面的代碼將向豆瓣Top250電影頁面發送一個GET請求，然後打印出響應內容。

import requests
url = "https://movie.douban.com/top250"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
res = requests.get(url, headers=headers)
print(res.text)

上述代碼中headers是請求頭，用來模擬瀏覽器頭，很多網站會根據瀏覽器頭判斷請求是否合法。

二、解析HTML頁面

上一步我們已經成功訪問到了豆瓣Top250電影頁面的HTML內容，但是這些HTML內容都是以字符串的形式存在的，很難直接獲取到需要的信息。這時就需要使用BeautifulSoup庫來解析HTML，找到目標信息所在的位置。

from bs4 import BeautifulSoup
soup = BeautifulSoup(res.text, 'html.parser')
print(soup)

上述代碼將返回一個BeautifulSoup對象，我們可以使用該對象的各種方法來查找特定HTML標籤下的內容。例如，可以使用以下代碼來查找頁面中的電影名稱。

titles = [title.text for title in soup.select(".title")]
print(titles)

上述代碼中，.title代表class為title的HTML標籤，也就是電影名稱所在的HTML標籤。

三、保存數據到本地

我們已經可以成功提取豆瓣Top250電影頁面上的電影名稱，接下來我們需要將這些數據保存到本地文件中。下面是一個簡單的例子，將電影名稱寫入一個名為“titles.txt”的文件。

with open("titles.txt", "w", encoding="utf-8") as f:
    f.write("\n".join(titles))

上述代碼中，”w”表示以寫方式打開文件，encoding=”utf-8″表示使用UTF-8編碼，這樣可以確保中文能夠正確地寫入文件中。

代碼示例

下面是完整的代碼示例，包括訪問豆瓣Top250電影頁面、解析HTML頁面、保存數據到本地文件等所有步驟。

import requests
from bs4 import BeautifulSoup

url = "https://movie.douban.com/top250"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')

titles = [title.text for title in soup.select(".title")]

with open("titles.txt", "w", encoding="utf-8") as f:
    f.write("\n".join(titles))

總結

本篇文章介紹了如何使用Python爬蟲技術抓取豆瓣Top250電影頁面上的電影名稱並將其保存到本地文件中。這只是網絡爬蟲應用的一個簡單案例，爬蟲技術還可以應用於更廣泛的領域，例如搜索引擎、電商平台、博客、論壇等等。對於數據分析師、數據科學家來說，網絡爬蟲是技能樹中不可缺少的一部分，需要不斷學習掌握。