使用Python編寫簡單的Web爬蟲程序

一、概述

網路爬蟲（Web crawler）是一種自動化程序，可以在互聯網上自動收集數據。爬蟲程序經常被用於搜索引擎、價格比較、新聞聚合、網站內容分析、自動化測試等領域。

Python是一門功能強大的編程語言，它擁有豐富的網路相關庫，比如Scrapy、Requests、BeautifulSoup等，可以幫助我們編寫簡單的Web爬蟲程序。

二、URL請求

在編寫Web爬蟲程序時，首先需要學習的是URL請求。

import requests

response = requests.get('https://www.baidu.com/')
print(response.text)

這段代碼演示了如何使用Python的Requests庫對百度的首頁進行簡單的GET請求，並列印出網頁的HTML代碼。

三、數據解析

對於得到的HTML代碼，需要進行數據解析，Python中最常用的數據解析庫是BeautifulSoup。

from bs4 import BeautifulSoup
import requests

response = requests.get('https://www.baidu.com/')
soup = BeautifulSoup(response.text, 'html.parser')
print(soup.title.string)

這段代碼演示了如何使用BeautifulSoup對百度首頁的HTML代碼進行解析，並列印出網頁的title信息。

四、信息提取

解析HTML代碼之後，需要從中提取出目標信息。比如，我們可以從百度首頁中提取出所有的超鏈接。

from bs4 import BeautifulSoup
import requests

response = requests.get('https://www.baidu.com/')
soup = BeautifulSoup(response.text, 'html.parser')
for link in soup.find_all('a'):
    print(link.get('href'))

這段代碼演示了如何使用BeautifulSoup從百度首頁中提取出所有的超鏈接。

五、數據存儲

最後，如果我們需要將得到的數據存儲到本地文件或者資料庫中，可以使用Python的文件操作或者資料庫操作。這裡演示一個將得到的超鏈接存儲到本地文件中的例子。

from bs4 import BeautifulSoup
import requests

response = requests.get('https://www.baidu.com/')
soup = BeautifulSoup(response.text, 'html.parser')
with open('links.txt', 'w') as f:
    for link in soup.find_all('a'):
        f.write(link.get('href')+'\n')

這段代碼將從百度首頁中得到的超鏈接存儲到文件links.txt中。