利用Python的Requests包進行網頁訪問和信息抓取

一、Requests包介紹

Requests是Python中的第三方庫，主要用於HTTP訪問。使用Requests，我們可以輕鬆地向任何網站發送HTTP請求，並獲取到HTTP響應。

Requests庫的優點在於使用簡單，而且可以完成大多數HTTP請求的操作。對於簡單的GET請求、POST請求等，可以輕鬆完成。

import requests

response = requests.get('https://www.baidu.com/')
print(response.text)

上面的代碼使用Requests庫向百度首頁發送了一個GET請求，並獲取到響應內容。其中response對象包含了響應的狀態、正文、響應頭等信息。

二、使用Requests進行GET請求

我們可以使用Requests庫構造HTTP請求，然後發送GET請求。

import requests

response = requests.get('https://www.baidu.com/')
print(response.text)

上面的代碼就是向百度首頁發送一個GET請求，並將響應的內容作為字元串列印出來。在實際開發中，我們可以對response進行解析和處理。

三、使用Requests進行POST請求

相對於GET請求，POST請求需要在HTTP報文中攜帶參數。我們可以使用Requests來發送POST請求，並攜帶參數。

import requests

data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('http://www.example.com/api', data=data)
print(response.text)

上面的代碼就是向http://www.example.com/api發送了一個POST請求，並攜帶了參數。Requests會自動將參數編碼為form表單格式，然後發送出去。

四、使用Requests進行文件上傳

在HTTP請求中，上傳文件需要使用multipart/form-data格式。我們可以使用Requests來上傳文件。

import requests

files = {'file': open('test.txt', 'rb')}
response = requests.post('http://www.example.com/upload', files=files)
print(response.text)

上面的代碼演示了如何使用Requests上傳一個文件。其中open()函數打開了一個名為test.txt的文件，將其轉換為二進位模式(rb)，然後將其作為文件參數file傳遞給Requests庫。在實際開發中，我們可以上傳不同類型的文件，例如圖片、視頻等。

五、使用Requests進行代理設置

在爬蟲過程中，我們可能會需要使用代理。Requests庫支持HTTP和HTTPS代理，可以通過proxies參數設置代理。

import requests

proxies = {'http': 'http://127.0.0.1:8888', 'https': 'https://127.0.0.1:8888'}
response = requests.get('https://www.example.com/', proxies=proxies)
print(response.text)

上面的代碼演示了如何使用Requests進行HTTP代理和HTTPS代理設置。在實際開發中，我們可以使用不同的代理IP地址，以避免被封禁。