Python requests模块详解

Python是一种广泛应用的编程语言，其强大的HTTP库requests使其成为网络数据抓取和处理的重要工具。Python requests模块提供了简洁明了的API，能够轻松地与Web API交互和下载网站、解析HTML页面等。本文从各个角度详细阐述Python requests模块的使用方法和注意事项。

一、请求方法

请求方法是使用requests的基础。requests可以发送HTTP协议中的GET、POST、PUT、DELETE、HEAD、OPTIONS等请求，同时还能支持自定义请求中的Header、Cookies、超时时间等参数设置。下面以获取豆瓣TOP250电影列表为例，详细介绍各个请求方法的使用方法。

1. GET方法

GET是最常用的请求方法，也是requests模块默认的请求方法，用于请求获取指定URL的资源。例如，在豆瓣电影中获取TOP250电影列表可以通过如下代码实现：

import requests

url = 'https://movie.douban.com/top250'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
response = requests.get(url=url, headers=headers)
print(response.text)

2. POST方法

POST请求可以用于提交表单、上传文件等操作。如果需要向指定URL发送POST请求，示例如下：

import requests

url = 'http://httpbin.org/post'
data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post(url=url, data=data)
print(response.text)

3. PUT、DELETE、HEAD、OPTIONS等方法

PUT、DELETE、HEAD、OPTIONS等方法的使用方法与GET和POST方法类似，只需要将requests.get和requests.post替换成相应的方法即可。例如，如果需要获取一个Web页面的Header信息，可以使用HEAD方法：

import requests

url = 'https://github.com'
response = requests.head(url=url)
print(response.headers)

二、请求参数

requests还支持设置请求字符串参数，比如URL中的查询参数、Post请求中的数据等。下面以豆瓣电影的分页请求为例，展示如何在requests中指定查询参数：

import requests

url = 'https://movie.douban.com/top250'
params = {'start': 25, 'filter': ''}
response = requests.get(url=url, params=params)
print(response.text)

三、响应内容

请求结束后，requests会返回一个Response对象。Response对象包含请求结果、返回码、响应头、响应Cookies等信息。下面展示如何获取Response对象中的各个内容。

1. 请求结果

请求结果包含在Response对象的text属性中：

import requests

url = 'https://movie.douban.com/top250'
response = requests.get(url)
print(response.text)

2. 返回码

返回码可以通过Response对象的status_code属性获取。常见的HTTP返回码有200、400、404、500等。

import requests

url = 'https://movie.douban.com/top250'
response = requests.get(url)
print(response.status_code)

3. 响应头

响应头可以通过Response对象的headers属性获取：

import requests

url = 'https://movie.douban.com/top250'
response = requests.get(url)
print(response.headers)

4. 响应Cookies

响应Cookies可以通过Response对象的cookies属性获取：

import requests

url = 'https://movie.douban.com/top250'
response = requests.get(url)
print(response.cookies)

四、请求Header

Header是指HTTP请求中的头部信息，包括User-Agent、Referer、Accept-Encoding、Content-Type等信息。requests支持自定义请求Header，可以在实际爬虫中满足一些特定需求。示例如下：

import requests

url = 'https://movie.douban.com/top250'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}
response = requests.get(url=url, headers=headers)
print(response.text)

五、Cookies

requests还支持自定义Cookies信息，并且可以从Response对象中获取到响应的Cookies信息。示例如下：

import requests

url = 'https://movie.douban.com/top250'
cookies = {'key1': 'value1', 'key2': 'value2'}
response = requests.get(url=url, cookies=cookies)
print(response.cookies)

六、文件上传和下载

requests还支持文件的上传和下载。在上传时，可以使用Files参数指定上传文件的路径和文件名；在下载时，可以使用Response对象的content属性保存下载文件的二进制内容，也可以使用Stream=True参数将下载文件流式存储到本地文件。

1. 文件上传

import requests

url = 'http://httpbin.org/post'
files = {'file': open('test.txt', 'rb')}
response = requests.post(url=url, files=files)
print(response.text)

2. 文件下载

import requests

url = 'https://pic4.zhimg.com/v2-6e222db56d2f7b2b7d0edcf92328955a_r.jpg'
response = requests.get(url, stream=True)
with open('test.jpg', 'wb') as f:
    for chunk in response.iter_content(1024):
        f.write(chunk)

七、代理和超时

requests还支持设置代理和超时时间等参数。示例如下：

1. 设置代理

import requests

url = 'https://movie.douban.com/top250'
proxies = {'http': 'http://10.10.1.10:3128', 'https': 'http://10.10.1.10:1080'}
response = requests.get(url=url, proxies=proxies)
print(response.text)

2. 设置超时时间

import requests

url = 'https://movie.douban.com/top250'
timeout = 1
response = requests.get(url=url, timeout=timeout)
print(response.text)

本文详细介绍了Python requests模块的各种请求方法、请求参数、响应内容、Header、Cookies、文件上传下载、代理和超时等常用功能，可以用于实际生产环境中的网络数据抓取和处理。具体使用方法可以参考官方文档。在实际工作中，还需要时刻注意反爬虫策略和合法使用规范等注意事项。