使用Python的requests库进行网络请求

小蓝 • 2024-12-12 12:52 • 编程

在进行网络开发或者爬虫方面的时候，我们经常需要发送网络请求，而Python的requests库可以方便地完成这项任务。requests是一个Python的HTTP库，它允许我们以人类可读的方式向网站发送请求，并用Python解析响应。使用requests库，我们可以做到发送HTTP/1.1和HTTP/2请求，支持国际域名和IDNA，会话保持，浏览器式身份验证，支持压缩和身份验证等等。下面我们将详细介绍requests库的用法。

一、发送基本的HTTP请求

发送HTTP请求是requests库的主要功能之一。我们可以使用requests.get方法向指定的URL发送get请求，请求并返回服务器响应，用法如下：

import requests

response = requests.get('https://www.baidu.com/')
print(response.status_code)
print(response.text)

response.status_code是响应状态码（例如200表示成功，404表示未找到，500表示服务器错误等），response.text是响应的内容。请求成功后，我们可以通过response.text查看响应结果，例如百度首页的HTML代码。

二、发送带参数的HTTP请求

有时候，我们需要发送包含参数的请求，这可以通过给requests.get方法传递params参数来实现，示例如下：

import requests

payload = {'key1': 'value1', 'key2': 'value2'}
response = requests.get('https://httpbin.org/get', params=payload)
print(response.url)
print(response.text)

上面的代码中，我们给get方法传递一个参数字典payload，然后requests会自动将参数组装成url，最后输出response.url和response.text。我们可以看到，response.url显示的是带参数的URL，response.text包含了HTTP响应的正文。

三、发送POST请求

requests库也支持发送POST请求，用法跟发送GET请求很像。我们只需要通过requests.post方法传递需要POST的数据即可，代码如下：

import requests

payload = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://httpbin.org/post', data=payload)
print(response.text)

我们把需要POST的数据定义成字典payload，然后通过data参数传递给post方法即可。最后输出响应结果，这里我们可以看到http://httpbin.org/post站点返回的结果，包含了我们POST数据的内容。

四、设置请求头部信息

在进行HTTP通信是，包含的请求和响应信息都是通过请求头部信息来传递的。requests请求方法中可以设置headers参数来自定义请求头部信息。

import requests

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
}
response = requests.get('https://www.baidu.com/', headers=headers)
print(response.text)

我们可以自定义User-Agent来发送请求，从而模拟浏览器发起请求。这里我们使用了谷歌浏览器作为User-Agent，百度会以为我们是使用Chrome浏览器访问百度网站，于是返回了相应内容。

五、错误处理

人工编写的HTTP客户端通常需要考虑与服务器的不良或失败交互。requests库内置了一个明确的异常层次结构，用于处理请求和响应所发生的常见异常，例如连接超时等。

import requests

try:
    response = requests.get('https://httpbin.org/get', timeout=0.1)
    print(response.status_code)
except requests.exceptions.Timeout:
    print('请求超时了')

我们可以在请求过程中添加timeout参数来设置超时时间。如果请求超过指定的超时时间，就会抛出requests.exceptions.Timeout异常，我们可以通过try/except对它进行捕获并进行相应的处理。

原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/242807.html