利用Python 3 urllib2 构建网络请求

一、Python 3 urllib2 简介

Python 3 urllib2 库是一个强大的HTTP客户端库，它可以帮助我们发送HTTP请求，获取HTTP请求的响应并通过Python代码对其进行操作。Python 3 urllib2 库可以实现与HTTP、HTTPS、FTP、SFTP等协议的通信，支持Get、Post、Put、Delete等方法。使用Python 3 urllib2 库，我们可以编写Python代码发出HTTP请求以获取数据，并对数据进行处理。

Python 3 urllib2 库是Python标准库中的一部分，可以在Python 3.x版本中直接使用。Python 3 urllib2 库提供了一种简单的方式来处理网页和网站，并从中收集数据。

二、Python 3 urllib2 库的应用场景

Python 3 urllib2 库可以应用于以下场景：

• 获取数据：我们可以使用Python 3 urllib2库从远程URL获取数据，这些数据可以是文本，图像和其他二进制数据。
• 处理网页：我们可以使用Python 3 urllib2 库和BeautifulSoup等html解析器来分析网页元素的结构，获取所需的数据。
• 网络爬虫：Python 3 urllib2 库可以用于构建网络爬虫，自动化地访问网站并爬取所需数据。

三、Python 3 urllib2 库的基本使用方法

1、发送 HTTP GET 请求

下面是一个简单的Python 3 urllib2 库发送 HTTP GET 请求的示例代码：

import urllib.request

response = urllib.request.urlopen('http://www.example.com/')
html = response.read()
print (html)

在上面的代码中，我们使用urllib.request.urlopen()函数打开一个URL，然后使用response.read()函数读取response中的数据，最后打印出数据。

2、发送 HTTP POST 请求

在发送POST请求时，我们需要使用urlencode()函数对数据进行编码，并将编码后的数据作为data参数传递给urllib.request.urlopen()函数。

下面是一个使用Python 3 urllib2 库发送 HTTP POST 请求的示例代码：

import urllib.request
import urllib.parse

url = 'http://www.example.com/'
values = {'name' : 'Michael Foord',
          'location' : 'Northampton',
          'language' : 'Python' }
data = urllib.parse.urlencode(values)
data = data.encode('utf-8')
req = urllib.request.Request(url, data)
response = urllib.request.urlopen(req)
the_page = response.read()
print (the_page)

在上面的代码中，我们首先定义了POST请求的URL和参数，然后使用urlencode()函数将参数进行编码并转换为字节数组。接着，我们创建了一个Request对象，并将转换后的参数data作为参数传递给Request对象，并通过urlopen()函数发送请求并读取返回的数据。

3、设置 HTTP 头部信息

有时我们需要在 HTTP 请求中发送一些额外的头部信息，例如 User-Agent 等。在Python 3 urllib2库中，我们可以通过添加头部信息来设置 HTTP 头部信息。

下面是一个Python 3 urllib2库设置HTTP头部信息的示例：

import urllib.request

url = 'http://www.example.com/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
req = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(req)
the_page = response.read()
print (the_page)

在上面的代码中，我们首先定义了HTTP请求的URL和头部信息，然后创建了一个Request对象，并将头部信息作为参数传递给Request对象。最后，我们使用urlopen()函数发送请求并读取返回的数据。

四、Python 3 urllib2库的高级用法

1、处理 Cookie

与Web应用程序进行交互，Cookie是一个非常常见的情况。在Python 3 urllib2 库中，可以使用http.cookiejar模块来处理Cookie。

下面是一个Python 3 urllib2库处理Cookie的示例：

import urllib.request
import http.cookiejar

url = 'http://example.com/login'
values = {'username': 'admin', 'password': '123456'}
data = urllib.parse.urlencode(values).encode('utf-8')

jar = http.cookiejar.CookieJar()
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(jar))
urllib.request.install_opener(opener)

response = opener.open(url, data)
the_page = response.read()

print (the_page)

在上面的代码中，我们首先定义了需要登录的URL和用户名/密码。接着，我们使用http.cookiejar.CookieJar()实例化一个CookieJar()对象，并使用urllib.request.build_opener()函数创建一个具有Cookie支持的opener对象，并将CookieJar()对象作为参数传递。然后，我们通过urlopen()函数使用opener对象发送包含用户名/密码的数据作为参数。

2、处理 HTTPS 请求

如果我们需要与HTTPS连接进行通信，Python 3 urllib2 库也可以很好地满足要求。在Python 3 urllib2中，使用HTTPSConnection()可以很容易地构建一个HTTPS连接。

下面是一个Python 3 urllib2 库处理HTTPS请求的示例代码：

import urllib.request

url = 'https://www.example.com/'
response = urllib.request.urlopen(url)
the_page = response.read()
print (the_page)

在上面的代码中，我们首先定义了需要HTTPS连接的URL，然后使用urlopen()函数打开URL，发送HTTPS请求，并读取响应的结果。

3、处理连接超时

对于长时间执行的操作，我们需要对超时进行控制。在Python 3 urllib2 库中，我们可以使用timeout参数来设置连接超时。

下面是一个Python 3 urllib2库处理请求超时的示例：

import urllib.request

url = 'https://www.example.com/'
response = urllib.request.urlopen(url, timeout=10)
the_page = response.read()
print (the_page)

在上面的代码中，timeout参数指定连接超时时间为10秒。如果在10秒内无法完成请求，将会引发异常。

五、总结

Python 3 urllib2 库是Python标准库中的一个强大的HTTP客户端库，它可以帮助我们发送各种类型的HTTP请求，获取HTTP请求的响应，并通过Python代码对其进行操作。使用Python 3 urllib2 库，我们可以轻松构建网络请求并获取所需的数据。