import urllib2詳解

在Python編程中，導入模塊可以提高代碼的可讀性和可維護性，而urllib2模塊則是Python編程中用於訪問網路資源的模塊之一。在本篇文章中，我們將從多個方面對import urllib2進行詳細的闡述。

一、urllib2模塊概述

urllib2模塊是Python編程中用於訪問網路資源的模塊。它可以用來讀取網頁的內容，發送POST和GET請求，使用HTPP/HTTPS代理等等功能。urllib2模塊的相關方法可以從urlopen()和Request()中找到。以下是一個簡單的例子：

import urllib2

response = urllib2.urlopen('http://www.example.com/')
html = response.read()
print(html)

在這個例子中，我們使用了urllib2模塊中的urlopen()方法，來訪問並讀取http://www.example.com/網頁的內容。最後使用print()方法輸出讀取到的內容。

二、讀取網頁內容

2.1 urlopen()

使用urllib2模塊中的urlopen()方法，我們可以簡單地訪問一個網頁，並讀取它的內容。urlopen()方法接受一個字元串類型的參數，表示要訪問的URL。以下是一個例子：

import urllib2

response = urllib2.urlopen('http://www.example.com/')
html = response.read()
print(html)

在這個例子中，我們使用urlopen()方法讀取了http://www.example.com/網頁的內容，並將讀取到的內容賦值給了變數html，並將其輸出了出來。

2.2 Request()

除了使用urlopen()方法之外，我們還可以使用Request()方法。Request()方法可以在請求頭裡添加一些信息，例如User-Agent，Referer等等。以下是一個例子：

import urllib2

url = 'http://www.example.com/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64)'
headers = {'User-Agent':user_agent, 'Referer':'http://www.example.com/'}
req = urllib2.Request(url, headers=headers)
response = urllib2.urlopen(req)
html = response.read()
print(html)

在這個例子中，我們使用了Request()方法，並指定了網頁的URL以及請求頭中的User-Agent和Referer信息。然後使用urlopen()方法讀取了http://www.example.com/網頁的內容，並將讀取到的內容賦值給了變數html，並將其輸出了出來。

三、發送POST和GET請求

3.1 發送GET請求

使用urllib2模塊發送GET請求非常簡單。只需要將請求的URL直接傳遞給urlopen()方法即可。以下是一個例子：

import urllib2

url = 'http://www.example.com/?param1=value1&param2=value2'
response = urllib2.urlopen(url)
html = response.read()
print(html)

在這個例子中，我們直接將請求的URL傳遞給了urlopen()方法，並讀取了http://www.example.com/?param1=value1&param2=value2網頁的內容。

3.2 發送POST請求

如果需要發送POST請求，則需要使用urllib2模塊中的urlencode()方法將數據進行編碼，然後使用urllib2模塊中的urlopen()方法發送請求。以下是一個例子：

import urllib
import urllib2

url = 'http://www.example.com/login.php'
values = {'username': 'testuser', 'password': 'testpass'}
data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
html = response.read()
print(html)

在這個例子中，我們將用戶名和密碼編碼後，傳遞給urlopen()方法，並讀取了http://www.example.com/login.php網頁的內容。

四、使用代理

urllib2模塊還提供了使用HTTP/HTTPS代理的功能。在需要使用代理的時候，可以使用ProxyHandler()方法來創建代理處理器對象，並使用urllib2.build_opener()方法來創建打開器對象。以下是一個例子：

import urllib2

proxy_handler = urllib2.ProxyHandler({'http': 'http://<your-proxy-server>:<port>'})
opener = urllib2.build_opener(proxy_handler)
urllib2.install_opener(opener)
response = urllib2.urlopen('http://www.example.com/')
html = response.read()
print(html)

在這個例子中，我們使用ProxyHandler()方法創建了代理處理器對象，並指定了代理伺服器和埠號。然後使用build_opener()方法創建打開器對象，並將其安裝到urllib2模塊中。最後使用urlopen()方法讀取了http://www.example.com/網頁的內容。