通過前幾節課的學習，我們大概了解了通過urllib模塊怎麼樣獲取數據、解析數據、保存數據得到我們想要的數據了，今天呢，就給大家介紹一個Python爬蟲獲取數據的另外一個方法requests庫。那麼urllib和requests哪個好？urllib和requests有什麼區別呢？
1.requests庫怎麼安裝
我們已經講解了Python內置的urllib模塊，用於訪問網絡資源。但是，它用起來比較麻煩，而且，缺少很多實用的高級功能。
更好的方案是使用requests。它是一個Python第三方庫，處理URL資源特別方便。
requests庫的安裝與安裝其他第三方應用一樣（如下圖）：
2.requests庫怎麼使用。
我們以簡單的抓取百度網頁（https://www.baidu.com/）為例進行操作：
第一步，導入requests庫
第二步，發起請求。
首先我們需要判斷請求類型。最常見的請求方式為 GET 和POST，我們可以通過右擊檢查-network-headers-Request Method可以看到該頁面的請求方式為get
因此我們發起請求的格式為：
requests.get(網頁地址)
第三步，獲取網頁內容。
首先我們需要判斷我們獲取到的網頁是什麼類型，同樣可通過右擊檢查
-network-headers-Content-Type可以看到該網頁的內容為text類型
因此我們獲取網頁的基本格式為:
response.text
如下圖即可輸出網頁內容：
第四步，存儲網頁信息。
基本格式為：
with open(保存的文件名,讀寫模式,encoding=”utf-8″) as 變量:
變量.write(網頁內容)
以上就是關於requests的用法，我們可以結合之前學過的內容，想想urllib與requests哪個更加方便，以及對於有反爬蟲機制的網站，又應該如何用requests獲取內容信息,下節課，我們對比一下urllib與requests的區別的是什麼？以及urllib與requests哪種更好。
原創文章，作者：投稿專員，如若轉載，請註明出處：https://www.506064.com/zh-hant/n/223405.html
微信掃一掃 
支付寶掃一掃 