用Python編寫命令行抓取工具：grab

一、介紹

在接口數據眾多、爬蟲需求呈現多樣化的今天，有一個高效簡單易用的命令行抓取工具無疑會大大提升爬蟲工程師的開發效率。grab是一個輕量級Python命令行工具，旨在提供簡單、易擴展的命令行方式來解決數據抓取工作。我們可以將grab看作是一款“精悍”的爬蟲框架，它可以幫助我們快速構建數據抓取工具，從而讓我們更好地集中編寫業務邏輯，而不必再關心底層的抓取邏輯以及與各種數據源交互的問題。

二、功能

由於grab是一款輕量級的工具，因此它並不像其他爬蟲框架一樣功能豐富。但它可以較好地實現以下幾個功能：

1. 下載指定URL的網頁內容，並保存到本地文件或者直接輸出到控制台；

2. 支持HTTP和HTTPS兩種協議；

3. 支持簡單的HTTP認證，可以設置用戶名和密碼；

4. 支持設置超時時間，防止一些耗時操作導致程序崩潰；

5. 支持Cookie獲取和設置，方便在抓取過程中保持登錄狀態。

三、使用

我們學習grab的最好方式就是從一個例子開始，下面是一段介紹如何獲取一個URL內容並將其輸出到控制台的代碼。

import grab

g = grab.Grab()
g.go('https://example.com/')
print g.response.body

代碼中的第一行 ‘import grab’ 引入了grab模塊。接着我們創建了一個Grab對象 g，並調用其go方法獲取指定的URL（此處為https://example.com/）。最後，我們可以訪問獲得的網頁內容，比如將其輸出到控制台。這個例子的執行效果就是將 example.com 網站的HTML代碼打印出來。

除了具備基本的請求功能外，grab還支持一些參數。例如，可以設置User-Agent、超時時間等。可以通過以下代碼設置一個User-Agent：

import grab

g = grab.Grab(user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0')
g.go('https://example.com/')

其中，user_agent 參數用於設置User-Agent字段，這裡我們將它設置為Firefox瀏覽器的User-Agent。

四、擴展

雖然grab的功能較為簡單，但我們可以通過擴展grab中的插件來增加其功能。grab內置了一些插件，例如Cookie支持、Retry支持、代理支持等。例如，我們可以通過配置Cookie插件來實現自動登錄的功能。

下面的示例演示了如何使用grab的Cookie插件，以實現自動登錄功能：

import grab

g = grab.Grab()
g.setup(
    cookies={
        'name': 'value',
    }
)
g.go('https://example.com/')

以上代碼中，setup方法接受一個字典參數作為請求的cookie。此處我們設置了一個名為 ‘name’ 值為 ‘value’ 的cookie，然後通過go方法發送請求，從而實現了需登錄才可訪問的頁面內容的獲取。

五、總結

Grab是Python中一款非常簡單實用的命令行抓取工具。它可以幫助我們快速構建數據抓取工具，進而更好的集中編寫業務邏輯。雖然其功能不像其他爬蟲框架那麼豐富，但它足以應對我們日常的數據抓取需求，同時我們可以通過擴展grab中的插件來增加其功能。