用Python编写命令行抓取工具：grab

一、介绍

在接口数据众多、爬虫需求呈现多样化的今天，有一个高效简单易用的命令行抓取工具无疑会大大提升爬虫工程师的开发效率。grab是一个轻量级Python命令行工具，旨在提供简单、易扩展的命令行方式来解决数据抓取工作。我们可以将grab看作是一款“精悍”的爬虫框架，它可以帮助我们快速构建数据抓取工具，从而让我们更好地集中编写业务逻辑，而不必再关心底层的抓取逻辑以及与各种数据源交互的问题。

二、功能

由于grab是一款轻量级的工具，因此它并不像其他爬虫框架一样功能丰富。但它可以较好地实现以下几个功能：

1. 下载指定URL的网页内容，并保存到本地文件或者直接输出到控制台；

2. 支持HTTP和HTTPS两种协议；

3. 支持简单的HTTP认证，可以设置用户名和密码；

4. 支持设置超时时间，防止一些耗时操作导致程序崩溃；

5. 支持Cookie获取和设置，方便在抓取过程中保持登录状态。

三、使用

我们学习grab的最好方式就是从一个例子开始，下面是一段介绍如何获取一个URL内容并将其输出到控制台的代码。

import grab

g = grab.Grab()
g.go('https://example.com/')
print g.response.body

代码中的第一行 ‘import grab’ 引入了grab模块。接着我们创建了一个Grab对象 g，并调用其go方法获取指定的URL（此处为https://example.com/）。最后，我们可以访问获得的网页内容，比如将其输出到控制台。这个例子的执行效果就是将 example.com 网站的HTML代码打印出来。

除了具备基本的请求功能外，grab还支持一些参数。例如，可以设置User-Agent、超时时间等。可以通过以下代码设置一个User-Agent：

import grab

g = grab.Grab(user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0')
g.go('https://example.com/')

其中，user_agent 参数用于设置User-Agent字段，这里我们将它设置为Firefox浏览器的User-Agent。

四、扩展

虽然grab的功能较为简单，但我们可以通过扩展grab中的插件来增加其功能。grab内置了一些插件，例如Cookie支持、Retry支持、代理支持等。例如，我们可以通过配置Cookie插件来实现自动登录的功能。

下面的示例演示了如何使用grab的Cookie插件，以实现自动登录功能：

import grab

g = grab.Grab()
g.setup(
    cookies={
        'name': 'value',
    }
)
g.go('https://example.com/')

以上代码中，setup方法接受一个字典参数作为请求的cookie。此处我们设置了一个名为 ‘name’ 值为 ‘value’ 的cookie，然后通过go方法发送请求，从而实现了需登录才可访问的页面内容的获取。

五、总结

Grab是Python中一款非常简单实用的命令行抓取工具。它可以帮助我们快速构建数据抓取工具，进而更好的集中编写业务逻辑。虽然其功能不像其他爬虫框架那么丰富，但它足以应对我们日常的数据抓取需求，同时我们可以通过扩展grab中的插件来增加其功能。