一、Scrapy.request怎么用
Scrapy.request（Scrapy的一个模块）是用于生成并发送HTTP请求的Python类。通过Scrapy.request可以发送GET请求、POST请求等各种类型的请求，并可以在Scrapy爬虫中添加请求头信息、Cookies等一系列的参数。
以发送GET请求为例：
import scrapy
class MySpider(scrapy.Spider):
name = 'myspider'
def start_requests(self):
urls = [
'http://www.example.com/page1',
'http://www.example.com/page2',
]
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
self.logger.info('Visited %s', response.url)上述代码，我们定义了一个名为MySpider的类，其中实现了两个方法：start_requests和parse。 start_requests方法生成需要爬取的URL，并通过各种参数构造一个GET请求，即通过 scrapy.Request 构造了一个请求对象并返回。在调用该方法时，将遍历其全部生成器，并异步地将每个请求引擎提交到Scrapy中。Parse方法被当做回调函数由引擎调用，并在请求返回时被调用，它接收HTTP响应并分析响应内容。
二、爬虫scrapy与request区别
Scrapy.request与Python标准库中的request模块类似，但Scrapy.request更为强大，它是Scrapy框架中融合了多个模块而形成的请求发送方式。
相较于Requests库，Scrapy.request自带异步支持，支持代理IP、使用请求头进行伪装、自定义下载中间件等，可彻底模拟人类访问网站的方式，同时支持下载异步化和调度优化。
在爬小型静态网站任务时可以使用Requests库，对应用更广泛用途的爬虫任务则可以使用Scrapy框架以及Scrapy.request模块。
三、设置Scrapy.request的参数
在编写Scrapy爬虫中，Scrapy.request参数设置是一个相当重要的部分。
1. URL 连接
代码如下：
scrapy.Request(url, ...)2. 网址处理
Scrapy.request支持处理网址，并自动将一个普通的字符串网址转化为合法的URL链接，包括路径、查询等内容。在构造时，Scrapy会自动处理请求链接：
from urllib.parse import urlencode
params = {'param1': 'a', 'param2': 'b'}
url = 'http://www.example.com/page?' + urlencode(params)
request = scrapy.Request(url)3. scrapy.Request参数
构造Scrapy.request时，可以添加很多参数来满足我们的爬虫需求，例如请求头、代理、设置Cookies等等。
比如，设置请求头：
request = scrapy.Request(url=url, headers=headers, callback=self.parse)其中headers为一个字典，用于存储将要发送的HTTP头。通过添加这个参数，我们可以将请求头信息补充为一个完整的HTTP请求报文。
设置代理IP：
proxy = 'http://user:password@host:port'
request = scrapy.Request(url=url, callback=self.parse)
request.meta['proxy'] = proxy通过在meta中添加代理IP的信息，就可以实现在Scrapy.request中的代理IP设置。
四、总结
Scrapy.request可以说是Scrapy爬虫框架中最为核心与重要的模块之一。在Scrapy.request的使用方面，相较于Python标准库中的request模块，它既具有了Request模块的简单易学与使用性，也融合了多个模块所带来的强大的性能与功能。同时，Scrapy.request还能够轻松地进行各种参数设置，满足不同的爬取需求，是爬虫开发的必备工具之一。
原创文章，作者：小蓝，如若转载，请注明出处：https://www.506064.com/n/295719.html
微信扫一扫 
支付宝扫一扫 