深入了解pipelines

PALDO • 2025-02-01 13:34 • 编程

一、pipeline基础知识

1、pipeline的定义和作用

pipeline是Scrapy的核心机制之一，它用于处理从spider中返回的数据。Scrapy在抓取网页的时候，会将数据经过pipeline进行处理，pipeline可以负责清洗、验证、存储等多个任务，同时也可以通过pipeline对数据进行自定义操作。

2、pipeline的执行顺序

Scrapy框架会按照设置的优先级顺序来执行pipeline，一般情况下，数据会先经过一些数据清洗、过滤的pipeline，然后再进行持久化处理等操作。

3、pipeline的基本结构


class MyPipeline1(object):
    def process_item(self, item, spider):
        # 数据处理
        return item

class MyPipeline2(object):
    def process_item(self, item, spider):
        # 数据处理
        return item

pipeline一般都是以类的形式实现，每一个pipeline都至少实现一个process_item方法，该方法接收两个参数item和spider，item是爬虫爬取后的数据，spider是爬虫对象。

二、数据清洗和过滤

1、数据清洗

Scrapy保持了较高的灵活性，可以轻松地实现数据清洗和转换。比如将数据转换为指定格式，去除不需要的内容等。

2、数据过滤

Scrapy可以在pipeline中自定义数据的过滤规则，可以过滤掉不需要的数据，这样能大大提高后续pipeline的效率。

三、数据持久化处理

1、pipeline将数据存储到本地文件


class MyPipeline(object):
    def __init__(self):
        self.file = open('items.jl', 'w')

    def process_item(self, item, spider):
        line = json.dumps(dict(item)) + "\n"
        self.file.write(line)
        return item

    def close_spider(self, spider):
        self.file.close()

将数据存储到本地文件可以使用内置的json库。

2、pipeline将数据存储到数据库


class MyPipeline(object):
    def __init__(self):
        self.db = pymysql.connect(**settings.MYSQL_CONFIG)
        self.cursor = self.db.cursor()

    def process_item(self, item, spider):
        sql = "insert into mytable (title, url) values (%s, %s)"
        self.cursor.execute(sql, (item["title"], item["url"]))
        self.db.commit()
        return item

    def close_spider(self, spider):
        self.cursor.close()
        self.db.close()

将数据存储到数据库需要先连接数据库，可以使用pymysql这个库连接MySQL。

四、多个pipeline的设置

在Scrapy的settings.py文件中，每个pipeline都可以设置优先级，Scrapy会按照优先级从高到低的顺序依次执行pipeline。同时pipeline可以在settings.py中进行配置，支持动态修改pipeline的设置。


ITEM_PIPELINES = {
	'myproject.pipelines.MyPipeline1': 300, #优先级300
	'myproject.pipelines.MyPipeline2': 400, #优先级400
}

五、pipeline的应用场景

1、爬取大型网站

对于大型网站，需要多个数据清洗、持久化处理pipeline对数据进行过滤、存储等操作。

2、爬取分布式网站

对于分布式网站，pipeline可以用于分布式数据处理，将爬虫爬取的数据进行合并、去重、分组等操作。

3、爬取高质量网站

对于高质量的网站，pipeline可以用于数据验证和存储，保证数据的一致性和可用性。

原创文章，作者：PALDO，如若转载，请注明出处：https://www.506064.com/n/333728.html