Python .item使用详解

介绍

在Python爬虫中，通常使用的requests库或者scrapy框架都有一种方法可以提取网页中的特定元素，那就是 .item()方法。

在这篇文章中，我们会详细介绍 .item()方法，包括它的功能、用法、示例，并提供一些实用的技巧，以便你可以更好地将其应用在你的代码中。

正文

一、功能介绍

.item()方法是用于提取Scrapy框架中的Item对象的方法。它的作用就是将选定的网页元素转换为一个Item对象，我们可以对这个对象进行进一步的处理，例如存储、筛选、输出等。

举个例子，我们可以使用以下代码将页面中的文章标题、作者和时间提取出来，并生成一个Item对象：

import scrapy

class mySpider(scrapy.Spider):
    name = "myspider"
    start_urls = [
        "http://xxx.com/"
    ]

    def parse(self, response):
        item = {}
        item['title'] = response.css('h1.title::text').extract()
        item['author'] = response.css('p.author a::text').extract()
        item['time'] = response.css('span.time::text').extract_first()
        yield item

在这个例子中，我们使用了Selector的css方法选取了三个元素，并将它们存储在一个名为item的字典中，最后使用yield语句将其输出。

二、用法说明

.item()方法通常与css或xpath选择器一起使用，通过选择器选取WEB页面中的元素，并将其转换为Scrapy框架中的Item对象。

在使用.item()方法前需要定义好Item对象的字段，这些字段通常以 scrapy.Item 类为基础定义。 在Spider中，通过对选择器的调用，将取回的元素赋值到对应的Item字段中。

三、示例演示

下面是一个示例，包含如何从一个网页中提取电子产品的型号、品牌和价格，并将它们存储在一个CSV文件中的完整代码：

import scrapy
from scrapy.crawler import CrawlerProcess
from scrapy.item import Item, Field

class Product(Item):
    model = Field()
    brand = Field()
    price = Field()

class ProductSpider(scrapy.Spider):
    name = "productspider"
    allowed_domains = ["example.com"]
    start_urls = [
        "http://www.example.com/products.html"
    ]

    def parse(self, response):
        for product in response.css('div.product'):
            item = Product()
            item['model'] = product.css('a::text').extract_first()
            item['brand'] = product.css('span.brand::text').extract_first()
            item['price'] = product.css('span.price::text').extract_first()
            yield item

process = CrawlerProcess({
    'FEED_FORMAT': 'csv',
    'FEED_URI': 'products.csv',
    'LOG_ENABLED': False
})

process.crawl(ProductSpider)
process.start()

小结

在这篇文章中，我们介绍了 .item()方法的作用和用法，包括如何使用它从网页中提取元素并将它们转换为Scrapy框架中的Item对象。我们还提供了示例代码以及一些实用的技巧，希望这些内容可以帮助你更好地掌握 .item()方法并将其应用在你的工作中。