Scrapy - 项目

描述

Scrapy 过程可用于使用爬虫从网页等来源提取数据。Scrapy 使用Item 类生成输出，其对象用于收集抓取的数据。

声明项目

您可以使用类定义语法以及如下所示的字段对象来声明项目：

import scrapy 
class MyProducts(scrapy.Item): 
   productName = Field() 
   productLink = Field() 
   imageURL = Field() 
   price = Field() 
   size = Field() 

项目字段

项目字段用于显示每个字段的元数据。由于字段对象上的值没有限制，因此可访问的元数据键不包含元数据参考列表。字段对象用于指定所有字段元数据，并且您可以根据项目的要求指定任何其他字段键。字段对象可以通过 Item.fields 属性访问。

使用项目

在使用项目时，可以定义一些常用函数。有关更多信息，请点击此 链接。

扩展项目

可以通过声明原始项目的子类来扩展项目。例如：

class MyProductDetails(Product): 
   original_rate = scrapy.Field(serializer = str) 
   discount_rate = scrapy.Field()

您可以使用现有的字段元数据通过添加更多值或更改现有值来扩展字段元数据，如下面的代码所示：

class MyProductPackage(Product): 
   name = scrapy.Field(Product.fields['name'], serializer = serializer_demo)

项目对象

项目对象可以使用以下类指定，该类根据给定参数提供新的初始化项目：

class scrapy.item.Item([arg])

Item 提供了构造函数的副本，并提供了一个额外的属性，该属性由字段中的项目给出。

字段对象

字段对象可以使用以下类指定，其中 Field 类不发出其他过程或属性：

class scrapy.item.Field([arg])