Scrapy – 定义一个项目
Scrapy – 定义一个项目
描述
项目是用于收集从网站上报废的数据的容器。您必须通过定义您的项目来启动您的蜘蛛。要定义项目,请编辑在目录first_scrapy(自定义目录)下找到的items.py文件。该items.py看起来如下-
import scrapy class First_scrapyItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field()
该MyItem从类继承项目包含了一些预先定义的对象是Scrapy已经为我们建造。例如,如果您想从站点中提取名称、URL 和描述,您需要为这三个属性中的每一个定义字段。
因此,让我们添加我们想要收集的那些项目 –
from scrapy.item import Item, Field class First_scrapyItem(scrapy.Item): name = scrapy.Field() url = scrapy.Field() desc = scrapy.Field()