scrapy 2.3 将项目写入JSON文件

下面的管道将所有爬取的项目（从所有蜘蛛）存储到一个单独的管道中 ​items.jl​ 文件，每行包含一个以JSON格式序列化的项：

import json

from itemadapter import ItemAdapter

class JsonWriterPipeline:

    def open_spider(self, spider):
        self.file = open('items.jl', 'w')

    def close_spider(self, spider):
        self.file.close()

    def process_item(self, item, spider):
        line = json.dumps(ItemAdapter(item).asdict()) + "\n"
        self.file.write(line)
        return item

注解

jsonWriterPipeline的目的只是介绍如何编写项管道。如果您真的想将所有的爬取项存储到JSON文件中，那么应该使用 Feed exports .