scrapy 2.3 调试spiders

本文介绍了调试spider的最常用技术。请考虑下面的蜘蛛：

import scrapy
from myproject.items import MyItem

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = (
        'http://example.com/page1',
        'http://example.com/page2',
        )

    def parse(self, response):
        # <processing code not shown>
        # collect `item_urls`
        for item_url in item_urls:
            yield scrapy.Request(item_url, self.parse_item)

    def parse_item(self, response):
        # <processing code not shown>
        item = MyItem()
        # populate `item` fields
        # and extract item_details_url
        yield scrapy.Request(item_details_url, self.parse_details, cb_kwargs={'item': item})

    def parse_details(self, response, item):
        # populate more `item` fields
        return item

基本上，这是一个简单的spider，它解析两页项目（start-url）。项目还有一个包含附加信息的详细信息页，因此我们使用 ​cb_kwargs​ 的功能 ​Request​ 传递部分填充的项。