在做爬虫服务化时,有这样一个需求:接口用命令行启动爬虫,但是数据入库时要记录此次任务的task_id. 简单说就是,Scrapy命令行启动时要动态传参进去. 解决方案: 在spider中定义一个构造函数 def __init__(self, task_id=None, *args, **kwargs): super(AtomicscientistSpider, self).__init__(*args, **kwargs) self.task_id = task_id 通过使用-a可以向爬虫文件…