Scrapy笔记03- Spider详解 Spider是爬虫框架的核心,爬取流程如下: 先初始化请求URL列表,并指定下载后处理response的回调函数.初次请求URL通过start_urls指定,调用start_requests()产生Request对象,然后注册parse方法作为回调 在parse回调中解析response并返回字典,Item对象,Request对象或它们的迭代对象.Request对象还会包含回调函数,之后Scrapy下载完后会被这里注册的回调函数处理. 在回调函数里面,你…