Scrapy的介绍:Scrapy是基于Twisted的异步处理框架,是纯python语言实现的爬虫框架,特点是架构清晰,模块间耦合度低.扩展性强较为灵活. 框架结构如图所示: Engine:引擎,处理整个系统的数据流处理.触发事务,是整个框架的核心. Item:项目,定义爬虫结果的数据结构,爬去的数据被赋值为该item对象. Scheduler:调度器,接受引擎发过来的请求并将其加入队列中,在引擎再次请求时将请求提供给引擎. Downloader:下载器,下载网页内容,并将内容返还给蜘蛛. Sp…