概览 WebMagic是一款简单灵活的爬虫框架.基于它你可以很容易的编写一个爬虫. WebMagic项目代码分为核心和扩展两部分. 核心部分(webmagic-core)是一个精简的.模块化的爬虫实现,而扩展部分则包括一些便利的.实用性的功能.WebMagic的架构设计参照了Scrapy,目标是尽量的模块化,并体现爬虫的功能特点.这部分提供非常简单.灵活的API,在基本不改变开发模式的情况下,编写一个爬虫. 扩展部分(webmagic-extension)提供一些便捷的功能,例如注解模式编写爬虫