回顾 上篇文章NetCore实践爬虫系统(一)解析网页内容 我们讲了利用HtmlAgilityPack,输入XPath路径,识别网页节点,获取我们需要的内容.评论中也得到了大家的一些支持与建议.下面继续我们的爬虫系统实践之路.本篇文章不包含依赖注入/数据访问/UI界面等,只包含核心的爬虫相关知识,只能作为Demo使用,抛砖引玉,共同交流. 抽象规则 爬虫系统之所以重要,正是他能支持各种各样的数据.要支持识别数据,第一步就是要将规则剥离出来,支持用户自定义. 爬虫规则,实际上是跟商品有点类似,如动…