原文链接 前言 分析这个项目的源码原因是需要有去重过滤,增量爬取两个功能,而scrapy-redis项目已经帮我们实现了,想看看他是怎么实现的.这里只贴出部分主要代码,查看时请打开源码对照,笔记有点长,建议看的童鞋按部分看.这是第一次分析源码,限于个人水平,如有错误恳请指正,谢谢! 地址:https://github.com/rmax/scrapy-redis/tree/master/src/scrapy_redis tips: 源码涉及scrapy的方法,不知道的在文档里搜一下就知道它的作用了