实属课程需要,不然早就放弃在半路了.维持了断续半个多月的 bug 调试,突然就实现了.很是欣慰.网上关于分布式爬虫的都是一些介绍,实战的不多并且都很相似,说的云来雾去的,只是项目的流程.可能是项目一路顺风,而我 bug 不断.也好 记录下来供大家参考. 关于 scrapy-redis 环境配置 以及框架流程就不进行叙述了.网上也是一大堆的内容. 主要内容有: 1. 如何去写一个分布式爬虫 首先创建一个普通的爬虫,在保证此爬虫能正常运行的基础上进行修改,然后成为分布式爬虫.我的项目是在linux上…