一.简介 1.1.简介 pyspider 是一个使用python编写,并且拥有强大功能web界面的爬虫框架. 强大的web界面可进行脚本编辑,任务监控,项目管理,结果查看等功能. pyspider支持多种数据库进行数据存储.MySQL, MongoDB, Redis, SQLite, Elasticsearch...(保存数据,默认使用sqlit3) 并且支持多种消息队列.RabbitMQ, Beanstalk, Redis...(用于调度器进行各个组件的协调工作,数据传递等.) 通过装饰器,配…