27.Docker集群部署

对于scrapy的部署方式
 
1.Scrapyd 安装扩展组件，远程控制scrapy任务，包括部署源代码，启动任务，监听任务。scrapy-client 、scrapyd api 协助完成部署和监听操作。
 
2.Docker集群部署，将爬虫制作成Docker镜像，主机安装Docker，直接运行爬虫，无需考虑配置环境，版本问题。
 
简述Docker的作用：
 
Docker 是一种容器技术，可将应用和环境打包，形成一个独立的app形式的应用。此应用可以直接被分发到任意一个支持docker的环境中，通过简单的命令即可运行。
 
优点：使用docker可以让每个应用彼此隔离，在同一台机器上同时运行多个应用，不过它们彼此之间共享同一个操作系统。
     可以在更细的微粒上进行资源管理，也比虚拟化技术更节省资源。（大量部署爬虫系统，使用docker会大大提高效率）