centos7+docker 安装和部署crawlab分布式爬虫平台,并使用docker-compose管理docker
1.先决条件centos7+docker最新版本
sudo yum updat
2.配置一下镜像源,创建/etc/docker/daemon.conf文件,在其中输入如下内容
{
"registry-mirrors": ["https://registry.docker-cn.com"]
}
3.启动docker命令:
systemctl start docker
重启docker服务:
service docker restart
4.查看和下载Crawlab的镜像命令 :
docker search crawlab #(查找Crawlab镜像)
docker pull tikazyq/crawlab:latest #(下载Crawlab镜像)
5.创建docker组:
sudo groupadd docker (删除docker这个用户:userdel -r docker)
6.centos7查看所有用户:
cut -d : -f 1 /etc/group
7.将您的用户添加到该docker用户组,命令:
sudo usermod -aG docker 用户名
8.查看“docker”组下的所有用户,命令:
grep 'docker' /etc/group
9.Docker Compose安装
sudo curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
稍等片刻,有点慢!!!!
赋权:
sudo chmod +x /usr/local/bin/docker-compose
查看版本:
docker-compose --version
10.查找docker-compose.yml文件位置:
find / -name "docker-compose.yml*"
(会出现find: ‘/run/user/1000/gvfs’: 权限不够,执行:umount /run/user/1000/gvfs 和 rm -rf /run/user/1000/gvfs,再执行就不会出错了!!!
11.图中:
/var/lib/docker/overlay2/50df4de9bf340501cade27650953ad983948b10e13bbe931710ef090ab1a4602/diff/app/docker-compose.yml-----------是我的路径
cd 到app目录就可以了
vim docker-compose.yml #编辑
注意: 新版镜像的CRAWLAB_API_ADDRESS是这样的: CRAWLAB_API_ADDRESS: "http://192.168.157.128:8000"
12.启动 Crawlab
cd 进入到docker-compose.yml 所在文件目录下
才能运行:docker-compose up
集群启动容器,否则找不到文件
查看woker容器日志命令:docker-compose logs worker
正常会启动四个容器:master、woker、redis、mongo
第一次次启动会下载安装并配置节点和数据库(redis 和mongodb)
13.Crawlab
浏览器访问 :http://ip:8080 用户名密码是 admin/admin
第一次访问没问题,但是第二次启动会报各种错,博主正在研究中-----持续更新中!!!
centos7+docker 安装和部署crawlab分布式爬虫平台,并使用docker-compose管理docker的更多相关文章
- 在Centos7下安装与部署.net core
在Centos7下安装与部署.net core 2018年02月28日 19:36:16 阅读数:388 个人安装流程,参照文档 https://www.cnblogs.com/Burt/p/6566 ...
- ubuntu docker安装与部署java,mysql,nginx镜像
docker 安装与部署java,mysql,nginx docker 配置 安装docker $ sudo apt-get remove docker docker-engine docker.io ...
- docker安装mysql、es、jenkins等一些步骤以及如何设置docker国内镜像
CentOS7安装Docker步骤: (0)删除旧的可能安装过的包 yum remove docker \ docker-client \ ...
- docker swarm快速部署redis分布式集群
环境准备 四台虚拟机 192.168.2.38(管理节点) 192.168.2.81(工作节点) 192.168.2.100(工作节点) 192.168.2.102(工作节点) 时间同步 每台机器都执 ...
- Docker安装与部署
安装Docker: 查看你当前的内核版本: uname -r 更新yum包: sudo yum update 卸载旧版本(如果安装过旧版本的话): sudo yum remove docker doc ...
- docker安装tomcat&部署javaweb程序
一.docker定制简单的java-web应用镜像 网址: 1.jdk下载网址:https://www.oracle.com/technetwork/java/javase/downloads/jdk ...
- Docker安装及部署实例.Net Core
1.什么是Docker Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化.容器是完全使用沙箱 ...
- Docker 安装并部署Tomcat、Mysql8、Redis
1. 安装前检查 1 #ContOS 7安装Docker系统为64位,内核版本为3.10+ 2 lsb_release -a 3 4 uname -r 5 6 #更新yum源 7 yum -y up ...
- Harbor2.2.4在CentOS7.9安装、部署
CentOS7.9基础环境配置 https://www.cnblogs.com/uncleyong/p/15471002.html 直接从网盘获取配置好的环境 修改:vim /etc/hosts 12 ...
随机推荐
- Jenkins Pipeline 参数详解
Pipeline 是什么 Jenkins Pipeline 实际上是基于 Groovy 实现的 CI/CD 领域特定语言(DSL),主要分为两类,一类叫做 Declarative Pipeline,一 ...
- shell脚本注意点
1.等号两边不能有空格,例如: 获取七天前的日期: before_7_day=`date -d "7 days ago" +%Y-%m-%d` 2.自定义函数只能返回数值,不能返回 ...
- c#的IDisposable
尽量在using中使用非托管资源 1.实现Dispose方法 2.提取一个受保护的Dispose虚方法,在该方法中实现具体的释放资源的逻辑 3.添加析构函数 4.添加一个私有的bool类型的字段,作为 ...
- pytorch tutorial 1
这里用torch 做一个最简单的测试 目标就是我们用torch 建立一个一层的网络,然后拟合一组可以回归的数据 import torch from torch.autograd import Vari ...
- TortoiseSVN客户端更改新的URL和账号
一: 变更SVN地址 右键(TortoiseSVN) → Relocate → 输入你新的URL地址 二:变更账号 TortoiseSVN右键->Setting 进入“Setting”之后,也就 ...
- CSS加载会阻塞页面显示?
可能大家都知道,js执行会阻塞DOM树的解析和渲染,那么css加载会阻塞DOM树的解析和渲染吗?接下来,我们就一起来分析一下. 原理解析 那么为什么会出现上面的现象呢?我们从浏览器的渲染过程来解析下. ...
- request.setAttribute()的用法
分类专栏: Java request在当次的请求的url之间有效一次传参数,速度快,缺点是参数只能取一次 forward是转向,将现在的请求转交,他只能在同一个容器里使用同时保存客户的请求状态. ...
- C#通过字符串分割字符串Split
string[] strArr = str.Split(new[] {"****==="},StringSplitOptions.None); 更多内容关注公众号 洛水梅家
- webapi处理OPTIONS请求
报错1信息 Access to XMLHttpRequest at 'http://localhost:4445/api/v/getmsg' from origin 'http://localhost ...
- 小白开学Asp.Net Core 《八》
小白开学Asp.Net Core <八> — — .Net Core 数据保护组件 1.背景 我在搞(https://github.com/AjuPrince/Aju.Carefree)这 ...