Docker 核心技术之Docker Compose
Docker Compose 简介
Docker Compose是什么？
Docker Compose是一个能一次性定义和管理多个Docker容器的工具。
详细地说：
- Compose中定义和启动的每一个容器都相当于一个服务(service)
- Compose中能定义和启动多个服务，且它们之间通常具有协同关系
管理方式：
- 使用YAML文件来配置我们应用程序的服务。
- 使用单个命令（docker-compose up），就可以创建并启动配置文件中配置的所有服务。
Docker Compose 工作原理
Docker Compose安装
Docker for Mac与Docker for Windows自带docker-compose
Linux下需要单独安装：
第一步：
sudo curl -L https://github.com/docker/compose/releases/download/1.21.2/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose
第二步：
sudo chmod +x /usr/local/bin/docker-compose
终端中使用 docker-compose --version 查看安装的版本
docker-compose --version
这里示例安装版本是1.21.2，很可能您看到这里时，已经出现更新的版本，因此建议换成最新版本。查看最新版本。
其他安装方法查看
https://docs.docker.com/compose/install/#install-compose
Docker Compose CLI
利用docker-compose --help 查看
docker-compose --help
或者查看官方文档
https://docs.docker.com/compose/reference/overview/
对比后会发现：Docker Compose CLI的很多命令的功能和Docker Client CLI是相似的。最主要的区别就是前者能一次性运行管理多个容器，后者只能一次管理一个。
了解 Docker Compose File
Docker Compose File 有多个版本，基本是向后兼容的，但也有极个别配置项高版本中没有。
https://docs.docker.com/compose/compose-file/
在docker-compose.yml一开始就需要利用version关键词标明当前file使用的版本
Docker Compose File TOP配置参数概览
Docker Compose File 顶级配置项：
- version：指定Docker Compose File版本号 (很重要)
- services：定义多个服务并配置启动参数
- volumes：声明或创建在多个服务中共同使用的数据卷对象
- networks：定义在多个服务中共同使用的网络对象
- configs：声明将在本服务中要使用的一些配置文件
- secrets：声明将在本服务中要使用的一些秘钥、密码文件
- x-***：自定义配置。主要用于复用相同的配置。
更多详细配置
https://docs.docker.com/compose/compose-file/#service-configuration-reference
Docker Compose File 参考示例
Docker Compose 案例一 小型web服务项目搭建
项目结构如下
不知道镜像的版本的话，可以去 git 上找，网址如下
https://github.com/docker-library/docs
步骤：
- 搭建一个flask的小型web项目
- 根据项目环境，利用Dockerfile构建镜像
- 撰写docker-compose.yaml配置文件，启动项目
创建项目的工作目录
mkdir workspace cd workspace mkdir case1-flask-web
撰写项目代码
vi flask-web-code/app.py
代码如下
# encoding=utf-8
import time
import redis
from flask import Flask
app = Flask(__name__)
# 此处host是docker-compose.yaml配置文件中 redis服务的名称
cache = redis.Redis(host='redis', port=6379)
def get_hit_count():
'''利用redis统计访问次数'''
retries = 5
# 由于当redis重启时，可能会有短暂时间无法访问redis
# 因此循环的作用就是在这个期间重试，默认重试5次
while True:
try:
# redis的incr方法，如果hits值存在则自动+1，否则新增该键，值为1
return cache.incr("hits")
except redis.execeptions.ConnectError as exec:
if retries == 0:
raise exec
retries -= 1
time.sleep(0.5)
@app.route("/")
def main():
count = get_hit_count()
return "欢迎访问！网站已经累计访问{}次\n".format(count)
if __name__ == "__main__":
app.run(host="0.0.0.0", debug=True)
app.py
配置需求文件
vi flask-web-code/requirements.txt
配置如下
redis flask
requirements.txt
编写docker file文件
vi Dockerfile
内容如下
# flask web app v1.0 # 搭建一个基于 flask 的 web项目，实现访问量统计 # 第一步：获取一个镜像 python3.6 FROM python:3.6-alpine LABEL Description="本镜像用于启动建议的基于flask的web程序" Author="Itcast" Version="1.0" # 第二部拷贝项目代码到镜像中 ADD COPY COPY ./flask-web-code /code # 第三部:安装项目的环境依赖 flask redis WORKDIR /code RUN pip install -r requirements.txt CMD ["python", "app.py"]
构建镜像 在 Dockerfile 同级目录下输入以下命令
docker build . -t my-flask-image
查看构建的镜像
docker images
撰写 docker compose 文件
在 case1-flask-web 目录下创建 docker-compose.yaml 内容如下
version: '3.6'
services:
web:
build: .
ports:
- "5000:5000"
container_name: flask_web
networks:
- web
redis:
image: redis
volumes:
- redis-data:/data
container_name: redis
networks:
- web
volumes:
redis-data:
driver: local
networks:
web:
driver: "bridge"
检测 docker compose 配置是否正确
docker-compose config
启动容器
docker-compose up -d
访问服务
curl 127.0.0.1:5000
停止容器
docker-compose down
Docker Compose 案例二 单机环境ELK系统搭建
ELK工作原理介绍 官方文档
https://www.elastic.co/guide/index.html
步骤：
配置单机版的docker-compose.yaml文件（ELK镜像地址）
https://www.docker.elastic.co/
下载镜像
docker pull docker.elastic.co/elasticsearch/elasticsearch:6.2.4 docker pull docker.elastic.co/kibana/kibana:6.2.4 docker pull docker.elastic.co/logstash/logstash:6.2.4
结构如下
官方的 elasticsearch 的compose 拷贝下来 ，保存到 docker-compose.yaml 中
version: '2.2'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata1:/usr/share/elasticsearch/data
ports:
- 9200:9200
networks:
- esnet
elasticsearch2:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch2
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- "discovery.zen.ping.unicast.hosts=elasticsearch"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata2:/usr/share/elasticsearch/data
networks:
- esnet
volumes:
esdata1:
driver: local
esdata2:
driver: local
networks:
esnet:
利用 docker-compose up启动环境
docker-compose up -d
查看 compose log 日志
docker-compose logs
可以看到报了一个错误 virtual 太低了
这点在官方文档上就有说明
配置好后，再次启动
docker-compose down docker-compose up -d
再次查看日志
docker-compose logs -f
正常
访问 elas 服务
curl 127.0.0.1:9200
加入 logstash 到compose
logstash:
image: docker.elastic.co/logstash/logstash:6.2.4
environment:
- "LS_JAVA_OPTS=-Xms256m -Xmx256m"
container_name: logstash
networks:
- esnet
完整内容如下
version: '2.2'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata1:/usr/share/elasticsearch/data
ports:
- 9200:9200
networks:
- esnet
elasticsearch2:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch2
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- "discovery.zen.ping.unicast.hosts=elasticsearch"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata2:/usr/share/elasticsearch/data
logstash:
image: docker.elastic.co/logstash/logstash:6.2.4
environment:
- "LS_JAVA_OPTS=-Xms256m -Xmx256m"
container_name: logstash
networks:
- esnet
volumes:
esdata1:
driver: local
esdata2:
driver: local
networks:
esnet:
启动多个容器
docker-compose up -d
加入 Kibana 到 compose 中
kibana:
image: docker.elastic.co/kibana/kibana:6.2.4
container_name: kibana
ports:
- "5601:5601"
networks:
- esnet
depends_on:
- elasticsearch
- elasticsearch2
完整内容如下
version: '2.2'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata1:/usr/share/elasticsearch/data
ports:
- 9200:9200
networks:
- esnet
elasticsearch2:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch2
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- "discovery.zen.ping.unicast.hosts=elasticsearch"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata2:/usr/share/elasticsearch/data
logstash:
image: docker.elastic.co/logstash/logstash:6.2.4
environment:
- "LS_JAVA_OPTS=-Xms256m -Xmx256m"
container_name: logstash
networks:
- esnet
depends_on:
- elasticsearch
- elasticsearch2
kibana:
image: docker.elastic.co/kibana/kibana:6.2.4
container_name: kibana
ports:
- "5601:5601"
networks:
- esnet
depends_on:
- elasticsearch
- elasticsearch2
volumes:
esdata1:
driver: local
esdata2:
driver: local
networks:
esnet:
启动 compose
docker-compose up -d
在浏览器中输入
http://192.168.1.112:5601
再次网compose 中添加一个logstash 服务这时
elastic有两个服务，logstash 也有两个服务，一个kibana服务，此时compose 文件内容如下所示
version: '2.2'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata1:/usr/share/elasticsearch/data
ports:
- 9200:9200
networks:
- esnet
elasticsearch2:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
container_name: elasticsearch2
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=true
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- "discovery.zen.ping.unicast.hosts=elasticsearch"
ulimits:
memlock:
soft: -1
hard: -1
volumes:
- esdata2:/usr/share/elasticsearch/data
logstash:
image: docker.elastic.co/logstash/logstash:6.2.4
environment:
- "LS_JAVA_OPTS=-Xms256m -Xmx256m"
container_name: logstash
networks:
- esnet
depends_on:
- elasticsearch
- elasticsearch2
logstash2:
image: docker.elastic.co/logstash/logstash:6.2.4
environment:
- "LS_JAVA_OPTS=-Xms256m -Xmx256m"
container_name: logstash2
networks:
- esnet
depends_on:
- elasticsearch
- elasticsearch2
kibana:
image: docker.elastic.co/kibana/kibana:6.2.4
container_name: kibana
ports:
- "5601:5601"
networks:
- esnet
depends_on:
- elasticsearch
- elasticsearch2
volumes:
esdata1:
driver: local
esdata2:
driver: local
networks:
esnet:
Docker Compose 多主机环境ELK系统搭建
Swarm 介绍
集群版Docker Compose工作原理
步骤
- 使用docker swarm配置多个docker node集群节点
- 配置集群版ELK的docker-compose.yaml文件
- 利用docker stack deploy部署集群版ELK环境
官方文档
https://docs.docker.com/engine/reference/commandline/swarm/
初始化 swarm
docker swarm init
这个保存下来
docker swarm join --token SWMTKN-1-3kulbpf51q5gmtl8hoa2bow2x9ea1pcx6ficg1w2tntrami4f7-cqgtgc5vf8b449sio740pqrh9 192.168.1.112:2377
只需在另一个服务器上执行上面的即可
查看 节点
docker node ls
swarm-elk.yaml
version: '3.6'
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=false
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
volumes:
- esdata1:/usr/share/elasticsearch/data
ports:
- 9200:9200
networks:
- esnet
deploy:
placement:
constraints:
- node.role == manager
elasticsearch2:
image: docker.elastic.co/elasticsearch/elasticsearch:6.2.4
environment:
- cluster.name=docker-cluster
- bootstrap.memory_lock=false
- "ES_JAVA_OPTS=-Xms512m -Xmx512m"
- "discovery.zen.ping.unicast.hosts=elasticsearch"
volumes:
- esdata2:/usr/share/elasticsearch/data
networks:
- esnet
deploy:
placement:
constraints:
- node.role == worker
logstash:
image: docker.elastic.co/logstash/logstash:6.2.4
environment:
- "LS_JAVA_OPTS=-Xms256m -Xmx256m"
networks:
- esnet
deploy:
replicas: 2
logstash2:
image: docker.elastic.co/logstash/logstash:6.2.4
environment:
- "LS_JAVA_OPTS=-Xms256m -Xmx256m"
networks:
- esnet
deploy:
replicas: 2
kibana:
image: docker.elastic.co/kibana/kibana:6.2.4
ports:
- "5601:5601"
networks:
- esnet
deploy:
placement:
constraints:
- node.role == manager
volumes:
esdata1:
driver: local
esdata2:
driver: local
networks:
esnet:
driver: "overlay"
docker stack deploy 启动
docker stack deploy -h
docker stack deploy -c swarm-elk.yaml elk
查看所有服务
docker service ls
查看一个服务的日志
docker service logs elk_elasticsearch -f
把所有启动的服务都删掉
docker stack rm elk
Docker 核心技术之Docker Compose的更多相关文章
- Docker(四)：Docker 三剑客之 Docker Compose
前两篇文章我们介绍了 Dockerfile 的使用Docker(二):Dockerfile 使用介绍,我们知道使用一个 Dockerfile 模板文件可以定义一个单独的应用容器,如果需要定义多个容器就 ...
- Docker 核心技术与实现原理
提到虚拟化技术,我们首先想到的一定是 Docker,经过四年的快速发展 Docker 已经成为了很多公司的标配,也不再是一个只能在开发阶段使用的玩具了.作为在生产环境中广泛应用的产品,Docker 有 ...
- Docker三剑客之Docker Compose
一.什么是Docker Compose Compose 项目是Docker官方的开源项目,负责实现Docker容器集群的快速编排,开源代码在https://github.com/docker/comp ...
- [Docker] Converting from Docker Compose to Kubernetes
kompose is a tool to help users who are familiar with docker-compose move to Kubernetes. kompose tak ...
- Docker核心技术
Docker核心技术 1.cgroup 即controller group,其重要概念是子系统,首先挂载子系统,然后才有control group.例如cpu子系统,挂载至系统之后,创建一个cgrou ...
- AspNetCore容器化(Docker)部署(三) —— Docker Compose容器编排
一.前言 上一篇部署了一个最基础的helloworld应用,创建了两个容器和一个network,还算应付得过来. 如果该应用继续引入mysql.redis.job等若干服务,到时候发布一次得工作量之大 ...
- 后端技术杂谈10：Docker 核心技术与实现原理
本系列文章将整理到我在GitHub上的<Java面试指南>仓库,更多精彩内容请到我的仓库里查看 https://github.com/h2pl/Java-Tutorial 喜欢的话麻烦点下 ...
- docker核心技术(2)
鸟瞰容器生态系统 一谈到容器,大家都会想到 Docker. Docker 现在几乎是容器的代名词.确实,是 Docker 将容器技术发扬光大.同时,大家也需要知道围绕 Docker 还有一个生态系统. ...
- Docker深入浅出系列 | Docker Compose多容器实战
目录 前期准备 Docker Compose是什么 为什么要用Docker Compose Docker Compose使用场景 Docker Compose安装 Compose Yaml文件结构 C ...
随机推荐
- 面向对象（__str__和__repr__方法）
#Author : Kelvin #Date : 2019/1/21 16:19 class App: def __init__(self,name): self.name=name # def __ ...
- 访问了一次百度网页，你都经历了什么？https及tcp协议揭秘
打开https://www.baidu.com/ 网页一个简单的动作,都经历了什么?你想探究内部的原理吗?那我们一起去探索吧 1.准备工作 安装好wireshark.Wireshark(前称Ether ...
- Mac使用Gradle上传jar到中央仓库（最完整的采坑记录）
前言 当我们封装完成我们自己做的工具之后,那我们肯定想要发给别人让别人来进行使用,上传到中央仓库是一种引入时最方便的选择. 网上有很多教程,但是大多都是maven和windows的环境. 今天就来记录 ...
- Chrome浏览器下自动填充的输入框背景
记录下从张鑫旭老师的微博中看到关于input输入框的属性 1.autocomplete="off" autocomplete 属性规定输入字段是否应该启用自动完成功能 自动完成允许 ...
- RDIFramework.NET V3.3 Web版新增日程管理功能模块
功能描述 在RDIFramework.NET V3.3 Web版本我们新增了日程管理.基于月.周.日的日历视图,把安排到每一天的具体时间点,让每一天的时间都充分利用:甚至您也可以把个人非工作事项也安排 ...
- 分享几个常见的CMD命令，可能会用的上
win7快捷命令.CMD命令secpol.msc(设置开机启动提示信息)services.msc(打开服务)dxdiag(检查DirectX信息)winver(检查Windows版本)regedit( ...
- 简述ADO.NET的连接层
前面曾提到过ADO.NET的连接层允许通过数据提供程序的连接.命令.数据读取器对象与数据库进行交互.当想连接数据库并且使用一个数据读取器对象来读取数据时．需要实现下面的几个步骤 * 创建.配置.打开连 ...
- 个人对【依赖倒置(DIP)】、【控制反转(IOC)】、【依赖注入(DI)】浅显理解
一.依赖倒置(Dependency Inversion Principle) 依赖倒置是面向对象设计领域的一种软件设计原则.(其他的设计原则还有:单一职责原则.开放封闭原则.里式替换原则.接口分离原则 ...
- bootstrap实现表格
基本实例样式 效果 代码 <!DOCTYPE html> <html lang="en"> <head> <meta charset=&q ...
- 两种方法实现asp.net方案的前后端数据交互（aspx文件、html+ashx+ajax）
一个HTML页面只能显示HTML代码信息,不能与数据库进行数据的交互.asp.net方案提供了网页与数据库交互的方法,这里举出两种:①aspx文件 ②ashx文件+ajax技术 一.创建数据库 这里以 ...