基于Jenkins,docker实现自动化部署(持续交互)
前言
随着业务的增长,需求也开始增多,每个需求的大小,开发周期,发布时间都不一致。基于微服务的系统架构,功能的叠加,对应的服务的数量也在增加,大小功能的快速迭代,更加要求部署的快速化,智能化。因此,传统的人工部署已经心有余而力不足。
持续集成,持续部署,持续交互对于微服务开发来说,是提高团队整体效率不可或缺的一环。合理的使用CI,CD能够极大的提高了生产效率,也提高了产品的交互质量。本文不对三个概念做过多的介绍,有兴趣可以读读这篇文章:The Product Managers’ Guide to Continuous Delivery and DevOps 我想会有一定的收获。
本文主要介绍下基于Jenkins+docker 实现自动化部署
希望阅读此文对maven,docker的使用有一定的了解
Jenkins + Docker
下图是构想的网络结构图
- 开发人员在gitLab上打了一个tag
- gitLab把tag事件推送到Jenkins
- Jenkins 获取tag源码,编译,打包,构建镜像
- Jenkins push 镜像到阿里云仓库
- Jenkins 执行远程脚本
5-1. 远程服务器 pull 指定镜像
5-2. 停止老版本容器,启动新版本容器 - 通知测试人员部署结果
基于maven构建镜像,上传阿里云docker仓库
maven 构建镜像配置
pom.xml 文件添加docker插件
<plugin>
<groupId>com.spotify</groupId>
<artifactId>docker-maven-plugin</artifactId>
<version>0.4.11</version>
<configuration>
<imageName>${docker.image.prefix}/${project.artifactId}</imageName>
<imageTags>
<imageTag>${project.version}</imageTag>
<imageTag>latest</imageTag>
</imageTags>
<dockerDirectory>src/main/docker</dockerDirectory>
<resources>
<resource>
<targetPath>/</targetPath>
<directory>${project.build.directory}</directory>
<include>${project.build.finalName}.jar</include>
</resource>
</resources>
</configuration>
</plugin>
- ${docker.image.prefix} 是镜像的前缀
- ${project.artifactId} 是镜像名字
- ${project.version} 版本号,此处也用来当做镜像的版本号
docker-maven-plugin 使用可以自行百度。
src/main/docker 目录下新增文件 Dockerfile,内容如下:
FROM frolvlad/alpine-oraclejdk8:slim
VOLUME /tmp
ADD demo-service-ver-0.0.1.jar app.jar
RUN sh -c 'touch /app.jar'
ENV JAVA_OPTS=""
ENTRYPOINT [ "sh", "-c", "java $JAVA_OPTS -Djava.security.egd=file:/dev/./urandom -jar /app.jar" ]
以上的配置可以把一个服务打包成镜像,只需要执行
$ sudo mvn package docker:build
阿里云docker仓库使用
注册或者启用阿里云docker仓库就不赘述。下面简单介绍上传拉取docker镜像
登录
$ sudo docker login --username=用户名 --password=密码 registry-internal.cn-hangzhou.aliyuncs.com
push 之前生成的镜像
$ sudo docker tag [ImageId] registry.cn-hangzhou.aliyuncs.com/xxx/demo-service:[镜像版本号]
$ sudo docker push registry.cn-hangzhou.aliyuncs.com/xxx/demo-service:[镜像版本号]
xxx : 是你镜像仓库的namespace
一堆push后,你就可以在阿里云的Docker镜像仓库里面看到你对应的镜像了。下图是我们公司的部分镜像列表
- 镜像列表
pull 镜像
登录操作同上
$ sudo docker pull registry.cn-hangzhou.aliyuncs.com/xxx/demo-service:[镜像版本号]
jenkins 部署配置
构建Jenkins镜像
FROM jenkins
USER root
RUN apt-get update && apt-get install -y sudo && rm -rf /var/lib/apt/lists/*
RUN echo "jenkins ALL=NOPASSWD: ALL" >> /etc/sudoers
USER jenkins
一开始使用官方的镜像直接启用,一些插件和配置多少都有点问题,比如不能使用sudo,等等。因此基于官方镜像构建一个更符合我们需要的镜像。
构建命令:
$ sudo docker build -t buxiaoxia/jenkins:1.0
启动Jenkins容器
sudo docker run --memory 1.5G --name buxiaoxia-jenkins \
-p 18181:8080 -p 50000:50000 -u root -d \
--env JAVA_OPTS="-Xms256m -Xmx512m -XX:MaxNewSize=256m" \
-v /var/run/docker.sock:/var/run/docker.sock \
-v /usr/bin/docker:/usr/bin/docker \
-v /home/buxiaoxia/software/jenkins:/var/jenkins_home \
-v /usr/lib64/libltdl.so.7:/usr/lib/x86_64-linux-gnu/libltdl.so.7 \
buxiaoxia/jenkins:1.0
简单解释下:
-v /var/run/docker.sock:/var/run/docker.sock 与 -v /usr/bin/docker:/usr/bin/docker是把宿主机docker 映射到容器内。
-v /home/buxiaoxia/software/jenkins:/var/jenkins_home 指定Jenkins的宿主机存储路径
-v /usr/lib64/libltdl.so.7:/usr/lib/x86_64-linux-gnu/libltdl.so.7 在centos7 系统下会出现个别的包丢失,对应的引下宿主机的包就可以。
docker在容器内构建的时候,如果出现权限不够什么的。可以在宿主机中使用以下两种方式:
$ sudo chmod 777 /var/run/docker.sock
或者
$ usermod -a -G docker jenkin
jenkins 启动后,访问对应的Jenkins页面,初始化只要一步步跟着走就可以了。
Jenkins配置
插件下载
所需要的插件:
- Maven Integration plugin
- docker-build-step
- Docker plugin
- Gitlab Hook Plugin
- GitLab Plugin
因为使用的是gitlab,对应的插件也是必须的。下载完插件后,maven等相关插件配置好(此处省略...)
maven 镜像地址配置
可以直接在宿主机修改,路径在:/home/buxiaoxia/software/jenkins/tools/hudson.tasks.Maven_MavenInstallation/maven3-1/conf 下的settings.xml
setting.xml 镜像改成阿里云的就OK,飞起。。。
新建一个maven job
源码配置
构建
构建后执行特定脚本
脚本内容如下:
echo '================开始推送镜像================'
sudo docker login --username=用户名 --password=密码 registry-internal.cn-hangzhou.aliyuncs.com
sudo docker push registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service
echo '================结束推送镜像================'
echo '================开始远程启动================'
ssh buxiaoxia@192.168.100.2 -tt << remotessh ###首先要ssh上去注意这里的<< remotessh,需要做公钥密钥
####从这里开始都是在远程机器上执行命令
cd /home/buxiaoxia/xiaw
./jenkins.sh registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service
sudo docker login --username=用户名 --password=密码 registry-internal.cn-hangzhou.aliyuncs.com
sudo docker pull registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service
sudo docker run -d -m 300m --name=demo-service-`date +%Y-%m-%d` --restart=always registry-internal.cn-hangzhou.aliyuncs.com/xxx/demo-service
echo "finished!"
#####执行完毕
exit ###退出远程机器
remotessh ###结尾哦
echo '================结束远程启动================'
jenkins.sh 脚本内容:
#!/bin/sh
sudo docker stop $(sudo docker ps | grep $1|awk '{print $1}'|sed 's/%//g')
以上就完成了一个简单的自动化构建
gitlab配置webhook
Jenkins安装完对应的gitlab插件,配置中的构建触发选择如下
复制红框中的url
再在gitlab的对应项目中webhooks页面中的url填入前面复制的url
保存即可,右下角可以点击测试哦。
配置完成后,每次该项目有个tag push event ,都会触发Jenkins的自动构建。接着,Jenkins就执行 拉取源码 -> 编译 -> 构建镜像 -> 推送镜像 -> 执行远程启动脚本完成部署。
总结
一步步的配置,基本就跑通了我们基于Jenkins,docker实现自动化部署的初始版本。开发人员完成功能开发后,需要交互一个测试版本,只需要推送一个tag到git仓库,就能够将代码自动部署到特定的服务器上。可喜可贺~ 可以省去一堆的从一个服务器跑到另一个服务器,然后执行各种命令的琐碎操作。。。
关于配置
目前我是使用了consul的配置共享,把不同环境的配置放在了consul上,镜像中没有保留可变的配置,而是根据启动的参数就可以自由切换环境配置。
当然,consul的配置共享可以看看我git上关于consul的项目:http://git.oschina.net/buxiaoxia/spring-demo
存在问题
- docker未使用编排,较为独立,需要知道特定的服务器网络位置
- docker镜像的push与pull,都需要明文执行阿里云账号密码,可进一步改进
- 未构建版本回退流程
- shell脚本健壮性不够,异常未处理
优化
可以针对以上问题做相应的优化,完善初始化版本的CD流程。例如,docker 使用swarm,让swarm管理docker 容器等等。
PS:本文只是提供了一个自认为较为简单的一种方式吧,有什么建议的可以留言提供给我,谢了各位~
基于Jenkins,docker实现自动化部署(持续交互)的更多相关文章
- Jenkins+Docker+Git 自动化部署
Jenkins+Docker+Git 自动化部署图文教程 https://blog.csdn.net/qq_38252039/article/details/89791247 前言: 通过几天的学习和 ...
- 基于Jenkins+Gitlab的自动化部署实战
故事背景 一个中小型企业,是典型的互联网公司,当初期的时候可能运维只能标配到2~3人,此时随着公司的发展,项目会逐渐增多.前期部署项目可能都是手动的, 俗称“人肉部署”,这简直是无比的痛苦,不能忍受的 ...
- 基于Jenkins,docker实现自动化部署(持续交互)【转】
前言 随着业务的增长,需求也开始增多,每个需求的大小,开发周期,发布时间都不一致.基于微服务的系统架构,功能的叠加,对应的服务的数量也在增加,大小功能的快速迭代,更加要求部署的快速化,智能化.因此 ...
- Devops 开发运维高级篇之Jenkins+Docker+SpringCloud微服务持续集成——部署方案优化
Devops 开发运维高级篇之Jenkins+Docker+SpringCloud微服务持续集成--部署方案优化 之前我们做的方案部署都是只能选择一个微服务部署并只有一台生产服务器,每个微服务只有一个 ...
- 基于 Jenkins+Docker+Git 的CI流程初探
在如今的互联网时代,随着软件开发复杂度的不断提高,软件开发和发布管理也越来越重要.目前已经形成一套标准的流程,最重要的组成部分就是持续集成(Continuous Integration,CI)及持续部 ...
- Jenkins+Gitlab+Ansible自动化部署(六)
Pipeline Job实现Nginix+MySQL+PHP+Wordpress实现自动化部署交付(Jenkins+Gitlab+Ansible自动化部署(五)https://www.cnblogs. ...
- Jenkins+Gitlab+Ansible自动化部署(三)
接Jenkins+Gitlab+Ansible自动化部署(一)https://www.cnblogs.com/zd520pyx1314/p/10210727.html 和(二)https://www. ...
- Devops 开发运维高级篇之Jenkins+Docker+SpringCloud微服务持续集成(上)
Devops 开发运维高级篇之Jenkins+Docker+SpringCloud微服务持续集成(上) Jenkins+Docker+SpringCloud持续集成流程说明 大致流程说明: 1) 开发 ...
- Jenkins+Gitlab+Ansible自动化部署(五)
Freestyle Job实现静态网站部署交付(接Jenkins+Gitlab+Ansible自动化部署(四)https://www.cnblogs.com/zd520pyx1314/p/102445 ...
随机推荐
- [转帖]Windows 10新预览版上线:可直接运行任意安卓APP了
Windows 10新预览版上线:可直接运行任意安卓APP了 http://www.pcbeta.com/viewnews-80316-1.html 今晨(3月13日),微软面向Fast Ring(快 ...
- oracle建表流程
--创建表空间test1 create tablespace test1 datafile 'd:\test1.dbf' size 100m autoextend on next 10m --创建用户 ...
- vue图表
https://www.cnblogs.com/powertoolsteam/p/top-9-javascript-charting-libraries.html
- 关于golang.org/x包问题
关于golang.org/x包问题 由于谷歌被墙,跟谷歌相关的模块无法通过go get来下载,解决方法: git clone https://github.com/golang/net.git $GO ...
- 浅谈WPF的VisualBrush
首先看看VisualBrush的解释,msdn上面的解释是使用 Visual 绘制区域,那么我们再来看看什么是Visual呢?官方的解释是:获取或设置画笔的内容,Visual 是直接继承自Depend ...
- Delphi中带缓存的数据更新技术
一. 概念 在网络环境下,数据库应用程序是c/s或者是多层结构的模式.在这种环境下,数据库应用程序的开发应当尽可能考虑减少网络数据传输量,并且尽量提高并发度.基于这个目的,带缓存的数据更新技术应运而生 ...
- SQL Server与SQL Server Express的区别
SQL Server Express 2005(以下简称 SQLExpress) 是由微软公司开发的 SQL Server 2005(以下简称 SQL2005)的缩减版,这个版本是免费的,它继承了 S ...
- solrcloud编辑zookeeper上的配置文件的方法
solrcloud的配置文件是上传在zookeeper文件系统上的.这样就面临一个问题,每次需要修改配置文件,就没有只有之前本地单机solr那么简单,需要上传. 搭建solrcloud时候提交配置文件 ...
- Windows & RabbitMQ:安装
可以参考:在 Windows 上安装Rabbit MQ 指南 本文RabbitMQ版本为3.6.1 Step 1:安装Erlang Step 2:安装RabbitMQ Step 3:启用Managem ...
- Angular 2 to Angular 4 with Angular Material UI Components
Download Source - 955.2 KB Content Part 1: Angular2 Setup in Visual Studio 2017, Basic CRUD applicat ...