Docker搭建Jenkins+Gogs+Maven/Gradle——代码自动化运维部署平台(三)
一、简介
1、CI/CD
CI/CD 是一种通过在应用开发阶段引入自动化来频繁向客户交付应用的方法。CI/CD 的核心概念是持续集成、持续交付和持续部署。作为一个面向开发和运营团队的解决方案,CI/CD 主要针对在集成新代码时所引发的问题(亦称:“集成地狱”)。
CI 持续集成(Continuous Integration)
现代应用开发的目标是让多位开发人员同时处理同一应用的不同功能。但是,如果企业安排在一天内将所有分支源代码合并在一起(称为“合并日”),最终可能造成工作繁琐、耗时,而且需要手动完成。这是因为当一位独立工作的开发人员对应用进行更改时,有可能会与其他开发人员同时进行的更改发生冲突。如果每个开发人员都自定义自己的本地集成开发环境(IDE),而不是让团队就一个基于云的 IDE 达成一致,那么就会让问题更加雪上加霜。
持续集成(CI)可以帮助开发人员更加频繁地(有时甚至每天)将代码更改合并到共享分支或“主干”中。一旦开发人员对应用所做的更改被合并,系统就会通过自动构建应用并运行不同级别的自动化测试(通常是单元测试和集成测试)来验证这些更改,确保这些更改没有对应用造成破坏。这意味着测试内容涵盖了从类和函数到构成整个应用的不同模块。如果自动化测试发现新代码和现有代码之间存在冲突,CI 可以更加轻松地快速修复这些错误。
CD 持续交付(Continuous Delivery)
完成 CI 中构建及单元测试和集成测试的自动化流程后,持续交付可自动将已验证的代码发布到存储库。为了实现高效的持续交付流程,务必要确保 CI 已内置于开发管道。持续交付的目标是拥有一个可随时部署到生产环境的代码库。
在持续交付中,每个阶段(从代码更改的合并,到生产就绪型构建版本的交付)都涉及测试自动化和代码发布自动化。在流程结束时,运维团队可以快速、轻松地将应用部署到生产环境中。
CD 持续部署(Continuous Deployment)
对于一个成熟的 CI/CD 管道来说,最后的阶段是持续部署。作为持续交付——自动将生产就绪型构建版本发布到代码存储库——的延伸,持续部署可以自动将应用发布到生产环境。由于在生产之前的管道阶段没有手动门控,因此持续部署在很大程度上都得依赖精心设计的测试自动化。
实际上,持续部署意味着开发人员对应用的更改在编写后的几分钟内就能生效(假设它通过了自动化测试)。这更加便于持续接收和整合用户反馈。总而言之,所有这些 CI/CD 的关联步骤都有助于降低应用的部署风险,因此更便于以小件的方式(而非一次性)发布对应用的更改。不过,由于还需要编写自动化测试以适应 CI/CD 管道中的各种测试和发布阶段,因此前期投资还是会很大。
2、自动化部署流程(jenkins+gogs+maven/gradle)
我们的初衷:
就是要实现只要开发提交代码到git远程仓库,jenkins就会自动检测到并且自动进行构建(合并、打包),构建完成之后将打好的包(war、jar包都可以)通过jenkins的插件传到tomcat的webapps目录下,然后重启tomcat,实现自动打包部署。
其工作流程是:
开发提交代码到gogs远程仓库——>使用jenkins触发构建任务,git插件从gogs仓库上拉取代码——>maven/gradle将代码编译打包——>jenkins将war包部署到tomcat/将jar包放到服务器
3、搭建前环境准备
1、搭建gogs代码仓库,192.168.1.20
2、搭建jenkins+maven/gradle,192.168.1.20
3、tomcat服务(jenkins将war包放到tomcat运行)
4、应用程序服务器:192.168.1.30
二、Jenkins构建maven项目
1、新建maven项目
打开新建的test项目,进行配置
2、配置maven项目的构建操作
保存构建历史,可以方便查看构建历史所用分支等信息:
配置git parameter插件,选择指定分支进行构建的功能。后面的git参数名称可以自定义:
配置jdk parameter插件,可以指定一组可作为构建参数选取的JDK:
源码管理, 配置git仓库地址等信息:
指定分支,跟git参数的自定义名称对应:
配置maven工具操作:
maven命令:mvn clean install -Dmaven.test.skip=true
clean 移除所有上一次构建生成的文件
install 将包安装至本地仓库,以让其它项目依赖
maven.test.skip 跳过测试
3、配置程序包发送到应用服务器
情况一:构建jar包通过配置SSH发送文件到服务器:(Publish over SSH插件 使用ssh免密登录到目标服务器)
系统管理——>系统配置——>publish over ssh——>SSH Server——>添加目标服务器信息——>测试是否正确
在Post Steps配置里添加选项 Send files or execute commands over SSH,并配置图示信息:
Source files #jenkins项目工作区中jar包路径 eg:mall-admin/target/mall-admin-1.0-SNAPSHOT.jar
Remove prefix #删除jar包路径的前缀 eg:mall-admin/target/
Remote directory #将jar包放到应用服务器的目录地址
Exec command #应用服务器执行命令。可以执行命令,可以执行脚本,也可以在应用服务器写好shell脚本执行。
完整的程序运行脚本,只需修改变量值就可以为你所用:
#自定义变量
DATE=$(date +%Y%m%d%T)
JAVADIR=/usr/local/jdk1.8.0_171
PROJECT=mall-admin
DIR=/server/jenkins
SOFTDIR=$DIR/soft
TEMPDIR=$DIR/temp
LOGSDIR=$DIR/logs
BACKUPDIR=$DIR/backup
JARFILE=$PROJECT-1.0-SNAPSHOT.jar
PID=$LOGSDIR/$PROJECT/$PROJECT.pid
LOGS=$LOGSDIR/$PROJECT/$PROJECT.log #创建应用服务器目录
mkdir -p $DIR/{logs,soft,backup}
if [ ! -d $LOGSDIR/$PROJECT ];then
mkdir -p $LOGSDIR/$PROJECT
fi #程序启动、停止、备份
cd $SOFTDIR
kill -9 `cat $PID`
mv $JARFILE $BACKUPDIR/$JARFILE.$DATE
mv $LOGS $LOGS.$DATE
mv -f $TEMPDIR/$JARFILE .
$JAVADIR/bin/java -jar -Dspring.profiles.active=test $JARFILE >$LOGS & echo $! > $PID
if [ $? = 0 ];then
sleep 30
tail -n 50 $LOGS
fi #清理多余日志
cd $LOGSDIR/$PROJECT
ls -lt|awk 'NR>5{print $NF}'|xargs rm -rf
情况二:构建war包放到tomcat中运行
#docker搭建tomcat
启动测试tomcat:
docker run -itd -p 8080:8080 --name=tomcat tomcat
拷贝配置文件到宿主机:
docker cp tomcat:/usr/local/tomcat /server/docker/
可以修改tomcat配置文件(server.xml): 自定义端口等
删除测试,启动正式tomcat:
docker rm -f tomcat
docker run --restart=always --name=tomcat -p 8080:8080 \
-v /server/docker/tomcat:/usr/local/tomcat \
-itd tomcat
在"构建后操作"添加Deploy war/ear to a container 选项,让war包放到tomcat的webapps目录下,程序就能运行起来了。
修改tomcat配置文件,允许jenkins访问:
vim /server/docker/tomcat/config/tomcat-users.xml #管理员密码为:tomcat/tomcat
<role rolename="admin-gui"/>
<role rolename="admin-script"/>
<role rolename="manager-gui"/>
<role rolename="manager-script"/>
<role rolename="manager-jmx"/>
<role rolename="manager-status"/>
<user username="tomcat" password="tomcat" roles="manager-gui,manager-script,manager-jmx,manager-status,admin-script,admin-gui"/>
vim /server/docker/tomcat/webapps/manager/META-INF/context.xml
如下图修改,将这段话注销,让所以ip都可以访问tomcat,修改完重启tomcat:docker restart tomcat
4、指定分支构建项目
配置完成后,指定代码分支构建项目
到应用服务器或者jenkins查看日志,是否构建成功,如果没有构建成功,可从日志里找问题并解决。
打开"控制台输出",就能看到构建项目输出的日志了。
三、Jenkins构建gradle项目
其实构建maven项目和gradle项目步骤是一样,只是有几点不同,有了构建maven项目的基础,接下来就简单多了。
1、新建一个自由风格项目
注意:接下来的配置跟构建maven项目一样,不同是的maven项目需要配置maven工具操作,gradle项目需要配置gradle工具操作
2、配置gradle工具打包编译操作
只有这两步跟maven不一样,其他都参考 “二、jenkins构建maven项目” 来配置,这里就不多说了~
四、Jenkins其他功能
1、用户权限管理,实现不同用户拥有不同的项目增删改查权限
持续更新中......
2、jenkins+docker 微服务部署到docker容器中
持续更新中......
3、jenkins+Sonarqube 构建前审查代码
持续更新中......
活着不为取悦任何人
Docker搭建Jenkins+Gogs+Maven/Gradle——代码自动化运维部署平台(三)的更多相关文章
- Docker搭建Jenkins+Maven/Gradle——代码自动化运维部署平台(二)
一.简介 1.Jenkins 概述: Jenkins是一个功能强大的应用程序,允许持续集成和持续交付项目,无论用的是什么平台.这是一个免费的源代码,可以处理任何类型的构建或持续集成.集成Jenkins ...
- Docker搭建Gogs代码仓库——代码自动化运维部署平台(一)
一.准备工作 1.Gogs 概念: Gogs 是一款极易搭建的自助 Git 服务. 目的: Gogs 的目标是打造一个最简单.最快速和最轻松的方式搭建自助 Git 服务.使用 Go 语言开发使得 Go ...
- 【Copy攻城狮日志】docker搭建jenkins拉取svn代码打包vue项目部署到nginx
↑开局一张图,故事全靠编↑ 前言 打开搜索引擎输入『Copy攻城狮』,发现最新的一条记录已经是去年的4月,意味着我又有一年时间没有再总结成长了.习惯了“温水煮青蛙”的日子,无论是经验水平还是薪资收入, ...
- Linux自动化运维部署+运维
自动化部署及配置(Cobbler/Kickstart) 红帽发布的网络安装服务器套件 Cobbler可以说是一大Linux装机利器,可以快速的建立网络安装环境,据说比Kickstart还要好用. 分布 ...
- Python自动化运维开发实战 三、python文件类型
导语: python常用的有3种文件类型 1. 源代码 py 2. 字节代码 pyc 3. 优化代码 pyo 源代码: python源代码的文件以”py"为扩展名,由python程序解释,不 ...
- Python自动化运维 - Django(三)CSRF - Cookie&Session
CSRF跨站请求伪造 CSRF跨站点请求伪造(Cross—Site Request Forgery),跟XSS攻击一样,存在巨大的危害性,你可以这样来理解:攻击者盗用了你的身份,以你的名义发送恶意请求 ...
- 轻量级自动化运维工具Fabric的安装与实践
一.背景环境 在运维工作中,经常会遇到重复性的劳动,这个时候为了效率就必须要使用自动化运维工具. 这里我给大家介绍轻量级自动化运维工具Fabric,Fabric是基于Python语言开发的,是开发同事 ...
- Telegraf+Influxdb+Grafana自动化运维监控
概述:Telegraf收集信息,influxdb时序数据库存储数据,grafana平台展示数据,并进行监控告警,组成一个自动化运维监控平台. 一.influxdb InfluxDB是一个由Infl ...
- 【目录】Python自动化运维
目录:Python自动化运维笔记 Python自动化运维 - day2 - 数据类型 Python自动化运维 - day3 - 函数part1 Python自动化运维 - day4 - 函数Part2 ...
随机推荐
- Linux_ACL文件访问控制列表
一.ACL文件访问控制列表 前言 1️⃣:ACL-文件访问控制列表: 2️⃣:ACL可以针对单个用户,单个文件或目录来进行r.w.x的权限设定,特别适用于需要特殊权限的使用情况. 3️⃣:ACL就是可 ...
- ELK学习实验019:ELK使用redis缓存
1 安装一个redis服务 [root@node4 ~]# yum -y install redis 直接启动 [root@node4 ~]# systemctl restart redis [roo ...
- Socket编程——(转载)
我们深谙信息交流的价值,那网络中进程之间如何通信,如我们每天打开浏览器浏览网页时,浏览器的进程怎么与web服务器通信的?当你用QQ聊天时,QQ进程怎么与服务器或你好友所在的QQ进程通信?这些都得靠so ...
- 按时按登录IP记录Linux所有用户操作日志的方法
背景:Linux用户操作记录一般通过命令history来查看历史记录,但是如果因为某人误操作了删除了重要的数据,这种情况下history命令就不会有什么作用了.以下方法可以实现通过记录登陆IP地址和所 ...
- 国外DIY网站
https://site.douban.com/109950/widget/notes/250072/note/248811721/
- MYSQL数据库快速添加测试数据方法
先添加两条数据,这里最好添加两条不一样的数据 INSERT INTO "表名"(**, **) VALUES (**,**),(**,**) 然后再次添加数据,这次把查询到的数据添 ...
- https 真的安全吗,可以抓包吗,如何防止抓包吗
Android_interview github 地址 大家好,我是程序员徐公,加上实习,有五年中大厂经验.自荐一下,可以关注我的微信公众号程序员徐公 公众号程序员徐公回复黑马,获取 Android ...
- 国内镜像源 sources
Ubuntu18.04源 cat > /etc/apt/sources.list <<eof # 默认注释了源码镜像以提高 apt update 速度,如有需要可自行取消注释 deb ...
- Docker学习(5) 在docker中部署静态网站
在容器中部署静态网站 设置容器的端口映射 在容器中部署静态网站 - Nginx部署流程 1 创建映射80端口的交互式容器 2 安装Nginx 3 安装文本编辑器vim 4 创建静态页面 5 修改N ...
- GO文件读写03---使用缓冲读写实现视频文件的拷贝
package main import ( "bufio" "fmt" "io" "os" ) /* ·使用缓冲读写实现 ...