欢迎访问我的GitHub

https://github.com/zq2599/blog_demos

内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;

关于GitLab CI

《体验SpringBoot(2.3)应用制作Docker镜像(官方方案)》一文中,咱们掌握了SpringBoot官方推荐的镜像构建方案,接下来要体验的是GitLab的CI能力,它负责把代码变成私有仓库中的镜像,咱们可以专心编码了;

GitLab CI的作用如下图,开发者提交代码到GitLab后,就会触发编译、构建、制作镜像、推送到仓库这些事情,然后K8S环境就能用上最新的镜像了:

本文内容

本文继续坚持实战的风格,和大家一起完成以下操作:

  1. 准备一个SpringBoot-2.3应用;
  2. 编写GitLab的pipeline脚本;
  3. 提交代码触发pipeline脚本的工作;
  4. K8S环境使用最新镜像;
  5. 体验GitLab如何将最新镜像自动部署到K8S环境;

环境信息

  1. GitLab:Community Edition 13.0.6
  2. GilLab Runner:13.1.0
  3. kubernetes:1.15.3
  4. SpringBoot:2.3.0.RELEASE
  5. JDK:1.8.0_121
  6. Maven:3.3.9
  7. Docker:19.03.8
  8. 操作系统:CentOS Linux release 7.8.2003

准备

实战前需要您准备好以下环境:

  1. GitLab,参考《群晖DS218+部署GitLab》
  2. 私有镜像仓库,参考《群晖DS218+部署Harbor(1.10.3)》
  3. GitLab Runner,参考《GitLab Runner部署(kubernetes环境)》
  4. Kubernetes,参考《kubespray2.11安装kubernetes1.15》

SpringBoot应用源码

本次实战用的是普通的SpringBoot工程,如果您不打算写代码,也可以从GitHub上下载本次实战的源码,地址和链接信息如下表所示:

名称 链接 备注
项目主页 https://github.com/zq2599/blog_demos 该项目在GitHub上的主页
git仓库地址(https) https://github.com/zq2599/blog_demos.git 该项目源码的仓库地址,https协议
git仓库地址(ssh) git@github.com:zq2599/blog_demos.git 该项目源码的仓库地址,ssh协议

这个git项目中有多个文件夹,本章的应用在dockerlayerdemo文件夹下,如下图所示:

实战操作

  1. 创建名为dockerlayerdemo的SpringBoot项目,SpringBoot版本号为2.3.0.RELEASE,pom.xml内容如下:
  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  3. xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
  4. <modelVersion>4.0.0</modelVersion>
  5. <parent>
  6. <groupId>org.springframework.boot</groupId>
  7. <artifactId>spring-boot-starter-parent</artifactId>
  8. <version>2.3.0.RELEASE</version>
  9. <relativePath/> <!-- lookup parent from repository -->
  10. </parent>
  11. <groupId>com.bolingcavalry</groupId>
  12. <artifactId>dockerlayerdemo</artifactId>
  13. <version>0.0.1-SNAPSHOT</version>
  14. <name>dockerlayerdemo</name>
  15. <description>Demo project for Spring Boot layer docker image</description>
  16. <properties>
  17. <java.version>1.8</java.version>
  18. </properties>
  19. <dependencies>
  20. <dependency>
  21. <groupId>org.springframework.boot</groupId>
  22. <artifactId>spring-boot-starter-web</artifactId>
  23. </dependency>
  24. <dependency>
  25. <groupId>org.springframework.boot</groupId>
  26. <artifactId>spring-boot-starter-test</artifactId>
  27. <scope>test</scope>
  28. <exclusions>
  29. <exclusion>
  30. <groupId>org.junit.vintage</groupId>
  31. <artifactId>junit-vintage-engine</artifactId>
  32. </exclusion>
  33. </exclusions>
  34. </dependency>
  35. </dependencies>
  36. <build>
  37. <plugins>
  38. <plugin>
  39. <groupId>org.springframework.boot</groupId>
  40. <artifactId>spring-boot-maven-plugin</artifactId>
  41. <version>2.3.0.RELEASE</version>
  42. <configuration>
  43. <layers>
  44. <enabled>true</enabled>
  45. </layers>
  46. </configuration>
  47. </plugin>
  48. </plugins>
  49. </build>
  50. </project>
  1. java代码并非重点,在application类中加了个http接口:
  1. package com.bolingcavalry.dockerlayerdemo;
  2. import org.springframework.boot.SpringApplication;
  3. import org.springframework.boot.autoconfigure.SpringBootApplication;
  4. import org.springframework.web.bind.annotation.RequestMapping;
  5. import org.springframework.web.bind.annotation.RestController;
  6. import java.util.Date;
  7. @SpringBootApplication
  8. @RestController
  9. public class DockerlayerdemoApplication {
  10. public static void main(String[] args) {
  11. SpringApplication.run(DockerlayerdemoApplication.class, args);
  12. }
  13. @RequestMapping(value = "/hello")
  14. public String hello(){
  15. return "hello " + new Date();
  16. }
  17. }
  1. pom.xml所在目录增加文件夹.m2,里面放入settings.xml,这是maven的配置文件,可以设置您的特殊的maven信息;
  2. pom.xml所在目录增加Dockerfile文件,用于制作镜像:
  1. # 指定基础镜像,这是分阶段构建的前期阶段
  2. FROM openjdk:8u212-jdk-stretch as builder
  3. # 执行工作目录
  4. WORKDIR application
  5. # 配置参数
  6. ARG JAR_FILE=target/*.jar
  7. # 将编译构建得到的jar文件复制到镜像空间中
  8. COPY ${JAR_FILE} application.jar
  9. # 通过工具spring-boot-jarmode-layertools从application.jar中提取拆分后的构建结果
  10. RUN java -Djarmode=layertools -jar application.jar extract
  11. # 正式构建镜像
  12. FROM openjdk:8u212-jdk-stretch
  13. WORKDIR application
  14. # 前一阶段从jar中提取除了多个文件,这里分别执行COPY命令复制到镜像空间中,每次COPY都是一个layer
  15. COPY --from=builder application/dependencies/ ./
  16. COPY --from=builder application/spring-boot-loader/ ./
  17. COPY --from=builder application/snapshot-dependencies/ ./
  18. COPY --from=builder application/application/ ./
  19. ENTRYPOINT ["java", "org.springframework.boot.loader.JarLauncher"]
  1. pom.xml所在目录增加.gitlab-ci.yml文件,这就是CI时的pipeline脚本:
  1. image: maven:3.6.3-jdk-8
  2. variables:
  3. MAVEN_CLI_OPTS: "-s .m2/settings.xml --batch-mode"
  4. MAVEN_OPTS: "-Dmaven.repo.local=.m2/repository"
  5. # 定义缓存
  6. # 如果gitlab runner是shell或者docker,此缓存功能没有问题
  7. # 如果是k8s环境,要确保已经设置了分布式文件服务作为缓存
  8. cache:
  9. key: dockerlayerdemo-ci-cache
  10. paths:
  11. - .m2/repository/
  12. - target/*.jar
  13. # 本次构建的阶段:build package
  14. stages:
  15. - package
  16. - build
  17. # 生产jar的job
  18. make_jar:
  19. image: maven:3.6.3-jdk-8
  20. stage: package
  21. tags:
  22. - k8s
  23. script:
  24. - echo "=============== 开始编译源码,在target目录生成jar文件 ==============="
  25. - mvn $MAVEN_CLI_OPTS clean compile package -Dmaven.test.skip=true
  26. - echo "target文件夹" `ls target/`
  27. # 生产镜像的job
  28. make_image:
  29. image: docker:latest
  30. stage: build
  31. tags:
  32. - k8s
  33. script:
  34. - echo "从缓存中恢复的target文件夹" `ls target/`
  35. - echo "=============== 登录Harbor ==============="
  36. - docker login 192.168.50.43:5888 -u admin -p Harbor12345
  37. - echo "=============== 打包Docker镜像 : " gitlabci-java-demo:$CI_COMMIT_SHORT_SHA "==============="
  38. - docker build -t 192.168.50.43:5888/common/gitlabci-java-demo:$CI_COMMIT_SHORT_SHA .
  39. - echo "=============== 推送到镜像仓库 ==============="
  40. - docker push 192.168.50.43:5888/common/gitlabci-java-demo:$CI_COMMIT_SHORT_SHA
  41. - echo "=============== 登出 ==============="
  42. - docker logout
  43. - echo "清理掉本次构建的jar文件"
  44. - rm -rf target/*.jar

关于以上pipeline脚本,有下面五点需要注意:

第一:关于cache,如果您的gitlab runner是shell或者docker类型就无需关注,cache是直接生效的,但如果您的gitlab runner是K8S那就要注意了,需要在gitlab runner中填写cache相关的配置,让分布式文件服务作为cache的底层实现;

第二:一共定义了两个stage:package和build,顺序是先package再build,注意生成jar的job一定要是package,使用jar构建镜像的job要是build,这样在构建镜像的时候才能顺利从缓存中取得jar;

第三:make_image这个job的脚本中,会执行登录私有镜像仓库的操作,为了操作方便,登录的账号密码都是直接写在脚本里面的,实际使用时请不要这样做,建议使用Harbor的机器人账号密码,并且写入GitLab CI的环境变量配置页面,而不是直接写在pipeline脚本中

第四:tags参数用来和已有的GitLab Runner匹配,请按照您自己的runner的情况设置;

第五:生成docker镜像的tag等于$CI_COMMIT_SHORT_SHA,这是本次提交的commit id,因此,每次提交都会导致镜像仓库中多一个镜像,其tag等于commit id;

  1. 最终整个工程的内容如下:



至此,所有开发工作已经完成,接下来验证执行情况;

验证CI

  1. 将所有内容提交到GitLab,如果CI环境配置OK的话会立即触发构建,下图是构建成功的效果:



2. 先来看make_jar的执行情况,如下图,SpringBoot工程成功构建出jar文件:



3. 再看make_image执行情况,如下图:



4. 镜像制作成功后,开始推送到harbor:



5. 最终完成推送,并且清理残留文件:



6. 最后看看pipeline的整体情况,如下图:



7. 从上图可知commit id是02307851,因此Harbor中应该有tag等于02307851的镜像,登录Harbor查看,如下图红框:

在K8S环境验证

接下来要在K8S环境验证之前的镜像可以正常运行:

  1. SSH登录K8S环境,执行以下命令,用最新的镜像创建deployment:
  1. kubectl create deployment dockerlayerdemo \
  2. --image=192.168.50.43:5888/common/gitlabci-java-demo:02307851
  1. 执行以下命令创建NodePort类型的service:
  1. kubectl create service nodeport \
  2. dockerlayerdemo --tcp 8080:8080
  1. 浏览器访问http://192.168.50.135:31685/hello ,其中192.168.50.135是K8S宿主机的IP地址,如下图,可以正常访问SpringBoot服务:

GitLab CI的价值

文章看到这里,咱们pipeline脚本也写了,镜像有了,K8S上部署的服务也验证了,这就结束了吗?

---还没有,咱们来感受一下从修改代码到K8S环境上生效的流程:

  1. 修改java代码,如下图:

  1. 提交代码:

  1. 顺利生成镜像:



4. 在K8S环境执行以下命令即可完成镜像更新:

  1. kubectl set image deployment dockerlayerdemo \
  2. gitlabci-java-demo=192.168.50.43:5888/common/gitlabci-java-demo:8735c78d
  1. 上述命令中的gitlabci-java-demo来自kubectl describe deployment dockerlayerdemo结果中,显示的容器名称,如下图红框:

  1. 系统提示更新成功:

  1. 再次用浏览器访问相同的地址,如下图红框,修改的代码已经生效:

可见借助GitLab CI,编码到部署之间的过程已被简化,可以更加专注的撸码了;

体验CD?

除了持续集成(CI),还可以把持续部署(CD)也加入到pipeline脚本中,这样我们只需提交代码,对应的镜像会被自动部署到K8S环境;

  1. 打开.gitlab-ci.yml,增加一个stage定义deploy,如下所示,现在一共有三个stage了:
  1. stages:
  2. - package
  3. - build
  4. - deploy
  1. 再在尾部增加一个job,如下所示,镜像名为ictu/sshpass:latest,该镜像内置了sshpass,可以ssh连接到K8S环境,执行kubectl set image XXX命令更新镜像,注意包裹kubectl set image命令的是双引号,这个很重要,只有用双引号时里面的$TAG才会被替换成对应的值:
  1. # 生产镜像的job
  2. deploy_k8s:
  3. # 禁用cache,避免上传、下载、压缩、解压缩带来的开销
  4. cache: {}
  5. image: ictu/sshpass:latest
  6. stage: deploy
  7. tags:
  8. - k8s
  9. script:
  10. - export TAG=$CI_COMMIT_SHORT_SHA
  11. - echo "TAG is "$TAG
  12. - sshpass -p 888888 ssh -o "StrictHostKeyChecking no" root@192.168.50.135 "kubectl set image deployment dockerlayerdemo gitlabci-java-demo=192.168.50.43:5888/common/gitlabci-java-demo:$TAG"
  1. 再次提醒,上面的脚本中,账号、IP和密码都应该放入GitLab的参数设置页面,而不该直接写入pipeline脚本中;
  2. 如下图,再次修改java文件,将hello返回结果改为abcdef:



5. 提交代码后,可以在CI页面观察新增job的执行过程;

6. 脚本完成后,打开浏览器试试,果然已经更新:

至此,CI和CD都验证通过,可见GitLab的CI能力给我们的日常开发带来了不少便利,也希望本文能给您带来一些参考;

你不孤单,欣宸原创一路相伴

  1. Java系列
  2. Spring系列
  3. Docker系列
  4. kubernetes系列
  5. 数据库+中间件系列
  6. DevOps系列

欢迎关注公众号:程序员欣宸

微信搜索「程序员欣宸」,我是欣宸,期待与您一同畅游Java世界...

https://github.com/zq2599/blog_demos

GitLab CI构建SpringBoot-2.3应用的更多相关文章

  1. 使用gitlab ci构建IOS包并发送通知消息到企业微信

    在之前的文章中,我们介绍了使用gitlab ci构建Android包的方法.今天我们介绍使用gitlab ci如何构建IOS包,并且在打包成功或者失败时,如何将消息通知到企业微信. 如果对gitlab ...

  2. 掌握使用gitlab ci构建Android包的正确方式

    最近公司在做移动端的项目,自然而然的需要搭建打包的环境.本来计划用Jenkins的,但是发现在gitlab上创建完项目后,提示去配置pipeline,于是决定用gitlab去尝试下,毕竟我觉得Jenk ...

  3. Docker Gitlab CI 部署 Spring Boot 项目

    目前在学习这一块的内容,但是可能每个人环境都不同,导致找不到一篇博客能够完全操作下来没有错误的,所以自己也写一下,记录一下整个搭建的过程. Docker 的安装这里就不赘述了,基本上几行命令都可以了, ...

  4. K8s 部署 Gitlab CI Runner

    K8s 版本:1.20.6 GitLab CI 最大的作用是管理各个项目的构建状态.因此,运行构建任务这种浪费资源的事情交给一个独立的 Gitlab Runner 来做就会好很多,而且 Gitlab ...

  5. 在 Kubernetes 上安装 Gitlab CI Runner Gitlab CI 基本概念以及 Runner 的安装

    简介 从 Gitlab 8.0 开始,Gitlab CI 就已经集成在 Gitlab 中,我们只要在项目中添加一个.gitlab-ci.yml文件,然后添加一个Runner,即可进行持续集成.在介绍 ...

  6. 3.在 Kubernetes 上安装 Gitlab CI Runner

    结合文章:1. 在 Kubernetes 上安装 Gitlab ,地址:https://www.cnblogs.com/sanduzxcvbnm/p/13852854.html 总结: 结合开头的文章 ...

  7. 使用Docker方式部署Gitlab,Gitlab-Runner并使用Gitlab提供的CI/CD功能自动化构建SpringBoot项目

    1.Docker安装Gitlab,地址:https://www.cnblogs.com/sanduzxcvbnm/p/13814730.html 2.Docker安装Gitlab-runner,地址: ...

  8. 基于GitLab CI搭建Golang自动构建环境

    基于GitLab CI搭建Golang自动构建环境 Golang发布遇到的问题 对于golang的发布,之前一直没有一套规范的发布流程,来看看之前发布流程: 方案一 开发者本地环境需要将环境变量文件改 ...

  9. spring-boot 2.5.4,nacos 作为配置、服务发现中心,Cloud Native Buildpacks 打包镜像,GitLab CI/CD

    spring-boot 2.5.4,nacos 作为配置.服务发现中心,Cloud Native Buildpacks 打包镜像,GitLab CI/CD 本文主要介绍 Java 通过 Cloud N ...

随机推荐

  1. NameServer 与zk

    1.nameServer 之间互不通信,故不存在强一致性,即不同的producer看到的视图可能时不一样的,(如何保证最终一致的?) 2.nameServer维护的boker信息 发生变化时,不会像z ...

  2. 装饰模式(Decorator Pattern)

    代理模式:动态地给一个对象添加一些额外的职责,它比生成子类方式更为灵活. 优点:在某些时候装饰模式比继承(inheritance)要更加灵活 装饰模式的组成 (1)抽象组件:定义一个抽象接口,来规范准 ...

  3. Docker 跨平台在 netCore 中的从入门到部署

    前言 从题目我们可以看的出,今天是五部曲的第三部,你可能会好奇,为啥没有见到前两部呢?这里我简单说下: 1.跨平台第一部曲:MySql 如果你看我的所有开源项目,应该能发现我已经全部迁移到了Mysql ...

  4. 第7.18节 案例详解:Python类中装饰器@staticmethod定义的静态方法

    第7.18节 案例详解:Python类中装饰器@staticmethod定义的静态方法 上节介绍了Python中类的静态方法,本节将结合案例详细说明相关内容. 一.    案例说明 本节定义了类Sta ...

  5. 转:Python2字符编码问题汇总

    这篇文章的部分问题在Python3以后不再存在,老猿只是觉得文章的部分内容还是有参考价值,因此在此原文转发连接: Python2字符编码问题汇总

  6. Error: Cannot find module '../lib/utils/unsupported.js'

    报错: nodejs : Error: Cannot find module '../lib/utils/unsupported.js' 解决办法(linux): 去node目录下:/node***/ ...

  7. CloudIDE插件开发实战:教你如何调试代码

    摘要:今天我们来重点介绍下CloudIDE插件的调试技巧,在插件开发过程中调试作为重要的问题分析和定位手段能够有效帮助开发者提升插件质量. 今天文章中的样例工程我们继续以上一篇<实战CloudI ...

  8. 深入分析 Java Lock 同步锁

    前言 Java 的锁实现,有 Synchronized 和 Lock.上一篇文章深入分析了 Synchronized 的实现原理:由Java 15废弃偏向锁,谈谈Java Synchronized 的 ...

  9. Java并发编程的艺术(十一)——Executor与线程池

    Executor框架简介 从JDK5开始,把工作单元和执行机制分离开来了,工作的单元包括Runnable和Callable,执行机制就是由Executor框架提供. Executor两级调度模型 Ho ...

  10. Navicat操作Oracle

    1.出现connection to server failed, probable Oracle Net admin error 更换oci.dll,Navicat有自己默认的oci.dll,更换成你 ...