基于GitLab CI搭建Golang自动构建环境
基于GitLab CI搭建Golang自动构建环境
Golang发布遇到的问题
对于golang的发布,之前一直没有一套规范的发布流程,来看看之前发布流程:
方案一
开发者本地环境需要将环境变量文件改为正式环境配置
编译成可执行文件
发送给运维
(运维)将文件覆盖为线上
(运维)重启进程
(可谓“又臭又长”)
方案二
开发者讲代码commit到gitlab上交给运维同学
(运维)pull代码
(运维)编译成可执行文件
(运维)覆盖线上文件
(运维)重启进程
这种对于运维属于重度依赖,而运维同学又需要去关心代码的编译,增加了运维同学的工作了。
以上两种方案都是之前项目中发生过的,对于发版来说可谓是一种“噩梦”,易出错,流程长,运维要是不在根本无法操作。
解决方案
为了解决上面提到的两种发布问题,目前我们做了如下的设计方案:
开发者提交代码到GitLab服务器
添加一个Tag触发构建(.gitlab-ci.yml+makefile)
将构建后的文件打包添加上版本号(1.0.0+)后推送到版本服务器
在Jenkins选择对应的版本号发布到指定Web Server上
发布时,开发只需要编写“.gitlab-ci.yml”以及makefile对项目进行构建,而运维只需要配置jenkins,将文件发布到Web Server上即可,完成了开发和运维的解耦。
什么是GitLab-CI
GitLab CI
是 GitLab Continuous Integration
(Gitlab 持续集成)的简称。从 GitLab
的 8.0 版本开始,GitLab
就全面集成了 Gitlab-CI
,并且对所有项目默认开启。只要在项目仓库的根目录添加 .gitlab-ci.yml
文件,并且配置了 Runner
(运行器),那么每此添加新的tag
都会触发 CI pipeline
。
一些概念
在介绍 GitLab CI 之前,我们先看看一些持续集成相关的概念。
Pipeline
一次 Pipeline 其实相当于一次构建任务,里面可以包含多个流程,如安装依赖、运行测试、编译、部署测试服务器、部署生产服务器等流程。 任何提交或者 Merge Request 的合并都可以触发 Pipeline,如下图所示:
+------------------+ +----------------+
| | trigger | |
| Commit / MR +---------->+ Pipeline |
| | | |
+------------------+ +----------------+
Stages
Stages 表示构建阶段,说白了就是上面提到的流程。 我们可以在一次 Pipeline 中定义多个 Stages,这些 Stages 会有以下特点:
所有 Stages 会按照顺序运行,即当一个 Stage 完成后,下一个 Stage 才会开始
只有当所有 Stages 完成后,该构建任务 (Pipeline) 才会成功
如果任何一个 Stage 失败,那么后面的 Stages 不会执行,该构建任务 (Pipeline) 失败
因此,Stages 和 Pipeline 的关系就是:
+--------------------------------------------------------+
| |
| Pipeline |
| |
| +-----------+ +------------+ +------------+ |
| | Stage |---->| Stage |----->| Stage | |
| +-----------+ +------------+ +------------+ |
| |
+--------------------------------------------------------+
Jobs
Jobs 表示构建工作,表示某个 Stage 里面执行的工作。 我们可以在 Stages 里面定义多个 Jobs,这些 Jobs 会有以下特点:
相同 Stage 中的 Jobs 会并行执行
相同 Stage 中的 Jobs 都执行成功时,该 Stage 才会成功
如果任何一个 Job 失败,那么该 Stage 失败,即该构建任务 (Pipeline) 失败
所以,Jobs 和 Stage 的关系图就是:
+------------------------------------------+
| |
| Stage |
| |
| +---------+ +---------+ +---------+ |
| | Job | | Job | | Job | |
| +---------+ +---------+ +---------+ |
| |
+------------------------------------------+
什么是MakeFile
Makefile文件的作用是告诉make工具需要如何去编译和链接程序,在需要编译工程时只需要一个make命令即可,避免了每次编译都要重新输入完整命令的麻烦,大大提高了效率,也减少了出错率。
基本介绍
我们平常很多时候都是直接在命令行输入go build进行编译的:
go build .
或者测试使用go run运行项目:
go run main.go
我看有很多大型开源项目都是如下方式 :
make build
# 或者
make install
我们打包运行这个过程,还有一个更加贴切的词语叫做构建项目。
案例
我们先创建一个新的工程,目录如下:
main.go
Makefile
make.go源码:
package main
import "fmt"
func main() {
fmt.Println("hi, pang pang.")
}
就多了一个Makefile文件,如果要使用Makefile去构建你项目,就需要在你的项目里面新建这个Makefile文件。
这里我贴一个简单的Makefile
文件的源码:
BINARY_NAME=hello
build:
go build -o $(BINARY_NAME) -v
./$(BINARY_NAME)
解释下上面各行的意思:
第一行,声明了一个变量
BINARY_NAME
他的值是hello
,方便后面使用第二行,声明一个
target
,其实你可以理解成一个对外的方法第三行,这就是这个
target
被调用时执行的脚本,这行就是build这个项目,编译后的二进制文件放在当前工程目录下,名字是变量BINARY_NAME
的值第四行,这一行就是直接执行当前目录下的二进制文件
构建
我们打开我们的终端,直接执行:
make build
将生成一个可执行文件hello
,这就是对Makefile的简单介绍,具体命令推荐 阮一锋的Makefile教程
部署流程
前面大致介绍了构建自动化构建的用到的一些概念和工具,那么我们就可以开始我们的部署了。
GitLab Runner
了解上面了基本的概念后,那由何人来执行这些任务呢?那就是 GitLab Runner(运行器)
安装
安装 GitLab Runner 太简单了,按照着 官方文档 的教程来就好拉! 下面是 Debian/Ubuntu/CentOS 的安装方法,其他系统去参考官方文档:
# For Debian/Ubuntu
$ curl -L https://packages.gitlab.com/install/repositories/runner/gitlab-ci-multi-runner/script.deb.sh | sudo bash
$ sudo apt-get install gitlab-ci-multi-runner
# For CentOS
$ curl -L https://packages.gitlab.com/install/repositories/runner/gitlab-ci-multi-runner/script.rpm.sh | sudo bash
$ sudo yum install gitlab-ci-multi-runner
注册 Runner
安装好 GitLab Runner 之后,我们只要启动 Runner 然后和 CI 绑定就可以了:
打开你 GitLab 中的项目页面,在项目设置中找到 runners
运行
sudo gitlab-ci-multi-runner register
输入 CI URL
输入 Token
输入 Runner 的名字
选择 Runner 的类型,简单起见还是选 Shell 吧
完成
当注册好 Runner 之后,可以用 sudo gitlab-ci-multi-runner list
命令来查看各个 Runner 的状态:
$ sudo gitlab-runner list
Listing configured runners ConfigFile=/etc/gitlab-runner/config.toml
my-runner Executor=shell Token=cd1cd7cf243afb47094677855aacd3 URL=http://mygitlab.com/ci
.gitlab-ci.yml编写
before_script:
- export GOPATH=$GOPATH:/usr/local/${CI_PROJECT_NAME}
- export # 引入环境变量
- cd /usr/local/${CI_PROJECT_NAME}/src/${CI_PROJECT_NAME}
- export VERSION=`echo ${CI_COMMIT_TAG} | awk -F"_" '{print $1}'`
# stages
stages:
- build
- deploy
# jobs
build-tags:
stage: build
script:
## 执行makefile文件
- make ENV="prod" VERSION=${VERSION}
- if [ ! -d "/data/code/project_name/tags/${VERSION}" ]; then
mkdir -p "/data/code/project_name/tags/${VERSION}/";
fi
- cd compiler/
- mv -f project_name.tar.gz /data/code/project_name/tags/${VERSION}/
only:
- tags
deploy-tags:
stage: deploy
script:
- cd /data/code/project_name/tags/
- svn add ${VERSION}
- svn commit -m "add ${CI_COMMIT_TAG}"
only:
- tags
Makefile编写
export VERSION=1.0.
export ENV=prod
export PROJECT=project_name
TOPDIR=$(shell pwd)
OBJ_DIR=$(OUTPUT)/$(PROJECT)
SOURCE_BINARY_DIR=$(TOPDIR)/bin
SOURCE_BINARY_FILE=$(SOURCE_BINARY_DIR)/$(PROJECT)
SOURCE_MAIN_FILE=main.go
BUILD_TIME=`date +%Y%m%d%H%M%S`
BUILD_FLAG=-ldflags "-X main.version=$(VERSION) -X main.buildTime=$(BUILD_TIME)"
OBJTAR=$(OBJ_DIR).tar.gz
all: build pack
@echo "\n\rALL DONE"
@echo "Program: " $(PROJECT)
@echo "Version: " $(VERSION)
@echo "Env: " $(ENV)
build:
@echo "start go build...."
@rm -rf $(SOURCE_BINARY_DIR)/*
@go build $(BUILD_FLAG) -o $(SOURCE_BINARY_FILE) $(SOURCE_MAIN_FILE)
pack:
@echo "\n\rpacking...."
@tar czvf $(OBJTAR) -C $(OBJ_DIR) .
执行
完成的部署流程(其实很简单),然后每次要构建只需要执行:
git commit -a -m "我准备打tag测试啦"
git push
## 打tag
git tag -a "1.0.0" -m"1.0.0"
git push origin 1.0.
那么在GitLab就会看到:
大功告成,以上!~
总结
其实发布流程有无数种,每一个团队都有合适自己的发布流程,如果项目小,团队小,也许手动发布就足够了,而对于项目有一定规模的团队,或许需要更加规范的发布流程来保障项目的稳定发版。
但是对于项目的发版,每个人都应该要有根据团队目前现状去选择和制定最合适的方案的能力,除此之外,上面提到的工具和语言也是不错的工具噢!~
原文地址
基于GitLab CI搭建Golang自动构建环境的更多相关文章
- [转] 基于Gitlab CI搭建持续集成环境
[From] https://blog.csdn.net/wGL3k77y9fR1k61T1aS/article/details/78798577 前言 本文是在12月12号迅雷@赵兵在前端早读课第三 ...
- c#搭建jenkins自动构建环境
这边我使用的是参数化构建过程,文笔比较差劲,就直接上干货了 1.定义构造参数 2.设置jenkins工作空间目录,在此定义了版本号和工作目录构建参数 3.配置svn 4.构建触发器,用于轮询查看svn ...
- 基于S7-PLCSIM Advanced搭建S7通信仿真环境
写在前面: 之前有专门讲过一期如何搭建西门子PLC的S7通信仿真环境,感兴趣的可以点击查看:戳↓ 1.基于TIA搭建西门子PLC仿真环境及通信方案-联合出品 2.手把手教你搭建西门子PLC仿真环境 那 ...
- k8s Gitlab CI/CD 之自动编译Docker镜像并推送到指定的Registry
环境介绍: 说明 节点 ip 系统 Gitlab Server git.ds.com 10.0.1.179 CentOS 7.5.1804 Gitlab Runner 10.0.1.178 Cen ...
- gitlab+jenkins+hook代码自动构建发布上线
Gitlab+Jenkins+Hook 1.gitlab和jenkins的安装见: http://www.cnblogs.com/cuishuai/p/7544663.html http://www. ...
- 基于Visual Studio Code搭建Golang开发调试环境【非转载】
由于对Docker+kubernetes的使用及持续关注,要理解这个平台的原理,势必需要对golang有一定的理解,基于此开始利用业余时间学习go,基础语法看完之后,搭建开发环境肯定是第一步,虽然能g ...
- 基于ubuntu 14搭建nginx+php+mysql环境
基于最新的Ubuntu 14.04(2014年9月)搭建nginx.php.mysql环境, 以下全部命令行操作: 1 由于需要大量的权限操作,方便起见临时提升权限,使用root账号 sudo su ...
- 快速搭建appium自动测试环境
首先申明本文是基本于Python与Android来快速搭建Appium自动化测试环境: 主要分为以下几个步骤: 前提条件: 1)安装与配置python环境,打开 Python官网,找到"Do ...
- jenkins结合gitlab实现提交代码自动构建
jenkins可以说是现在非常流行的一个继续集成工具,几乎所有的公司都在用,并且它也基本是devops的连接者,是一个比较核心的工具. 主要记录以下两个: 利用jenkins和gitlab的webho ...
随机推荐
- HTML布局排版1清除body的margin
观察可发现,一般的HTML页面分为上中下三部分,上边是导航一栏,中间是内容,下方是页面的下部分.注意html里body本身自带8px的上下左右外边距,如图,在qq浏览器和ie里可以看到body本身是8 ...
- 模仿系统C键功能菜单
1.可以拖拽C键 2.依赖zepto 3.点击弹出菜单 效果预览:
- vmware darwin mac 下载地址
- -
- Ubuntu开发环境配置
主要是: 源的更新 安装vim编辑器 远程登录xrdp相关配置 synergy symless键鼠共享配置 对新买的硬盘进行格式化和分区 vsftp环境搭建 gcc开发环境配置 qt5开发环境配置 m ...
- C++STL位标志、智能指针与异常处理
参考<21天学通C++>第25章节,对STL位标志进行介绍.就是当需要不是像char int long 等整个字节数的数据表示形式,而是使用二进制位表示的时候,通常使用这里讲到的位标志.从 ...
- [BJOI2019] 奥术神杖 [取log+AC自动机+dp]
题面 传送门 思路 首先,看到这个乘起来开根号的形式,应该能想到用取$\log$的方式做一个转化: $\sqrt[n]{\prod_i a_i}=\frac{1}{n}\sum_i \log_b a_ ...
- 说说Spring XML的头
部分内容截取自(http://blog.csdn.net/zhch152/article/details/8191377,http://iswift.iteye.com/blog/1657537) 在 ...
- PyTorch 常用代码段整理
基础配置 检查 PyTorch 版本 torch.__version__ # PyTorch version torch.version.cuda ...
- Quartz.Net—配置化
Schedule配置 线程数量 如果一个Schedule中有很多任务,这样默认的10个线程就不够用了. 有很多种方法配置线程的个数. 工厂构造函数 webfonfig quartzconfig 环境变 ...
- SpringBoot项目集成PageHelper使用
SpringBoot项目集成PageHelper使用 一.开始 地址:https://github.com/pagehelper/Mybatis-PageHelper 在spring boot ...