[转]Gitlab-CI持续集成之Runner配置和CI脚本
本文转自:https://www.cnblogs.com/jiukun/p/7481287.html
一、简介
1. 为实现持续集成,需为该项目准备以下两样东西:
1)软件集成脚本.(gitlab-ci.yml)
2)一台Runner服务器
当然,考虑到集成环境的配置,还需要docker镜像作为载体。
2. 基本流程如下:
1)安装Runner服务器,注册和项目对应的Runner Service(后续再说Shared Runner),编写集成脚本;
2) 每当push代码, 自动触发脚本,Gitlab将变动告知Gitlab-CI,CI连接Runner服务器,找到关联的Runner Service,Runner负责更新代码到本地,并执行集成脚本。
二、安装Runner
1. Centos7使用yum安装
1)添加yum源
a.官方源
1 curl –L https://package.gitlab.com/install/repositories/runner/gitlab-ci-multi-runner/script.rpm.sh | sudo bash
b.国内源
cat << EOF >> /etc/yum.repos.d/gitlab-ci-multirunner.repo [gitlab-ci-multi-runner] name=gitlab-ci-multi-runner baseurl=https://mirrors.tuna.tsinghua.edu.cn/gitlab-ci-multi-runner/yum/el7 repo_gpgcheck=0 gpgcheck=0 enabled=1 gpgkey=https://packages.gitlab.com/gpg.key EOF
sudo yum makecache
2)安装1.11.2版本
sudo yum install gitlab-ci-multi-runner-1.11.2-1
由于公司Gitlab版本目前是8.X,官方Gitlab最新是9.0,Runner最新版不支持9.0以下版本的Gitlab,因此只能安装该版本。视Gitlab服务器的版本而定。
3)Runner用户权限
Runner默认会在服务器上创建gitlab-runner用户, 所有的Runner Service则默认通过该用户执行集成脚本,因此该用户需要较高的权限。尤其是使用Docker镜像时,必须加入docker组。
sudo usermod -aG docker gitlab-runner
2.Ubuntu使用apt-get安装
1)添加apt源
curl -L https://packages.gitlab.com/install/repositories/runner/gitlab-ci-multi-runner/script.deb.sh | sudo bash
2)安装1.11.2版本
sudo yum install gitlab-ci-multi-runner-1.11.2-1
3)Runner用户权限(同上)
3.安装包安装
下载二进制文件或相应系统的安装包安装即可,gitlab-ci-multi-runner-1.11.2安装包。
三、注册Runner
1.进入自己的Project—>设置Runners
2.查看Specific Runners里面的url和token
3.在Runner服务器执行注册命令
gitlab-runner register --non-interactive \ --url http://gitlab.xxxxx.com/ci \ --registration-token GWGGXZNxbxabcdMaXZhj9 \ --name Crowd_Job_CI \ --tag-list 172.17.3.126 \ --run-untagged=true \ --executor shell \ --builds-dir /home/gitlab-runner \ --config "/etc/gitlab-runner/config.toml"
上述命令选项含义(*为必选项):
--url 项目CI地址*
-- registration-token 项目里刚才看到的token,互相关联的标志*
--name 该Special Runner服务名,便于后台管理(查看、删除、调用)*
--tag-list 该Special Runner标签,集成脚本中可以通过指定tag关联
--run-untagged 是否运行无标签的集成脚本,必须用等号
--excutor 规定集成脚本执行的环境,还可以是docker等*
-- builds-dir 默认该文件夹,可以自定义项目集成初始化的位置
--config 默认配置文件,存储注册信息,可以自定义不同的配置文件
刷新页面看到已经注册成功,可以使用了。
四、运行Runner
假设集成脚本已就绪,那么就需要运行Runner
1.使用Specific Runner
1)run-single
gitlab-ci-multi-runner run-single \ --url http://gitlab.sensenets.com/ci --token 37fe0fa59e3475e20e24b6e6afc7c3 --executor shell
当然这里也可以指定注册时的大部分参数,不过无论如何url、token(Runner的token,而非注册时项目的token)、executor这三个参数是必须的。
run-single命令很简单的把我们刚才注册的Runner运行起来了,如果这个Runner对应的项目有更新,这个运行的服务就会去执行脚本内容。
即便我们不运行run-single命令,默认会有一个已经运行状态的Runner Service,名称就是gitlab-runner,会自动执行所有注册过的Runner,但同时只能执行一个任务。
2)run 、install、start
上图说明了Runner的原理:
安装gitlab-ci-multi-runner服务器,相当于一个劳务公司的创办,它管理Runner工人,外包各种项目Project。
注册的目的是把项目和Runner连接起来,因为部分项目的Runner可能需要定制。Runner好比是一个工人,在劳务中心(gitlab-ci-multi-runner)登记合同,供职于我们的Project(但是当他比较闲的时候,也可以去其他公司兼职)。
但是对应的RunnerService相当于Runner工人的管理层,一个管理层可以管理一个甚至多个工人。劳务公司默认有一个公用的管理层,服务名就是上面所说的gitlab-runner,如果我们不指定管理层,那么劳务公司所有工人都被gitlab-runner管理运行。这个管理人员比较弱,一次只能管理一个项目,其他项目会等待。
run、run-sigle相当于一次性的外包项目,非常具有针对性。
install则是把一个或者几个runner包装好,然后start,就是一个有着管理服务的工人体系,随时待命。
当Project更新,触发Runner服务器上的Runner Service(某管理队伍),Runner Service根据自己的配置信息,和项目的需求(tag指定某个工人),派遣Runner工人去执行Project给予的任务(Job)。
配置信息相当于花名册,不注册仅仅写一个花名册是不行的,working_dir相当于办公地点。
下面安装两个服务并启动:
gitlab-runner install \ -n "jiukun_self_runner" \ -d "/home/jiukunz" \ -c "/etc/gitlab-runner/config_jiukun_test.toml" \ -u gitlab-runner
gitlab-runner install \ -n "jiukun_self2_runner" \ -d "/home/jiukunz" \ -c "/etc/gitlab-runner/config_jiukun_test.toml" \ -u gitlab-runner
1 gitlab-runner start -n jiukun_self_runner
2 gitlab-runner start -n jiukun_self2_runner
其中,-n为安装的服务名称,-d为工作路径,-c为配置文件,-u为执行用户(服务名称和执行用户必须指定,配置文件和工作路径可以使用默认路径)
其实,当我们执行上述安装命令时,gitlab-ci-multi-runner后台实际是将run命令写入/etc/systemd/system/jiukun_self_runner.service文件,使之成为一个单独的服务:
2.使用Shared Runner
使用share runner需要管理员权限,联系公司gitlab管理员,获取token。然后使用和Special Runner一样的方法注册成功。
进入任意项目的Runner页面,将看到以下内容:
这里我重复注册了两次,可以看到Runner无论是名字还是tag都可以重复,但是Runner的token却不相同,实际上区分不同的Runner工人只需要两样东西就是url和token。当然并不建议进行相同命名,不便于管理。
公司所有的项目默认都可以使用Shared Runner,而不需要重复配置。
1)好处:对于大多数Runner的配置其实是完全相同的(同样的executor,同样的配置文件和工作路径,同样的依赖环境),如果每个项目都去一个个注册不仅麻烦,而且不方便迁移,这时可以使用shared runner。
2)不足:如果一个项目的编译所需的exector等其他配置(配置文件有更多可选配置),并且和其他项目需要单独管理,这时最好使用Special Runner,并锁定该Runner为项目本身使用,单独管理。
五、管理Runner
1.注册的runner列表
gitlab-runner list \
--config "/etc/gitlab-runner/config_jiukun_test.toml"
2.查看runner连接状态
gitlab-runner verify \
--config "/etc/gitlab-runner/config_jiukun_test.toml"
3.取消注册(移除)
gitlab-runner unregistry \
--url http://gitlab.xxxxxx.com/ci \
--token 9c1bb50065661ba766023016f6ebf2
不能直接在project的web端进行remove操作,否则这里会执行失败
4管理gitlab-runner服务
gitlab-runner status \ -n jiukun_self_runner.service 不指定服务名,则默认为gitlab-runner服务 gitlab-runner stop \ -n jiukun_self_runner.service gitlab-runner restart \ -n jiukun_self_runner.service gitlab-runner uninstall \ -n jiukun_self_runner.service
执行uninstall会卸载该服务,与之对应的runner将无法通过该服务运行,请确保对应的CI任务已停止。
六、集成脚本
将集成脚本命名为.gitlab-ci.yml或者.gitlab-ci.yaml,放置在对应项目仓库分支的根目录下。
1. yaml语法
大小写敏感、使用缩进代表层级、不允许使用Tab缩进,只能使用空格,缩进并无统一限制,但同级关系内要保持对齐即可。#代表注释。
语言格式里存在减号和冒号这些特殊字符,因此要注意千万别写成中文的字符格式。
减号对应的是数组,冒号对应的是键值对(对象)。
2. 关键词
1)image
如果使用docker作为Runner的executor,并且没有设置默认的镜像,此处需要设置镜像;不使用可以省略
2)sevices
如果使用docker集群服务,可以直接调用服务;不使用可以省略
3)stages
定义各个阶段名称,如果省略,CI默认为三个阶段
每个job都必须定义其所属的阶段,如果不定义,默认均属于build阶段;同阶段任务并行对待,上一阶段所有任务执行成功,才会继续执行下一阶段;语句依次执行,如果某一语句执行失败,将返回错误码,并宣告CI失败。
如果定义stages,则job中的stage必须与之相对应。
4)before_script
定义在所有脚本运行之前执行的语句
5)after_script
定义在所有脚本运行之后执行的语句
6)variables
定义环境变量
7)cache
定义下个job会使用到的文件或内容
3. Jobs
.gitlab-ci.yml脚本内容的主体为一个个job,没有数量限制,每个Job名称可以相同也可以不同(最好不要相同),可以大小写;每个Job内部至少有一个关键词。常用关键词如下
1)stage
和脚本全局stages对应(如果全局未定义,可使用默认)
2)image、services、variables
同全局关键词
3)only
规定该脚本响应分支(项目其他分支不会触发该脚本;如果不定义,会检测所有分支;与之相反的关键词是except)
4)before_script、after_script
同全局关键词(注意,如果同时存在,会覆盖全局关键词对应列表内容)
5)script
脚本主体,使用方法和在shell内一样,将在对应executor内运行一个shell环境,执行脚本内容。每个Job的shell环境不同(Job结束,该环境自动关闭)。
6)tags
指定Runner的标签(通常一个项目有很多Runner,依靠tag区分)
7)artifacts
指定Job的产出文件路径,如果该关键词设定,可以直接在pipeline页面下载该文件
8)when
默认一个job只有在上一阶段所有job成功才会执行,通过when可以改,通常用来清理环境使用,以免失败后无法清理,有四种可选参数。
on_success(上一阶段所有Job成功才执行)
on_failure(上一阶段任意Job失败就执行)
always(总是执行)
manual(此阶段由UI界面交互执行)
备注:以上纯属原创,学习来源为gitlab-runner官方中文文档、gitlab-runner英文文档、gitlab-ci英文文档。如需转载请注明出处,后续继续完善。
[转]Gitlab-CI持续集成之Runner配置和CI脚本的更多相关文章
- Gitlab-CI持续集成之Runner配置和CI脚本
p.MsoNormal,li.MsoNormal,div.MsoNormal { margin: 0cm; margin-bottom: .0001pt; text-align: justify; f ...
- GitLab CI持续集成配置方案
目录 1. 持续集成介绍 1.1 概念 1.2 持续集成的好处 2. GitLab持续集成(CI) 2.1 简介 2.2 GitLab简单原理图 2.3 GitLab持续集成所需环境 2.4 需要了解 ...
- Ubuntu Docker 安装和配置 GitLab CI 持续集成
相关文章: Ubuntu Docker 简单安装 GitLab 劈荆斩棘:Gitlab 部署 CI 持续集成 目的:在 Ubuntu 服务器上,使用 Docker 安装和配置 GitLab Runne ...
- 【补充】Gitlab 部署 CI 持续集成
上一篇:<劈荆斩棘:Gitlab 部署 CI 持续集成> 上一篇所配置的.gitlab-ci.yml: stages: - build - test before_script: - ec ...
- Gitlab CI 持续集成的完整实践
Gitlab CI 持续集成的完整实践 本着公司团队初创,又在空档期想搞点事情,搭建了私有Gitlab的契机,顺便把持续集成搭建起,实现了对Python服务端代码的单元测试.静态代码分析和接口测试的持 ...
- Git Hooks、GitLab CI持续集成以及使用Jenkins实现自动化任务
Git Hooks.GitLab CI持续集成以及使用Jenkins实现自动化任务 前言 在一个共享项目(或者说多人协同开发的项目)的开发过程中,为有效确保团队成员编码风格的统一,确保部署方式的统一, ...
- 物联网架构成长之路(47)-利用GitLab实现CI持续集成
0.前言 前段时间,考虑到要练习部署一套CI/CD的系统.一开始考虑到Jenkins,随着这两天的了解,发现最新版的GitLab已经提供有CI/CD集成了.所以本次博客,干脆一步到位,直接用GitLa ...
- [原创]CI持续集成系统环境--Gitlab+Gerrit+Jenkins完整对接
近年来,由于开源项目.社区的活跃热度大增,进而引来持续集成(CI)系统的诞生,也越发的听到更多的人在说协同开发.敏捷开发.迭代开发.持续集成和单元测试这些拉风的术语.然而,大都是仅仅听到在说而已,国内 ...
- Jenkins+Gitlab搭建持续集成(CI)环境
利用Jenkins+Gitlab搭建持续集成(CI)环境 Permalink: 2013-09-08 22:04:00 by hyhx2008in intern tags: jenkins gitla ...
随机推荐
- 基于vue-cli配置移动端自适应
移动端自适应:手淘的 lib-flexible + rem 配置 flexible 安装 lib-flexible 在命令行中运行如下安装: 1 npm i lib-flexible --save 引 ...
- 03-es6语法 Promise 和 es8语法 async await 的了解和基本使用
//Promise // 1.说明 : Promise 是 es6 中提出的新语法 // 2.作用 : 用 '用户编写同步代码' 的方式 '处理异步' 的一种解决方案 // 3.以前 : 处理异步 , ...
- win10常用快捷键
记住Win10一些常用的快捷键,在使用电脑的过程中,可以快速的切换不同的功能窗口,减少鼠标的操作.大大提高工作效率.来看看下面这些常用的. Win键+Tab:激活任务视图 Win键+A:激活操作中心 ...
- FCC(ES6写法) Map the Debris
返回一个数组,其内容是把原数组中对应元素的平均海拔转换成其对应的轨道周期. 原数组中会包含格式化的对象内容,像这样 {name: 'name', avgAlt: avgAlt}. 思路: 直接使用公式 ...
- 实战深度学习OpenCV(一):canny边缘检测
利用canny边缘检测,我们可以很好地得到哦一个图像的轮廓,下面是基于C++的,这是我们通过这段代码得到的结果: #include "pch.h" #include <ios ...
- vue项目实践-添加express-mockjs进行数据模拟
mock-server 在新项目开始的时候,后端框架还没有,前端就有能够自己操作的模拟数据的服务是可以有的 express-mockjs 是楼教主结合 express+mock-lite 造的一个轮子 ...
- Java线程中的同步
1.对象与锁 每一个Object类及其子类的实例都拥有一个锁.其中,标量类型int,float等不是对象类型,但是标量类型可以通过其包装类来作为锁.单独的成员变量是不能被标明为同步的.锁只能用在使用了 ...
- [Swift]LeetCode310. 最小高度树 | Minimum Height Trees
For an undirected graph with tree characteristics, we can choose any node as the root. The result gr ...
- [Swift]LeetCode496. 下一个更大元素 I | Next Greater Element I
You are given two arrays (without duplicates) nums1 and nums2 where nums1’s elements are subset of n ...
- 面试官:说说一条查询sql的执行流程和底层原理?
一条查询SQL执行流程图如下 序章 自我介绍 我是一条sql,就是一条长长的字符串,不要问我长什么样,因为我比较傲娇. 额~~不是我不说啊,因为细说起来,我可以细分为DML(Update.Insert ...