gitlab-ci配置疑难备忘
最近在自搭的gitlab服务器上加上了ci,大部份操作都比较顺利,但是也碰到一些问题抓狂,记录如下。
1、关于一个project配多个runner:在gitlab-ci里是支持的,但是含义确有点反常,
我之前认为是每个runner都会独立运行所有job,这样一来可以在不同的os上添加runner,以达到多平台测试的目的。
然而gitlab-ci实则对多runner的处理是当成一个资源池,由空闲runner来挑选job,那么build和test两个job可能会在不同的runner上运行,导致依赖错误。
如果只是为了多平台测试目的,可以把每个job复制多份,每份给一个不同的tag(os名),然后各os上的runner也有相应的tag,那么在分配时就会各取所需。
但是这样仍然有问题:
一是复制出来的那么多job已经在那里了,每轮pipeline必须都执行完,但一旦有一个runner不在线(比如说临时挂了或取消了),对应os的job就没人执行,整个pipeline就无法完成。
二是没有办法手动挑选部份os测试,可能某次提交只改了linux平台上相关代码,但是也要把所有平台测试runner跑一遍,非常费事,现在在cm msg里可以用[ci skip]来跳过整轮pipeline,但却没有其它指令来选择(或只跳过)部份jobs。
这一系列问题在gitlab官网上已经很多人提了issue及相关建议,希望在之后版本能改进吧。
https://gitlab.com/gitlab-org/gitlab-ce/issues/18041
https://gitlab.com/gitlab-org/gitlab-ce/issues/24610
2、如何让runner在本机启动一个长进程(不关闭的),比如说deploy job,就在本机部署运行?
问题在于,runner每收到一个job,运行相应的命令,必须要等到该命令完成,以向上汇报运行结果,如果命令里启动了其它进程,也就必须等那些进程结束,一个长运行进程,自然就会卡住整个pipeline了。对于一些常用分离子进程的招数,如前面加nohup,后面加&,都不管用,其原因在于,runner监视自己启动的进程是用进程组的方式,即使脱离父子关系,组仍然存在:
图中java进程是在运行的测试程序,它和上面启动它的各级bash的pgid是一样的。(https://gitlab.com/gitlab-org/gitlab-ci-multi-runner/issues/2231)
解决这个问题的简单办法,就是让目标进程以service方式启动,这样就彻底脱离了runner的进程组。(当然还有其它方案,最后再说,先把最难的一路回顾完)
然而跟着这一思路走下去,继续遇到各种问题:
a、首先做一个service用来启动目标进程,这是最基本的一步了。在ubuntu上,把控制脚本放到/etc/init.d里,用update-rc.d来注册服务。
b、要启停service,必须有sudo权限,然而runner在后台运行并没有终端用来输密码,怎么办?原来/etc/sudoers里面还可以配置NOPASSWD选项,可以让sudo不输密码,长姿势了。
c、用service来运行进程,用户是root,实际上又以-u方式切换成gitlab-runner这个专用账号,然而它是没有桌面的,因为登录桌面用的是自己的开发人员账号,要运行的是一个java awt程序,没有桌面的话会报错运行不起来,怎么办?原来可以通过共享.Xauthority文件的方式,让其它账号连接自己的桌面,具体则是要在运行java awt之前先导出DISPLAY和XAUTHORITY两个环境变量:
又长姿势了。
--补充:也不用非要链接别人的Xauthority文件,可以让user1用xauth list显示有效的cookie,user2通过xauth add :0 . cookie将之添到自己的Xauthority文件中
3、程序运行起来了,但是依赖的一些外部文件(不在git仓库)怎么办?
这些外部文件,可能还会变化,不能每次都手动去拷,需要自动同步过来。
目前办法是利用坚果云,开发者在自己电脑上,把需要的依赖文件都放在坚果云同步文件夹里,这样每当有更新,就会自动上传到坚果云服务器。
在ci机器上装一个坚果云客户端当然是最简单,但是也可以用挂载一个davfs的方式来通过webdav协议从坚果云服务器拉数据,更便于命令行操作。
要注意的是有些webdav服务器可能返回头有问题导致davfs挂载失败,这时可在配置文件中加上
ignore_dav_header 1
解决之。
4、程序运行完,留下一堆生成的文件,有些不要清理(留给下一阶段用),有些要清理,如何处理?
5、关于gitlab-ci-multi-runer和gitlab-runner的运行用户问题
https://stackoverflow.com/questions/37187899/change-gitlab-ci-runner-user
gitlab-ci配置疑难备忘的更多相关文章
- (网页的缓存控制)HTML配置no-cache(备忘) “Cache-control”常见的取值
HTML配置no-cache(备忘) No-cache配置 html表头如下 <meta http-equiv="Content-Type" content="te ...
- ExtJs4常用配置方法备忘
viewport布局常用属性 new Ext.Viewport({ layout: "border", renderTo: Ext.getBody(), defaults: { b ...
- debian文本配置网络备忘:/etc/network/interfaces
我装了wheezy有gnome3,xfce4: 郁闷的是,不论在gnome还是xfce4中 我都无法图形登录或者切换用户到root: 而且我无法在普通用户下图形修改网络配置: 我也搜索不到启用root ...
- spring 部分配置内容备忘
1.spring定时器简单配置: <bean name="taskJob" class="com.netcloud.mail.util.TaskJob"& ...
- iis8.0配置 使用备忘 403.14 - Forbidden Web 服务器被配置为不列出此目录的内容
由于对iis的了解度不够,使用中总会碰到这样那样的问题,在这我先开个头,遇到问题再一一更新: 我用的是iis8; 1.发布到iis服务器下的网站你自己可以访问,局域网的其他机器不能? 答:是否开放了对 ...
- BitnamiRedmine配置邮件系统备忘
前几天安装的Redmine邮件系统存在问题,需要换一个,方法记录如下: 修改配置文件: cd ~/redmine/apps/redmine/htdocs/config vi configuration ...
- MyEclipse 2015 安装到配置一站式备忘
目录 h1 2121 h1 2121
- 手把手详解持续集成之GitLab CI/CD
一.环境准备 首先需要有一台 GitLab 服务器,然后需要有个项目:这里示例项目以 Spring Boot 项目为例,然后最好有一台专门用来 Build 的机器,实际生产中如果 Build 任务不频 ...
- [转] 基于Gitlab CI搭建持续集成环境
[From] https://blog.csdn.net/wGL3k77y9fR1k61T1aS/article/details/78798577 前言 本文是在12月12号迅雷@赵兵在前端早读课第三 ...
随机推荐
- SPOJ1812 Longest Common Substring II
题意 A string is finite sequence of characters over a non-empty finite set Σ. In this problem, Σ is th ...
- centos6.5 安装sftp
1.创建sftp组 : groupadd sftp 2.创建一个sftp用户,用户名为andy : useradd -g sftp -s /bin/false andy 3.修改密码: pas ...
- 如何注册java程序为windows服务
如何注册java 程序为windows 服务 最近想找个软件来控制电脑的关机时间,在网上找了几个,都是可视化界面的可以设置具体的关机时间的软件.由于我想编写的关机程序是运行在别人机器上,只能让该机器在 ...
- Voting and Shuffling to Optimize Atomic Operations
2iSome years ago I started work on my first CUDA implementation of the Multiparticle Collision Dynam ...
- Array数组(PHP学习)
什么是数组? 答:就是一组数. 数组的创建: <?php $Arr = array('姓名'=>'张三','身高'=>'174','家乡'=>'上海'); print_r($A ...
- HPPTS SSL
https加密.解密.及验证过程如下图: HTTPS怎么实现安全传输的? 建立安全传输 HTTPS中, 客户端首先打开一条到WEB服务器443端口的连接. 一旦建立了TCP连接 ,客户端和服务器就会初 ...
- log4net 使用总结- (1)在ASP.NET MVC 中使用
1. 去官网下载log4net.dll,增加引用到站点下(你也可以通过nuget 安装) http://logging.apache.org/log4net/download_log4net.cgi ...
- mybatis~动态SQL(1)
动态SQL MyBatis还有一个方便的功能就是动态SQL,可以根据条件智能生成SQL语句.这里的例子全部来自MyBatis文档. if标签 下面这个例子使用了MyBatis的if元素,在标题不为空的 ...
- DVWA平台v1.8-SQL注入(low级别)
代码 <?php if(isset($_GET['Submit'])){ // Retrieve data $id = $_GET['id']; $getid = "SELECT fi ...
- 内网渗透神器xerosploit
项目地址:https://github.com/LionSec/xerosploit 安装完成后直接在终端输入xerosploit打开 显示了本机的内网ip,mac地址,网关,网卡,输入help查看帮 ...