Jenkins  slave

添加jenkins slave节点：
jenkins slave节点创建工作目录与基本环境配置，如果jenkins slave节点需要clone代码和执行java 代码编译，则
jenkins slave节点也需要配置java环境并且安装git、svn、maven等与master相同的基础运行环境，另外也要创建与
master相同的数据目录，方便后期目录切换与制品同步，此路径通常与master和各node节点保持一致。
 
创建工作路劲
root@harbor-jenkins-slave:~# mkdir -p /var/lib/jenkins
root@harbor-jenkins-slave:~# dpkg -i jdk-11.0.17_linux-x64_bin.deb

Jenkins凭据 

pipline 语法简介：
流水线过程定义在 Pipeline{}块中，在Pipeline 块定义了整个流水线中完成的所有的操作。
Stage：阶段，一个pipline可以划分为若干个stage，每个stage都是一个操作阶段，比如代码clone、代码编译、代码
测试和代码部署，阶段是一个逻辑分组，在pipline中可以实现跨多个node执行不同的stage。
Step：步骤，step是jenkins pipline最基本的操作单元，一个stage中可以有多个step，例如在代码clone的stage中
需要定义代码clone的step、在代码编译stage需要定义代码编译的step。
Node：
jenkins工作节点，可以是jenkins master也可以是jenkins slave，node是执行step的具体服务器。

pipline 语法-指定节点：
基于agent指令选择jenkins节点：
any：可以在任何可用的节点执行，有jenkins自动分配
pipeline {
  agent any
}
 
none：表示pipline脚本没有定义在默认执行的jenkins节点，需要在后续的每一个stage中单独定义节点
pipeline {
  agent any
  stages {
    stage('代码clone'){
      agent any
        steps{
            sh 'echo 代码clone'
        }
    }
    stage('代码部署'){
      agent any
        steps{
            sh 'echo 代码部署'
        }
    }
    stage('镜像更新'){
      agent any
        steps{
            sh 'echo 镜像更新'
        }
    }
  }
}
 
pipline 语法-指定节点：
基于agent指令选择jenkins节点：
label：通过标签指定在指定的节点执行从操作：
pipeline{
    //agent any  //全局必须带有agent,表明此pipeline执行节点
    agent { label 'jenkins-node1' } //基于label指定具体执行的步骤节点，非必须
    stages{
        stage("代码clone"){
            //#agent { label 'master' }  //基于label指定具体执行的步骤节点，非必须
            steps{
                sh "cd /var/lib/jenkins/workspace/pipline-test1 && rm -rf ./*"
                git branch: 'main', credentialsId: 'a3e9ab9f-1445-49af-b5b0-74b418181739', url: 'http://10.4.7.134/awen/app01.git'
                echo "代码 clone完成"
            }
        }
       
        stage("代码构建"){
            //#agent { label 'master' }  //基于label指定具体执行的步骤节点，非必须
          steps{
            sh "tar czvf frontend.tar.gz --exclude=.git --exclude=.gitignore  --exclude=README.md ./"
          }
        }    
    }
}
 
 
pipline 语法-指定节点：
基于agent指令选择jenkins节点：
node：和 label 的功能类似都是用于指定节点，区别是node可以额外设置一些参数配置，比如设置customWorkspace(设置当前stage的自定
义工作目录)

pipline 语法-指定节点：
基于agent指令选择jenkins节点：
node：和 label 的功能类似都是用于指定节点，区别是node可以额外设置一些参数配置，比如设置customWorkspace(设置当前stage的自定
义工作目录) 

pipeline {
agent none
stages {
stage('代码clone'){
agent {
node {
label 'jenkins-master'
customWorkspace "/data/gitdata/magedu"
}
}
steps {
sh "echo 代码clone"
}
}
stage('代码部署'){
agent {
node {
label 'jenkins-master'
customWorkspace "/data/gitdata/magedu"
}
}
steps {
sh "echo 代码部署"
}
}
}
}

基于input实现交互式操作：
Input 指令可以在流水线中实现必要的交互式操作，比如选择要部署的环境、是否向后继续执行任务等。
input配置简介：
message：必选，在input界面的提示信息，比如：“是否继续？”等，内容可自定义。
id：可选，input 的标识符，默认为 stage 的名称。
ok：可选，确认按钮的显示信息，比如可以是“确定” 、 “允许”等 自定义内容，默认继续为Proceed 、取消为 Abort。
submitter：可选，允许提交 input 操作的用户或组的名称，如果为空，任何登录用户均可提交 input。
parameters：提供一个参数列表供 input 使用。
pipeline {
  agent any
  stages {
    stage('交互测试') {
      input {
        message "是否继续部署?"
        ok "继续部署"
        submitter "admin"
      }
      steps {
        echo "Hello jenkins!"
      }
    }
  }
}

post指令：
post一般用于pipline流水线执行后的进一步处理，比如错误通知等，post可以针对流水线不同的执行结果做出不同的处理，比如执行
成功做什么处理、执行失败做什么处理等。
post条件简介：
Post 可以定义在 Pipeline 或 stage 中，目前支持以下条件：
always：无论Pipeline或stage的最后是执行成功还是失败,都执行post中定义的指令。
changed：只有当前Pipeline或stage的完成状态与它之前的运行不同时,比如从成功转换为失败、或从失败转换为成功,才执行post中定义的指令。
fixed：当本次Pipeline或stage成功,且上一次构建是失败或不稳定时,就执行post中定义的指令,从失败转换为成功。
regression：当本次Pipeline或stage的状态为失败、不稳定或终止,且上一次构建的状态为成功时,就执行post中定义的指令,从成功转换为失败。
failure：只有当前Pipeline或stage的完成状态为失败(failure),才允许在post部分运行该步骤,而且通常这时在Web界面中显示为红色。
success：当前执行状态为成功(success),执行post步骤,通常在Web界面中显示为蓝色或绿色。
unstable：当前状态为不稳定(unstable),执行post步骤,通常原因是由于测试失败或代码违规等造成,而且会在Web界面中显示为黄色。
aborted：当前状态为终止(aborted),执行该post步骤,通常由于流水线被手动终止触发,这时在在Web界面中显示为灰色。
unsuccessful：当前状态只要不是success时,执行该post步骤；
cleanup：无论pipeline或stage的完成状态如何,都允许运行该post中定义的指令,和always的区别在于cleanup会在post其它条件执行之后执行(最后执
行cleanup)
post发送邮件通知示例：
pipline-job-test9 演示在这执行异常后post阶段的操作，cleanup会晚于always执行，发送邮件需要提前配置好
jenkins的邮件通知配置：
pipeline {
  agent any
  stages {
    stage('post测试-代码clone阶段') {
        steps {
            sh 'echo git clone'
            sh 'cd /data/project'  //此步骤会执行失败，用于验证构建失败的邮件通知
      }
        post {
            cleanup {
              script {
                mail to: 'tshx1991@163.com',
                  subject: "Pipeline Name: ${currentBuild.fullDisplayName}",
                  body: " ${env.JOB_NAME} -Build Number-${env.BUILD_NUMBER} -cleanup 构建失败!\n 点击链接 ${env.BUILD_URL} 查看详情"
              }
            }
          always {
              script {
                mail to: 'tshx1991@163.com',
                  subject: "Pipeline Name: ${currentBuild.fullDisplayName}",
                  body: " ${env.JOB_NAME} -Build Number-${env.BUILD_NUMBER} -always 构建失败!\n 点击链接 ${env.BUILD_URL} 查看详情"
              }
            }
          aborted {
              echo "post aborted"
              }
          success {
            script {
              mail to: 'tshx1991@163.com',
                    subject: "Pipeline Name: ${currentBuild.fullDisplayName}",
                    body: " ${env.JOB_NAME} -Build Number-${env.BUILD_NUMBER} - 构建成功!\n 点击链接 ${env.BUILD_URL} 查看详情"
              }
            }
          failure {
            script {
              mail to: 'tshx1991@163.com',
                    subject: "Pipeline Name: ${currentBuild.fullDisplayName}",
                    body: " ${env.JOB_NAME} -Build Number-${env.BUILD_NUMBER} -failure 构建失败!\n 点击链接 ${env.BUILD_URL} 查看详情"
              }
            }
        }
    }
  }
}
 
pipline环境变量：
基于environment传递环境变量：
pipeline {
  agent any
  environment {   //全局的变量，在当前pipline所有的stage中都会生效
    NAME='user1'
    PASSWD='123456'
  }
  stages {
    stage('环境变量stage1') {
      environment { //定义在stage中的变量只会在当前stage生效，其他的stage不会生效
        GIT_SERVER = 'http://10.4.7.134/awen/app01.git'
      }
      steps {
        sh """
            echo '$NAME'
            echo '$PASSWD'
            echo '$GIT_SERVER'
        """
      }
    }
    stage('环境变量stage2') {
      steps {
        sh """
            echo '${NAME}'
            echo '$PASSWD'
        """
      }
    }
  }
}
 
pipline参数简介：
 
基于parameters给step传递参数：
 可以基于parameters自定义参数，参数用于在执行pipline流水线的时候传递给step进行使用，比如传递选项参数、gitlab的分支、
镜像仓库、镜像tag等信息。
parameters简介：
string： #字符串类型参数，可以传递账户名、密码等参数
text： #文本型参数，一般用于定义多行文本内容的变量。
booleanParam：#布尔型参数
choice：#选择型参数，一般用于给定几个可选的值，然后选择其中一个进行赋值使用
password： #密码型变量，一般用于定义敏感型变量，在 Jenkins 控制台会输出为*隐藏密码
 
pipeline {
  agent any
  parameters {
    string(name: 'BRANCH', defaultValue:  'develop', description: '分支选择')   //字符串参数，会配置在jenkins的参数化构建过程中
    choice(name: 'DEPLOY_ENV', choices: ['develop', 'production'], description: '部署环境选择')  //选项参数，会配置在jenkins的参数化构建过程中
  }
  stages {
    stage('测试参数1') {
      steps {
        sh "echo $BRANCH"
      }
    }
    stage('测试参数2') {
      steps {
        sh "echo $DEPLOY_ENV"
      }
    }
  }
}
jenkins配置会解析代码里的东西

options选项配置参数简介：
buildDiscarder(logRotator(numToKeepStr: '5')) //保留5个历史构建版本
timeout(time: 5, unit: 'MINUTES') //定义任务执行超时时间1小时，如果不加unit参数默认时间单位为分钟，支持NANOSECONDS，
MICROSECONDS，MILLISECONDS，SECONDS，MINUTES，HOURS，DAYS
timestamps() //在控制台显示命令执行的时间，格式为10:58:39
retry(2) //流水线构建失败后重试次数为2次
 
创建视图

/etc/sysctl.conf

vm.max_map_count = 524288
fs.file-max = 131072

apt-cache madison postgresql
postgresql | 14+238 | https://mirrors.aliyun.com/ubuntu jammy/main amd64 Packages
apt install postgresql

初始化

pg_createcluster --start 14 mycluster4

/etc/postgresql/14/mycluster/postgresql.conf

60 listen_addresses = '*' 
65 max_connections = 4096

/etc/postgresql/14/mycluster/pg_hba.conf

97 host    all             all             0.0.0.0/0            scram-sha-256

systemctl restart postgresql

su - postgres
 psql -U postgres
psql (14.5 (Ubuntu 14.5-0ubuntu0.22.04.1))
Type "help" for help.

postgres=# CREATE DATABASE sonar;
CREATE DATABASE
postgres=# CREATE USER sonar WITH ENCRYPTED PASSWORD '123456';
CREATE ROLE
postgres=# GRANT ALL PRIVILEGES ON DATABASE sonar TO sonar;
GRANT
postgres=# ALTER DATABASE sonar OWNER TO sonar;
ALTER DATABASE
postgres=# \q
exit
logout

root用户

vim /etc/postgresql/14/mycluster/postgresql.conf

listen_addresses = '*' 
max_connections = 4096

vim /etc/postgresql/14/mycluster/pg_hba.conf
96 # IPv4 local connections:
97 host all all 0.0.0.0/0 scram-sha-256
 
 
 

cat /etc/security/limits.conf

sonarqube - nofie 131072
sonarqube - nnorce 8192

/etc/sysctl.conf

vm.max_map_count = 262144
fs.file-max = 65535

mkdir /apps && cd /apps/

useradd -r -m -s /bin/bash sonarqube && chown sonarqube.sonarqube /apps/ -R && su - sonarqube

unzip sonarqube-9.7.1.62043.zip

ln -sv /apps/sonarqube-9.7.1.62043 /apps/sonarqube

/conf/sonar.properties

sonar.jdbc.username=sonar
sonar.jdbc.password=123456

sonar.jdbc.url=jdbc:postgresql://10.4.7.137/sonar

启动sonar

/apps/sonarqube/bin/linux-x86-64$ ./sonar.sh start
/usr/lib/jvm/jdk-11/bin/java
Starting SonarQube...
Started SonarQube.

安装插件

root@jenkins:~# cat /etc/systemd/system/sonarqube.service
[Unit]
Description=SonarQube service
After=syslog.target network.target
[Service]
Type=simple
User=sonarqube
Group=sonarqube
PermissionsStartOnly=true
ExecStart=/bin/nohup /usr/lib/jvm/jdk-11/bin/java -Xms512m -Xmx512m -Djava.net.preferIPv4Stack=true -jar /apps/sonarqube/lib/sonar-application-8.9.10.61524.jar
StandardOutput=syslog
LimitNOFILE=131072
LimitNPROC=8192
TimeoutStartSec=5
Restart=always
SuccessExitStatus=143
[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl start sonarqube.service

部署sonar-scanner

root@jenkins:/usr/local/src# unzip sonar-scanner-cli-4.7.0.2747.zip

root@jenkins:/apps# ln -sv sonar-scanner-4.7.0.2747/ sonar-scanner

当前目录下执行

root@jenkins:/opt/python-test# /apps/sonar-scanner/bin/sonar-scanner

查看扫描结果

命令实现代码扫描

root@jenkins:/opt/python-test# /apps/sonar-scanner/bin/sonar-scanner -Dsonar.projectKey=ha -Dsonar.projectName=ha-python-app1 -Dsonar.projectVersion=1.0 -Dsonar.sources=./src -Dsonar.language=py -Dsonar.sourceEncoding=UTF-8

pipeline {
  agent { label 'jenkins-node1' }
  parameters {
    string(name: 'BRANCH', defaultValue:  'develop', description: '分支选择')   //字符串参数，会配置在jenkins的参数化构建过程中
    choice(name: 'DEPLOY_ENV', choices: ['develop', 'production'], description: '部署环境选择')  //选项参数，会配置在jenkins的参数化构建过程中
  }
  stages {
    stage('变量测试1') {
      steps {
        sh "echo $env.WORKSPACE"  //JOB的工作目录,可用于后期目录切换
        sh "echo $env.JOB_URL"  //JOB的URL
        sh "echo $env.NODE_NAME"  //节点名称，master 名称显示built-in
        sh "echo $env.NODE_LABELS" //节点标签
        sh "echo $env.JENKINS_URL"  //jenkins的URL地址
        sh "echo $env.JENKINS_HOME" //jenkins的家目录路径
      }
    }
    stage("code clone"){
            //#agent { label 'master' }  //具体执行的步骤节点，非必须
      steps {
                deleteDir() //删除workDir当前目录
                script {
                    if ( env.BRANCH == 'main' ) {
                        git branch: 'main', credentialsId: 'a3e9ab9f-1445-49af-b5b0-74b418181739', url: 'http://10.4.7.134/awen/app02.git''
                    } else if ( env.BRANCH == 'develop' ) {
                        git branch: 'develop', credentialsId: 'a3e9ab9f-1445-49af-b5b0-74b418181739', url: 'http://10.4.7.134/awen/app02.git''
                    } else {
                        echo '您传递的分支参数BRANCH ERROR，请检查分支参数是否正确'
                    }
                    GIT_COMMIT_TAG = sh(returnStdout: true, script: 'git rev-parse --short HEAD').trim() //获取clone完成的分支tagId,用于做镜像做tag
                }
          }
        }
    stage('python源代码质量扫描') {
        steps {
            sh "cd $env.WORKSPACE && /apps/sonar-scanner/bin/sonar-scanner -Dsonar.projectKey=magedu -Dsonar.projectName=magedu-python-app1 -Dsonar.projectVersion=1.0  -Dsonar.sources=./src -Dsonar.language=py -Dsonar.sourceEncoding=UTF-8"
            }
        }
    }
}

Jenkins&&gitlab2的更多相关文章

  1. Jenkins 安装的HTML Publisher Plugin 插件无法展示ant生成的JunitReport报告

    最近在做基于jenkins ant  junit 的测试持续集成,单独ant junit生成的junitreport报告打开正常,使用Jenkins的HTML Publisher Plugin 插件无 ...

  2. Python-Jenkins API使用 —— 在后端代码中操控Jenkins

    最近在工作中需要用到在后台代码中触发Jenkins任务的构建,于是想到Jenkins是否有一些已经封装好的API类库提供,用于处理跟Jenkins相关的操作.下面就简单介绍下我的发现. Linux C ...

  3. 在centos7上安装Jenkins

    在centos7上安装Jenkins 安装 添加yum repos,然后安装 sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins ...

  4. 项目持续集成环境（jenkins + SVN + maven + tomcat）

    整体流程 每次SVN上代码有变动,触发自动构建动作,并部署到服务器的tomcat上,具体流程: 1.SVN上提交代码修改 2.maven执行Goals 3.将web工程打成war包 4.关闭服务器的t ...

  5. Jenkins的一个bug-同时build一个项目两次导致失败

    我们有一个job A, A只是配置了一些参数,它会去触发模板job B. 我一开始点击构建A, 马上发现参数配置不对,于是撤消了构建,但是我没有发现B已经被触发,我重新配置参数,然后再次构建A,这个时 ...

  6. 使用Jenkins配置Git+Maven的自动化构建

    Jenkins是一个开源的持续集成工具,应用Jenkins搭建持续集成环境,可以进行自动构建.自动编译和部署,非常方便. 在服务器比较少的情况下,Jenkins的优势并不明显,但是随着项目发展,服务器 ...

  7. Jenkins配置MSBuild实现自动部署（MSBuild+SVN/Subversion+FTP+BAT）

    所要用到的主要插件: [MSBuild Plugin] 具体操作: 1.配置MSBuild的版本 [系统管理]->[Global Tool Configuration]->[MSBuild ...

  8. 在Redhat上为.Net 项目构建基于Jenkins + Github + Mono 的持续集成环境

    在Redhat enterprise 6.5 的服务器上,为在gutub 上的 .net 项目构建一个持续集成环境,用到了Jenkins和mono.因公司的服务器在内网,访问外网时要通过代理,所以在很 ...

  9. 使用Maven+Nexus+Jenkins+Svn+Tomcat+Sonar搭建持续集成环境（二）

    前言     上一篇随笔Maven+Nexus+Jenkins+Svn+Tomcat+Sonar搭建持续集成环境(一)介绍maven和nexus的环境搭建,以及如何使用maven和nexus统一管理库 ...

随机推荐

  1. 20_IO

    IO框架 一. 流的概念 概念:内存与存储设备之间传输数据的通道 水借助管道传输:数据借助流传输 二. 流的分类 按方向[重点] 输入流:将<存储设备>中的内容读入到<内存>中 ...

  2. CentOS obs直播RTMP协议推流到Nginx流媒体服务器到VUE使用HLS直播

    1. 发布打包前端管理平台(ant-design-vue) 2. 发布打包后端(.NET6-WebApi) .NET6 webAPI orm: free sql 数据库:mysql5.7 3. 发布打 ...

  3. [CG从零开始] 4. pyopengl 绘制一个正方形

    在做了 1-3 的基础工作后,我们的开发环境基本 OK 了,我们可以开始尝试利用 pyopengl 来进行绘制了. 本文主要有三个部分 利用 glfw 封装窗口类,并打开窗口: 封装 shader 类 ...

  4. 没有使用IaC的DevOps系统都是耍流氓

    作为现代软件工程的基础实践,基础设施即代码(Infrastructure as Code, IaC)是云原生.容器.微服务以及DevOps背后的底层逻辑.应该说,以上所有这些技术或者实践都是以基础设施 ...

  5. 关于maven插件在Myeclipse中的使用

    出现了如下几个错误: 1.访问不到maven的中央仓库,插件下载失败,无法使用插件启动tomcat命令. 解决方法到 maven的配置文件中,一般在我的文档中的.m2文件中的settting.xml中 ...

  6. MVVM视图模型

  7. Springboot JSON 转换：Jackson篇

    本案例基于 Springboot 2.5.7 单元测试场景下进行 <!-- SpringMVC默认使用Jacson,只需要引用web启动器即可,无序单独引用Jackson --> < ...

  8. 说说 Redis 事务

    更多技术文章,请关注我的个人博客 www.immaxfang.com 和小公众号 Max的学习札记. Redis 事务简介 Redis 只是提供了简单的事务功能.其本质是一组命令的集合,事务支持一次执 ...

  9. .Net Core&RabbitMQ限制循环消费

    前言 当消费者端接收消息处理业务时,如果出现异常或是拒收消息将消息又变更为等待投递再次推送给消费者,这样一来,则形成循环的条件. 循环场景 生产者发送100条消息到RabbitMQ中,消费者设定读取到 ...

  10. ES6 学习笔记（六）基本类型String

    字符串String 1.字面量 需要注意的地方: 由单引号或双引号括起来的字符序列. 单双引号可以嵌套,由最外围引号定界字符串 字符串字面量可以拆分成数行,每行必须以反斜线(\)结束,且反斜线都不计入 ...