jenkins服务器使用python脚本rabbitmqadmin和shell对目标服务器进行管理

准备工作：

.jenkins服务器，安装rabbitmqadmi命令

rabbitmqadmin管理脚本下载地址：https://raw.githubusercontent.com/rabbitmq/rabbitmq-management/v3.7.8/bin/rabbitmqadmin

直接将python脚本拷贝到 /usr/bin/rabbitmqadmin下，赋权

chmod +x /usr/bin/rabbitmqadmin

# 测试

# su apache

[apache@jenkins:/root]$ rabbitmqadmin -H 1.1.1.1 -P  -u chinasoft -p chinasoft2018 -f tsv -q list queues

.打通jenkins和jumper_server的ssh，让jenkins能自动登录跳板机

跳板机和后端的windows也需要打通，后端windows安装openssh for windows并且配置互信，跳板机能自动登录windows机器

.需要修改的变量，获取正确的key值

 rabbitmq_queue=chinasoft*

# 检测Rabbitmq 消息队列数量 如果消息队列内数量大于200 则删除队列内消息

rabbitmq_host=1.1.1.1

rabbitmq_port=

rabbitmq_username=chinasoft

rabbitmq_password=pass

rabbitmq_queue=chinasoft*

rabbitmq_queue_max=

drop_queue=()

rabbitmqadmin -H $rabbitmq_host -P $rabbitmq_port -u $rabbitmq_username -p $rabbitmq_password -f tsv -q list queues | while read queue message_total ; do  if [ "$queue" == "$rabbitmq_queue" ] && [ "$message_total" -gt $rabbitmq_queue_max ]; then rabbitmqadmin -H $rabbitmq_host -P $rabbitmq_port -u $rabbitmq_username -p $rabbitmq_password delete queue name=$queue; drop_queue+=($queue);  fi  ; done

echo ${drop_queue[@]}

if [ ${#drop_queue[*]} -gt  ]

then

    echo "warning 启动构建的服务"

    dir_name=bak.$(date +%Y-%m-%d)

    cp -a /data/www/vhosts/chinasoft.com /data/data_backup/chinasoft.com_$dir_name

    push_dir=/data/www/vhosts/chinasoft.com/httpdocs

    mkdir -p $push_dir

    ###生产环境的变量

    ENVIRONMENT_NAME="convert_env"

    ENVIRONMENT_VARIABLE="prod"

    WIN_ROOT="/cygdrive/d"

    WIN_RESTART_SLEEP=

    WIN_ACCOUNT="Administrator"

    win_back_ips=('172.17.0.33' '172.17.0.32')

    execute_jump_ip="1.1.1.1"

    middle_server_ip="172.17.0.36"

    back_server_ip="172.17.0.35"

    restart_middle_group_name="online2:"

    restart_back_group_name=("chinasoft_back:" "chinasoft_server:" )

    # $ - jump_ip

    # $ - win_account

    # $ - win_ip

    # $ - win_root

    # $ - push_dir

    # $ - sleep

    function rsync_windows_server()

    {

        __jump_ip="$1"

        __win_account="$2"

        __win_ip="$3"

        __win_root="$4"

        __push_dir="$5"

        __sleep=$

        shift

        shift

        shift

        shift

        shift

        shift

        __exclude_params=()

        for exclude_dir in "$@"; do

            __exclude_params+=(--exclude="$exclude_dir")

        done

        ssh -p2008 root@$execute_jump_ip "ssh -p 2008 $__win_account@$__win_ip \"export $ENVIRONMENT_NAME=$ENVIRONMENT_VARIABLE; $__win_root$__push_dir/converter_db/scripts/back_stop_consumer.bat\""

        rsync -avzP --bwlimit= "${__exclude_params[@]}" $__push_dir/converter_db root@$__win_ip::root --chmod=ugo=rwX

        ssh -p2008 root@$execute_jump_ip  "ssh -p 2008 $__win_account@$__win_ip shutdown -r -t 0"

        sleep $__sleep

    } 

    rsync -vau --delete --exclude=.git/ --exclude=.gitignore/ --exclude=node_modules/ $WORKSPACE/ $push_dir

    #chmod -R ugo+r $push_dir

    chmod +x -R $push_dir/converter_db/scripts

    chmod +x -R $push_dir/converter_db/core_api

    __linux_exclude_params=()

    __linux_exclude_params+=(--exclude="converter_db/core_api/Windows")

    __windows_exclude_dir=()

    __windows_exclude_dir+=("converter_db/core_api/Linux")

    if [ "$PASS_CORE" == "true" ];then

        __linux_exclude_params+=(--exclude="converter_db/core_api")

        __windows_exclude_dir+=("converter_db/core_api")

    fi

    rsync -vaRzP --progress --bwlimit= "${__linux_exclude_params[@]}" --password-file=/usr/local/rsync/etc/pe_rsyncd.passwd $push_dir/converter_middle apache@$middle_server_ip::apache

    if [ "$BUILD_TASK_SERVICE" == "true" ];then

        # stop consumer & rsync & restart windows

        for server_ip in "${win_back_ip[@]}"; do

            rsync_windows_server "$execute_jump_ip" "$WIN_ACCOUNT" $server_ip "$WIN_ROOT" "$push_dir" "$WIN_RESTART_SLEEP" "${__windows_exclude_dir[@]}"

        done

        rsync -vaRzP --progress --bwlimit= "${__linux_exclude_params[@]}" --password-file=/usr/local/rsync/etc/pe_rsyncd.passwd $push_dir/converter_db apache@$middle_server_ip::apache

        rsync -vaRzP --progress --bwlimit= "${__linux_exclude_params[@]}" --password-file=/usr/local/rsync/etc/pe_rsyncd.passwd $push_dir/converter_db apache@$back_server_ip::apache |true

        ssh -p2008 root@$execute_jump_ip  "ssh -p 2008 root@$middle_server_ip supervisorctl restart $middle_celery_group"

        ssh -p2008 root@$execute_jump_ip  "ssh -p 2008 root@$back_server_ip supervisorctl restart ${back_celery_group[@]}"

    fi

fi

#############################

#第一部分：硬重启

#PE.ali_www.chinasoft.com_monitor-new

#############################

# 每隔两小时检查一下rabbitmq，监控chinasoft.com的rabbitmq队列，如果超过200的阈值，则触发重启动作

Build periodically

两小时执行一次

H H/ * * * 

whoami

# 检测Rabbitmq 消息队列数量 如果消息队列内数量大于200 则删除队列内消息

rabbitmq_host=1.1.1.2

rabbitmq_port=

rabbitmq_username=chinasoft

rabbitmq_password=pass

rabbitmq_queue=online_*

rabbitmq_queue_max=

drop_queue=()

rabbitmqadmin -H $rabbitmq_host -P $rabbitmq_port -u $rabbitmq_username -p $rabbitmq_password -f tsv -q list queues | while read queue message_total ; do  if [ "$queue" == "$rabbitmq_queue" ] && [ "$message_total" -gt $rabbitmq_queue_max ]; then rabbitmqadmin -H $rabbitmq_host -P $rabbitmq_port -u $rabbitmq_username -p $rabbitmq_password delete queue name=$queue; drop_queue+=($queue);  fi  ; done

echo ${drop_queue[@]}

if [ ${#drop_queue[*]} -gt  ]

then

    echo "warning 启动重启windows服务器的脚本"

    push_dir="/data/www/vhosts/chinasoft.com/httpdocs"

    ###生产环境的变量

    ENVIRONMENT_NAME="convert_env"

    ENVIRONMENT_VARIABLE="prod"

    WIN_ROOT="/cygdrive/d"

    WIN_RESTART_SLEEP=

    WIN_ACCOUNT="Administrator"

    win_back_ips=('172.17.0.33' '172.17.0.32')

    execute_jump_ip="1.1.1.1"

    middle_server_ip="172.17.0.36"

    back_server_ip="172.17.0.35"

    restart_middle_group_name="online2:"

    restart_back_group_name=("chinasoft_back:" "chinasoft_server:" )

    # $ - jump_ip

    # $ - win_account

    # $ - win_ip

    # $ - win_root

    # $ - push_dir

    # $ - sleep

    function rsync_windows_server()

    {

        __jump_ip="$1"

        __win_account="$2"

        __win_ip="$3"

        __win_root="$4"

        __push_dir="$5"

        __sleep=$

        shift

        shift

        shift

        shift

        shift

        shift

        __exclude_params=()

        for exclude_dir in "$@"; do

            __exclude_params+=(--exclude="$exclude_dir")

        done

        ssh -p2008 root@$execute_jump_ip "ssh -p 2008 $__win_account@$__win_ip \"export $ENVIRONMENT_NAME=$ENVIRONMENT_VARIABLE; $__win_root$__push_dir/converter_db/scripts/back_stop_consumer.bat\""

        ssh -p2008 root@$execute_jump_ip  "ssh -p 2008 $__win_account@$__win_ip shutdown -r -t 0"

        sleep $__sleep

    } 

    #chmod -R ugo+r $push_dir

    chmod +x -R $push_dir/converter_db/scripts

    chmod +x -R $push_dir/converter_db/core_api

    __linux_exclude_params=()

    __linux_exclude_params+=(--exclude="converter_db/core_api/Windows")

    __windows_exclude_dir=()

    __windows_exclude_dir+=("converter_db/core_api/Linux")

    if [ "$PASS_CORE" == "true" ];then

        __linux_exclude_params+=(--exclude="converter_db/core_api")

        __windows_exclude_dir+=("converter_db/core_api")

    fi

    if [ "$BUILD_TASK_SERVICE" == "true" ];then

        # stop consumer & rsync & restart windows

        for server_ip in "${win_back_ip[@]}"; do

            rsync_windows_server "$execute_jump_ip" "$WIN_ACCOUNT" $server_ip "$WIN_ROOT" "$push_dir" "$WIN_RESTART_SLEEP" "${__windows_exclude_dir[@]}"

        done

        ssh -p2008 root@$execute_jump_ip  "ssh -p 2008 root@$middle_server_ip supervisorctl restart $middle_celery_group"

        ssh -p2008 root@$execute_jump_ip  "ssh -p 2008 root@$back_server_ip supervisorctl restart ${back_celery_group[@]}"

    fi

fi

#############################################

# 软重启，热更新

dir_name=bak.$(date +%Y-%m-%d)

cp -a /data/www/vhosts/chinasoft.com /data/data_backup/chinasoft.com_$dir_name

push_dir=/data/www/vhosts/chinasoft.com/httpdocs

mkdir -p $push_dir

###生产环境的变量

ENVIRONMENT_NAME="convert_env"

ENVIRONMENT_VARIABLE="prod"

WIN_ROOT="/cygdrive/d"

WIN_RESTART_SLEEP=

WIN_ACCOUNT="Administrator"

win_back_ips=('172.17.0.33' '172.17.0.32')

execute_jump_ip="1.1.1.1"

middle_server_ip="172.17.0.36"

back_server_ip="172.17.0.35"

restart_middle_group_name="online2:"

restart_back_group_name=("chinasoft_back:" "chinasoft_server:" )

# $ - jump_ip

# $ - win_account

# $ - win_ip

# $ - win_root

# $ - push_dir

# $ - sleep

function rsync_windows_server()

{

    __jump_ip="$1"

    __win_account="$2"

    __win_ip="$3"

    __win_root="$4"

    __push_dir="$5"

    __sleep=$

    shift

    shift

    shift

    shift

    shift

    shift

    __exclude_params=()

    for exclude_dir in "$@"; do

        __exclude_params+=(--exclude="$exclude_dir")

    done

    ssh -p2008 root@$execute_jump_ip "ssh -p 2008 $__win_account@$__win_ip \"export $ENVIRONMENT_NAME=$ENVIRONMENT_VARIABLE; $__win_root$__push_dir/converter_db/scripts/back_stop_consumer.bat\""

    rsync -avzP --bwlimit= "${__exclude_params[@]}" $__push_dir/converter_db root@$__win_ip::root --chmod=ugo=rwX

    ssh -p2008 root@$execute_jump_ip  "ssh -p 2008 $__win_account@$__win_ip shutdown -r -t 0"

    sleep $__sleep

} 

rsync -vau --delete --exclude=.git/ --exclude=.gitignore/ --exclude=node_modules/ $WORKSPACE/ $push_dir

#chmod -R ugo+r $push_dir

chmod +x -R $push_dir/converter_db/scripts

chmod +x -R $push_dir/converter_db/core_api

__linux_exclude_params=()

__linux_exclude_params+=(--exclude="converter_db/core_api/Windows")

__windows_exclude_dir=()

__windows_exclude_dir+=("converter_db/core_api/Linux")

if [ "$PASS_CORE" == "true" ];then

    __linux_exclude_params+=(--exclude="converter_db/core_api")

    __windows_exclude_dir+=("converter_db/core_api")

fi

rsync -vaRzP --progress --bwlimit= "${__linux_exclude_params[@]}" --password-file=/usr/local/rsync/etc/pe_rsyncd.passwd $push_dir/converter_middle apache@$middle_server_ip::apache

if [ "$BUILD_TASK_SERVICE" == "true" ];then

    # stop consumer & rsync & restart windows

    for server_ip in "${win_back_ip[@]}"; do

        rsync_windows_server "$execute_jump_ip" "$WIN_ACCOUNT" $server_ip "$WIN_ROOT" "$push_dir" "$WIN_RESTART_SLEEP" "${__windows_exclude_dir[@]}"

    done

    rsync -vaRzP --progress --bwlimit= "${__linux_exclude_params[@]}" --password-file=/usr/local/rsync/etc/pe_rsyncd.passwd $push_dir/converter_db apache@$middle_server_ip::apache

    rsync -vaRzP --progress --bwlimit= "${__linux_exclude_params[@]}" --password-file=/usr/local/rsync/etc/pe_rsyncd.passwd $push_dir/converter_db apache@$back_server_ip::apache |true

    ssh -p2008 root@$execute_jump_ip  "ssh -p 2008 root@$middle_server_ip supervisorctl restart $middle_celery_group"

    ssh -p2008 root@$execute_jump_ip  "ssh -p 2008 root@$back_server_ip supervisorctl restart ${back_celery_group[@]}"

fi

fi

# 发布代码以后删除缓存操作
# 要配置http://jenkins2.chinasoft.cn/jenkins/view/pe.chinasoft/job/web_html/configure  删除nginx的缓存
ssh -p2008 devadmin@1.1.1.1 "sudo rm -rf /dev/shm/nginx/hipdf/cache/*"

jenkins服务器使用python脚本rabbitmqadmin和shell对目标服务器进行管理的更多相关文章

  1. Jenkins自动执行python脚本输出测试报告

    前言 在用python做自动化测试时,我们写好代码,然后需要执行才能得到测试报告,这时我们可以通过 Jenkins 来进一步完成自动化工作. 借助Jenkins,我们可以结合 Git/SVN 自动拉取 ...

  2. 【jenkins】jenkins实时显示python脚本输出

    jenkins在构建shell脚本时可以实时输出结果,但是在构建python脚本时,是等到python执行完成以后,才显示结果,这个对于我们判断脚本执行状态非常不利 这里介绍一种方法,能够实时显示py ...

  3. Python——scapy模块实现tcp探测目标服务器路由轨迹

      scapy模块的安装 484 yum install tcpdump graphviz ImageMagick -y 485 wget http://www.secdev.org/projects ...

  4. shell如何向python传递参数，shell如何接受python的返回值

    1.shell如何向python传递参数 shell脚本 python $sendmailCommandPath $optDate python脚本 lastDateFormat = sys.argv ...

  5. python脚本运行的几种方式

    1.脚本式编程 将如下代码拷贝至 hello.py文件中: print ("Hello, Python!"); 通过以下命令执行该脚本: $ python ./hello.py h ...

  6. XShell通过中转服务器直接连接目标服务器

    最近由于公司生产环境的变化,使得我们不能使用自己的机器连接到生产环境去,而是要通过跳板机中转才可以连接.于是今天尝试使用 XShell 通过跳板机直接转接到生产环境. 一.使用代理方式 首先填写连接信 ...

  7. SqlServer作业指定目标服务器

    用SSMS生成数据库作业的创建脚本的时候,有一步是sp_add_jobserver操作: EXEC @ReturnCode = msdb.dbo.sp_add_jobserver @job_id = ...

  8. jenkins发布程序触发shell调用python脚本刷新akamai cdn api

    刷新cdn的流程:jenkins获取git中的代码,触发脚本推送到生产环境中(即cdn的源站) --> 触发脚本获取git工作目录的更新列表,将更新列表拼凑成带域名信息的url,写入到目录中 - ...

  9. 【原】Gradle调用shell脚本和python脚本并传参

    最近由于项目自动化构建的需要,研究了下gradle调用脚本并传参的用法,在此作个总结. Pre build.gradle中定义了$jenkinsJobName $jenkinsBuild两个Jenki ...

随机推荐

  1. Python的Mixin

    转载请注明原文地址:https://www.cnblogs.com/ygj0930/p/10826299.html 一:Mixin模式 Mixin编程是一种开发模式,是一种 将多个不同类中的功能单元的 ...

  2. Win10如何设置插入鼠标后自动禁用触摸板

    首先按“Windows+R”键,调出运行窗口.  然后输入“control”然后点击“确定”!  打开Win10控制面板  在“控制面板”中,选择“硬件和声音”!  选择“AUSU Amart Ges ...

  3. (二)Kubernetes kubeadm部署k8s集群

    kubeadm介绍 kubeadm是Kubernetes项目自带的及集群构建工具,负责执行构建一个最小化的可用集群以及将其启动等的必要基本步骤,kubeadm是Kubernetes集群全生命周期的管理 ...

  4. 2019年杭电多校第二场 1008题Harmonious Army(HDU6598+最小割+建图)

    题目链接 传送门 题意 有\(n\)个士兵,要你给他们分配职业.有\(m\)对关系,对于某一对关系\(u,v\),如果同为勇士则总能力增加\(a\),同法师则增加\(c\),一个勇士一个法师增加\(\ ...

  5. Pycharm中设置默认头注释

    在编写Python项目时,我们可能需要添加一些默认的信息,比如添加文件创建的时间,比如添加文件作者,等等,这些信息可以自己在python脚本中添加,但是也可以在Pycharm中配置模板,每次创建文件的 ...

  6. CF632E Thief in a Shop 和 CF958F3 Lightsabers (hard)

    Thief in a Shop n个物品每个价值ai,要求选k个,可以重复.问能取到哪几个价值? 1 ≤ n, k ≤ 1000,1 ≤ ai ≤ 1000 题解 将选一个物品能取到的价值的01生成函 ...

  7. oracle row_number() over(partition by .. order by ..)和rank() over(partition by .. order by ..) 和dense_rank() over(partition by .. order by ..)的相似点与区别

    新建一个测试表 create table dim_ia_test2(device_number varchar2(20),desc2 varchar2(20)) 插入数据后得到: 一.oracle r ...

  8. 解决关于VC++ 6.0打开文件时，程序停止的问题

    不少boys和girls安装VC++ 6.0英文版后,开始学习C++语言,但是使用软件的过程中,点击“打开”时,就会出现程序进程错误,崩溃的事儿,很是郁闷.最后直接一个对话框如下: 并且vc6.0直接 ...

  9. LeetCode 702. Search in a Sorted Array of Unknown Size

    原题链接在这里:https://leetcode.com/problems/search-in-a-sorted-array-of-unknown-size/ 题目: Given an integer ...

  10. C++后端工程师需要看的书籍

    C++基础书籍<C++ primer><深度探索C++对象模型><Effective C++><more effective C++><STL源码 ...