60天shell脚本计划-6/12-渐入佳境

--作者：飞翔的小胖猪

--创建时间：2021年2月21日

--修改时间：2021年2月25日

说明

每日上传更新一个shell脚本，周期为60天。如有需求的读者可根据自己实际情况选用合适的脚本，也可在评论区留言提出脚本需求，作者会尽快根据需求编写相关脚本对功能进行实现。

每篇文章包含5个脚本。

总进度：6/12

上一篇脚本链接：https://www.cnblogs.com/Pigs-Will-Fly/p/14401712.html

下一篇脚本链接：https://www.cnblogs.com/Pigs-Will-Fly/p/14450642.html

主要内容

21年2月21日-/proc/stat文件另存脚本

************************************************************************************************************************************************************************************************************************************

脚本说明

脚本每一秒获取保存一次/proc/stat文件至指定目录，然后自动删除5分钟之前保存的文件，存储文件命名方式为时间戳。

文件说明

cpu_info.sh：脚本主体文件

脚本主体

[root@135 26_cpu_info]# cat Info_collect_cpu.sh
#!/bin/bash
#清除过期的cpu信息文件
Clear_old_file(){
  #清除掉5分钟以后的文件，因为我用不到
  #判断文件和当前时间戳是否相差超过300秒，如果超过300秒则表示为5分钟以前的就删除它
  #为了谨慎起见我保留310秒的数据
  while :
  do
    d_now_time=`date +%s` #获取当前时间戳
    ls ./.cpu_info_file/| while read file_name
    do
      let interv_time=${d_now_time}-${file_name}
      if [ ${interv_time} -gt 310 ];then
        rm -rf ./.cpu_info_file/${file_name}
        sleep 1
      fi
    done
  done
}

#保存每秒的cpu文件
Info_collect_engine(){
  #循环执行一直在系统钟，没秒获取一次cpu文件，以时间搓为文件名保存
  #就是说实时保存最近5分钟的数据。

  #创建一个文件夹保存所有记录文件
  mkdir -p .cpu_info_file
  while :
  do
    now_time=`date +%s`
    cp /proc/stat .cpu_info_file/${now_time}
    #等待1秒再执行以后的操作
    sleep 1
  done
}

#主函数
main(){
  Info_collect_engine &
  Clear_old_file &
}

#调用主函数
main

结果

命令执行结果

 生成的文件

**************************************************************************************************************2021年2月21日脚本结束*****************************************************************************************************************

21年2月22日-CPU性能获取脚本

************************************************************************************************************************************************************************************************************************************

脚本说明

脚本读取/proc/stat文件，整理获取CPU当前使用情况。适用于多种操作系统。

如果想要获取到5分钟之内的数据，请参照2月21日的脚本编写一个信息收集引擎脚本，然后对历史数据进行整合。

文件说明

cpu_info.sh：脚本主体文件

配置文件

[root@135 ~]# cat /proc/stat
cpu  819 39 2046 1109931 41 1306 1151 0 0 0
cpu0 507 29 903 554938 11 906 366 0 0 0
cpu1 311 10 1143 554992 30 399 784 0 0 0
intr 592713 45 9 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 696 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
ctxt 744120
btime 1613783846
processes 1716
procs_running 1
procs_blocked 0
softirq 943781 1 401759 2028 11283 10519 0 753 226629 0 290809

解释：

user（缩写 us）            代表用户态 CPU 时间。注意，它不包括下面的 nice 时间，但包括了 guest 时间。
nice（缩写 ni）            代表低优先级用户态 CPU 时间，也就是进程的 nice 值被调整为 1-19 之间时的 CPU 时间。这里注意，nice 可取值范围是 -20 到 19，数值越大，优先级反而越低。
system（缩写 sys）         代表内核态 CPU 时间。
idle（缩写 id）            代表空闲时间。注意，它不包括等待 I/O 的时间（iowait）。
iowait（缩写 wa）          代表等待 I/O 的 CPU 时间。
irq（缩写 hi）             代表处理硬中断的 CPU 时间。
softirq（缩写 si）         代表处理软中断的 CPU 时间。
steal（缩写 st）           代表当系统运行在虚拟机中的时候，被其他虚拟机占用的 CPU 时间。
guest（缩写 guest）        代表通过虚拟化运行其他操作系统的时间，也就是运行虚拟机的 CPU 时间。
guest_nice（缩写 gnice）   代表以低优先级运行虚拟机的时间。

特殊行解释：
intr                      这行展示系统中断的信息，第一个为自系统启动依赖，发生的所有中断的次数；然后每个数对应一个特定的中断自系统启动以来所发生的次数。
ctxt                      这行展示自系统启动以来CPU发生的上下文交互的次数
btime                     这行展示从系统启动到现在为止的时间（以UTC时间开始计算，单位为秒）
processes                 这行展示自系统启动以来所创建的任务的个数
procs_runnig              这行显示当前运行队列的任务数目
procs_blocked             这行显示当前被阻塞的任务数目
spftirq                   这行显示软中断的情况

脚本主体

[root@135 27_cpu_info]# cat cpu_info.sh
#!/bin/bash
#获取当前CPU的性能数据
integrated_data(){
  #定义字符颜色
  red_c='\033[31m'
  gre_c='\033[32m'
  yel_c='\033[33m'
  blu_c='\033[34m'
  title_c='\033[35m'
  end_c='\033[0m'

  #获取间隔一秒的CPU性能数据文件。
  old_data_m=`cat /proc/stat`
  sleep 1
  new_data_m=`cat /proc/stat`
  old_data=`echo "$old_data_m"|awk '/cpu\>/'`
  new_data=`echo "$new_data_m"|awk '/cpu\>/'`  

  #获取CPU总时间
  total_time_old=`echo "$old_data "|awk '{for(i=2;i<=NF;i++){sum+=$i}}END{print sum}' `
  total_time_new=`echo "$new_data "|awk '{for(i=2;i<=NF;i++){sum+=$i}}END{print sum}' `
  let total_time=${total_time_new}-${total_time_old}

  #echo "老数据总时间：$total_time_old"
  #echo "新数据总时间：$total_time_new"
  #echo "总时间：$total_time"

  #计算CPU使用率
  idle_old=`echo "$old_data "|awk '{printf $5}' `
  idle_new=`echo "$new_data "|awk '{printf $5}' `
  let idle=${idle_new}-${idle_old}
  let cpu_usage_per=100*$idle/$total_time

  #echo "老空闲时间：$idle_old"
  #echo "新空闲时间：$idle_new"
  #echo "空闲时间：$idle"

  #队列信息
  r_q_num=`echo "$new_data_m"|awk '/procs_running\>/{printf $2}'`
  b_q_num=`echo "$new_data_m"|awk '/procs_blocked\>/{printf $2}'`

  #如果cpu空闲大于90则输出绿色字体，如果大于50则输出黄色字体，其他情况输出红色字体。
  if [ $cpu_usage_per -gt 90 ];then
     font_c=$gre_c
  elif [ $cpu_usage_per -gt 50 ];then
     font_c=$yel_c
  else
     font_c=$red_c
  fi

  #输出信息
  echo -e "${title_c}------------CPU------------${end_c}"
  echo -e "CPU空闲率为: ${font_c}$cpu_usage_per% ${end_c}"
  echo -e "当前运行队列：${blu_c}$r_q_num ${end_c}"
  echo -e "当前阻塞队列：${blu_c}$b_q_num ${end_c}\n"

}

#主函数
main(){
  integrated_data
}

#调用主函数
main

结果

CPU使用率高

CPU使用率低

**************************************************************************************************************2021年2月22日脚本结束*****************************************************************************************************************

21年2月23日-磁盘性能获取脚本

************************************************************************************************************************************************************************************************************************************

脚本说明

脚本读取/proc/diskstats文件，整理获取所有磁盘当前使用情况。适用于多种操作系统。

占坑。

文件说明

disk_io_info.sh：脚本主体文件

配置文件

#rhel8及4.18内核以上版本比其他的会多4列，平常的io计算中不会用到。
[root@135 28_disk_io_info]# awk  '$3~/[svx]d[a-z]$/{print}' /proc/diskstats
   8       0 sda 4247 38 384134 1869 759 259 77160 927 0 2883 798 0 0 0 0
   8      16 sdb 352 0 16640 77 168 48 3213 214 0 324 142 0 0 0 0
   8      32 sdc 414 13 16234 86 3 0 4104 8 0 117 18 0 0 0 0
   8      48 sdd 268 0 13558 44 2 0 4096 11 0 82 18 0 0 0 0
   8      64 sde 176 0 13234 24 1 0 8 4 0 56 4 0 0 0 0

#rhel6数据展示
[root@oracle_pref ~]# awk  '$3~/[svx]d[a-z]$/{print}' /proc/diskstats
   8       0 sda 18294 25 1063344 10154 6620 2298 234816 6234 0 10553 16359
   8      16 sdb 373 0 2848 76 143 2 1192 166 0 159 242

解释：

第4列           读完成次数 ----- 读磁盘的次数，成功完成读的总次数。
第5列           合并读完成次数， 第6个域：合并写完成次数。为了效率可能会合并相邻的读和写。从而两次4K的读在它最终被处理到磁盘上之前可能会变成一次8K的读，才被计数（和排队），因此只有一次I/O操作。这个域使你知道这样的操作有多频繁。
第6列           读扇区的次数，成功读过的扇区总次数。
第7列           读花费的毫秒数，这是所有读操作所花费的毫秒数（用__make_request()到end_that_request_last()测量）。
第8列           写完成次数 ----写完成的次数，成功写完成的总次数。
第9列           合并写完成次数 -----合并写次数。
第10列           写扇区次数 ---- 写扇区的次数，成功写扇区总次数。
第11列           写操作花费的毫秒数  ---  写花费的毫秒数，这是所有写操作所花费的毫秒数（用__make_request()到end_that_request_last()测量）。
第12列           正在处理的输入/输出请求数 -- -I/O的当前进度，只有这个域应该是0。当请求被交给适当的request_queue_t时增加和请求完成时减小。
第13列          输入/输出操作花费的毫秒数  ----花在I/O操作上的毫秒数，这个域会增长只要field 9不为0。
第14列          输入/输出操作花费的加权毫秒数 -----  加权， 花在I/O操作上的毫秒数，在每次I/O开始，I/O结束，I/O合并时这个域都会增加。这可以给I/O完成时间和存储那些可以累积的提供一个便利的测量标准。

脚本主体

[root@135 28_disk_io_info]# cat hello_word.sh
#!/bin/bash
echo -e "\n\033[31m=============================="
echo -e "\033[32mhello word !"
echo -e "\033[31m==============================\033[0m\n"

结果

现在还没找到如何通过/proc/diskstats文件计算出io性能，先占个位。

**************************************************************************************************************2021年2月23日脚本结束*****************************************************************************************************************

21年2月24日-docker镜像版本显示

************************************************************************************************************************************************************************************************************************************

脚本说明

脚本获取用户输入的镜像名称在dockerhub中列出所有该镜像的版本，用户可以根据版本号获取到自己对应版本的镜像。

用户先使用dockers search 镜像获取到所有相关镜像的镜像仓库。

脚本使用步骤:

第一步：执行  docker  search  镜像名  如：docker search httpd

第二步：执行脚本，脚本文件后一定要跟第一步查出来的镜像名。

文件说明

docker_image_list.sh：脚本主体文件

脚本主体

[root@135 29_docker_image_list]# cat docker_image_list.sh
#!/bin/bash
get_all_version(){
  repo_url=https://registry.hub.docker.com/v1/repositories
  image_name=${1:-null}
  if [ $image_name == 'null' ];then
    echo "大哥下次您还是输入点啥吧，谢谢！！！"
    exit 99
  fi
  echo -e  "\nInput values:  \033[34m$1\033[0m"
  echo -e  "Display \033[34m$image_name\033[0m version list\n"

  echo -e "The generated image pull command is as follows: \033[32m"
  curl -s ${repo_url}/${image_name}/tags|  sed 's#\}\,#\n#g' | awk -F':' '{print $NF}' | sed  -e 's#\"##g' -e 's# ##g'  | awk 'BEGIN{OFS=""}{print "docker pull  '$image_name':",$1}'
  echo -e "\033[0m"
}

#调用函数
get_all_version $1

结果

执行docker search httpd结果

 执行脚本结果

**************************************************************************************************************2021年2月24日脚本结束*****************************************************************************************************************

21年2月25日-docker安装脚本

************************************************************************************************************************************************************************************************************************************

脚本说明

在可以连接到互联网的设备上执行该脚本实现自动配置yum源安装docker并初始化docker环境，自动pull一个镜像下来测试docker是否安装成功。

在使用脚本时可以手动指定docker-ce版本默认情况下是最新版。

文件说明

auto_install_docker.sh：脚本主体文件

脚本主体

[root@136-b 30_auto_install_docker]# cat auto_install_docker.sh
#!/bin/bash
#该安装脚本只适用于rhel系列的操作系统，官方也有自动安装脚本
#https://get.docker.com
#https://get.daocloud.io/docker
#执行命令如下：
#1.curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
#2.curl -sSL https://get.daocloud.io/docker | sh

#检查环境，设置yum源
check_and_init_env(){
  #判断是否存在docker容器，通过是否有命令来判断
  if which docker &>/dev/null;then
    echo  -e "\033[31mWaring: Docker Container installed ！！！！！\033[0m"
    exit 99
  fi  

  #backup repo file
  mkdir -p /etc/yum.repos.d/install_docker_begin_bakcup
  mv /etc/yum.repos.d/* /etc/yum.repos.d/install_docker_begin_bakcup &> /dev/null

  #截取系统版本号
  version=`awk -F '=' '/VERSION_ID=/{print $2 }' /etc/os-release  | sed 's#\"##g' | awk -F'.' '{print $1}'`

  #配置repo文件,使用的是清华大学的源谢谢。
  > /etc/yum.repos.d/system_base.repo
  > /etc/yum.repos.d/docker-ce.repo
  if [ $version -eq 6 ];then
    echo "System is 6， not install。"
  elif  [ $version -eq 7 ];then
    echo -e "System is 7。\n"
    echo -e '[System_Base] \nname=System_Base \nbaseurl=https://mirrors.tuna.tsinghua.edu.cn/centos/7/os/x86_64/ \nenabled=1 \ngpgcheck=0' >> /etc/yum.repos.d/system_base.repo
  elif  [ $version -eq 8 ];then
    echo "System is 8。\n"
    echo -e '[System_Base] \nname=System_Base \nbaseurl=https://mirrors.tuna.tsinghua.edu.cn/centos/8/BaseOS/x86_64/os/ \nenabled=1 \ngpgcheck=0' >> /etc/yum.repos.d/system_base.repo
    echo -e '[System_AppStream] \nname=System_AppStream \nbaseurl=https://mirrors.tuna.tsinghua.edu.cn/centos/8/AppStream/x86_64/os/ \nenabled=1 \ngpgcheck=0' >> /etc/yum.repos.d/system_base.repo
  fi

  > /etc/yum.repos.d/docker-ce.repo
  echo -e '[docker-ce-stable] \nname=Docker-stable \nbaseurl=https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/$releasever/$basearch/stable \nenabled=1 \ngpgcheck=0' >>/etc/yum.repos.d/docker-ce.repo
  echo -e '[docke-edge] \nname=Docker-edge \nbaseurl=https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/$releasever/$basearch/edge \nenabled=1 \ngpgcheck=0' >>/etc/yum.repos.d/docker-ce.repo
  echo -e '[docker-nightly] \nname=docker-nightly \nbaseurl=https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/$releasever/$basearch/nightly \nenabled=1 \ngpgcheck=0' >>/etc/yum.repos.d/docker-ce.repo
  echo -e '[docker-test] \nname=Docker-test \nbaseurl=https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/centos/$releasever/$basearch/test \nenabled=1 \ngpgcheck=0' >>/etc/yum.repos.d/docker-ce.repo

  echo -e "\033[34m"
  if yum clean all && yum repolist;then
    echo -e "\033[32mInfo: yum repofile configuration successful.\033[0m"
  else
    echo -e "\033[31mError: yum repofile configuration failed.\033[0m"
    exit 77
  fi

}

#安装docker软件
install_docker(){
  #使用yum源安装docker-ce
  #保存清单文件，待会从屏幕接受用户的信息选择对应的版本安装。
  version_list=`yum list docker-ce --showduplicates | grep '^docker' | sort -r  | awk '{print NR,$0}'`
  echo -e '\033[34mAll docker version list:\033[36m'
  echo -e "$version_list\033[0m"
  read -p "Please chose you Version to be installed，Fill in the corresponding numbers,Default stable version.: " input_n

  echo "Your input nuber values: $input_n"

  if [ ! ${input_n} ];then
    input_n=`yum list docker-ce --showduplicates | grep '^docker' | sort -r  | awk '{print NR,$0}' |grep stable | awk 'NR==1{printf $1}'`
    echo -e "\033[33mUser not input values,default chose number: ${input_n}\033[0m"
  fi

  echo "测试节点1"
  #获取到对应的版本
  docker_v=`echo "${version_list}"|awk -v var=$input_n '$1==var{printf $3}'|awk -F':' '{printf $2}'`

  #安装containerd.io
  echo "测试节点2" 

  #测试安装containerd软件
  if rpm -qa | grep -i containerd &>/dev/null || yum install containerd.io -y ;then
    echo -e "\033[32mcontainerd软件安装完成或已经安装\033[0m"
    docker_r=0
  else
    echo -e "\033[31mcontainerd软件安装失败\033[0m"
    docker_r=1
  fi

  #安装docker-ce
  yum install docker-ce-${docker_v} -y
  if [ $? -eq 0 ];then
    echo -e '\033[32mdocker-ce install successful.\033[0m'
    docker_r=0
  else
    echo -e '\033[31mdocker-ce install failed.\033[0m'
    docker_r=1
  fi

  #安装docker-ce-cli
  if rpm -qa docker-ce-cli &>/dev/null || yum install docker-ce-cli-${docker_v} -y ;then
    echo -e '/033[32mdocker-ce-cli install successful./033[0m'
    docker_c_r=0
  else
    echo -e '/033[31mdocker-ce-cli install failed./033[0m'
    docker_c_r=1
  fi

  #判断次安装命令是否执行成功。
  if [ $docker_r -eq 0 ] && [ $docker_c_r -eq  0 ];then
    echo -e "\033[32mInfo:Docker install successful.\033[0m"
  else
    echo -e "\033[31mError:Dockerinstall failed.\033[0m"
  fi

  #判断软件是否存在于系统中，再次确认谨慎点好
  soft_num=`rpm -qa  |grep docker |wc -l`
  if [  ${soft_num} -ge 2 ];then
    echo -e "\033[32mInfo:Check again Docker install successful.\033[0m"
  else
    echo -e "\033[31mError:Check again Dockerinstall failed.\033[0m"
  fi
}

#初始化docker容器，加入到开机启动项，设置镜像仓库加速,并启动docker软件
init_docker(){
  #再次判断是否有docker软件
  soft_num=`rpm -qa  |grep docker |wc -l`
  if [  ${soft_num} -lt 2 ];then
    echo -e "\033[31mDocker 软件是否安装?\033[0m"
    exit 88
  fi

  #开机启动
  systemctl  enable  docker

  #添加daemon文件
  if [ -f /etc/docker/daemon.json ];then
    cp -rp /etc/docker/daemon.json /etc/docker/daemon.json.bak
  fi
  echo -e '{\n"registry-mirrors": ["https://sdmy9bft.mirror.aliyuncs.com"]\n}' > /etc/docker/daemon.json
  systemctl  daemon-reload

  #启动软件
  echo "测试节点3"
  systemctl  restart docker
  echo "测试节点4"
}

#使用命令拉取一个busybox镜像下来输出一个hello word命令
test_docker(){
  systemctl  status docker &>/dev/null
  if [ ! $? -eq 0 ];then
    echo -e "\033[31mdocker服务运行异常，不进行容器测试操作。\033[0m"
    exit 99
  fi

  docker_name=`date +"%k"`

  if docker pull busybox &>/dev/null;then
    echo -e "\033[32m镜像拉取成功，哈哈。\033[0m"
    docker run --name  test_${docker_name:-test}  busybox echo "hello word!"
    if [ $? -eq 0 ];then
      echo -e "\033[32m测试运行镜像成功，哈哈。\033[0m"
      docker rm test_${docker_name:-test} &>/dev/null
    else
      echo -e "\033[31m测试运行镜像失败，哈哈。\033[0m"
    fi
  else
    echo -e "\033[31m镜像拉取失败，哈哈。\033[0m"

  fi
}

main(){
  #按实际需求选择启用对应的函数，不使用的使用#号注释掉.
  check_and_init_env
  install_docker
  init_docker
  test_docker
}

main

结果

环境中没有docker

docker软件已安装

**************************************************************************************************************2021年2月25日脚本结束*****************************************************************************************************************