大数据学习——shell编程

03/ shell编程综合练习

自动化软件部署脚本

3.1 需求

1、需求描述

公司内有一个N个节点的集群，需要统一安装一些软件（jdk）

需要开发一个脚本，实现对集群中的N台节点批量自动下载、安装jdk

2、思路

1/ 编写一个启动脚本，用来发送一个软件安装脚本到每一台机器

2/ 然后启动每台机器上的软件安装脚本来执行软件下载和安装

3、expect的使用

痛点：使用scp命令远程拷贝文件时，会有人机交互的过程，如何让脚本完成人机交互？

妙药： expect

用法示例：

先观察 ssh localhost 的过程

再看expect的功能

#!/bin/bash/expect

## exp_test.sh

set timeout -1;

spawn ssh localhost;

expect {

"(yes/no)" {send "yes\r";exp_continue;}

"password:" {send "hadoop\r";exp_continue;}

eof {exit 0;}

}

执行： expect -f exp_test.sh

3.2 准备内网软件下载服务器

选择一台服务器（比如mini）作为软件源服务器

1、安装httpd （如果已有，可跳过）

yum install -y httpd

service httpd start

chkconfig --level 35 httpd on

2、制作局域网yum源

1/ 挂载centos安装光盘到/mnt/cdrom （如果已有，可跳过）

mkdir /mnt/cdrom

mount -t iso9660 -o loop /dev/cdrom /mnt/cdrom

2/ 将本地yum库放入httpd服务器

ln -s /mnt/cdrom /var/www/html/centos

检查点：用浏览器访问 http://mini/centos 看能否看到光盘内容

3、编写repo配置

vi /etc/yum.repos.d/centos.repo

[c6-httpd]

name=CentOS-httpd

baseurl=http://192.168.33.3/centos

gpgcheck=0

enabled=1

4、分发repo配置到局域网

从母鸡shizhan01上把centos.repo拷贝给所有需要自动安装软件的服务器（仔鸡mini1/mini2）

cd /etc/yum.repos.d/

scp /etc/yum.repos.d/innet.repo mini1:$PWD

scp /etc/yum.repos.d/innet.repo mini2:$PWD

5、准备一个jdk安装包放在内网web服务器上

3.3 脚本开发

1、启动脚本

vi boot.sh

#!/bin/bash

SERVERS="mini1 mini2"

PASSWORD=hadoop

BASE_SERVER=192.168.33.11

## 实现免密登陆配置的函数

auto_ssh_copy_id() {

expect -c "set timeout -1;

spawn ssh-copy-id $1;

expect {

*(yes/no)* {send -- yes\r;exp_continue;}

*assword:* {send -- $2\r;exp_continue;}

eof {exit 0;}

}";

}

ssh_copy_id_to_all() {

for SERVER in $SERVERS

auto_ssh_copy_id $SERVER $PASSWORD

done

}

## 调用免密登陆配置函数，实现母鸡到各仔鸡的免密登陆配置

ssh_copy_id_to_all

## 完成分发install.sh到各仔鸡的操作

## 并让仔鸡启动install.sh

for SERVER in $SERVERS

scp install.sh root@$SERVER:/root

ssh root@$SERVER /root/install.sh

done

2、安装执行脚本

vi install.sh

#!/bin/bash

BASE_SERVER=192.168.33.11

## 为本机安装wget命令

yum install -y wget

## 使用wget从母鸡的web服务器上下载jdk压缩包

wget $BASE_SERVER/soft/jdk-7u67-linux-x64.gz

## 将下载的压缩包解压

tar -zxvf jdk-7u67-linux-x64.gz -C /usr/local

## 修改profile配置文件

cat >> /etc/profile << EOF

export JAVA_HOME=/usr/local/jdk1.7.0_67

export PATH=\$PATH:\$JAVA_HOME/bin

EOF

3、启动脚本

只要在baseServer即mini上启动boot.sh即可