集群（heartbeat）搭建

　　HA 即（high available cluster）高可用集群，又称双机热备，保证关键性业务的不间断提供服务。 如：两台机器A和B，正常情况A提供服务，B待命闲置；一但A宕机或服务宕掉，自动切换至B机继续提供服务。实现高可用的开源软件有heartbeat和keepalived，其中keepalived还有负载均衡的功能。heartbeat作为常用集群开源软件，熟悉它的配置方法，非常有必要。

说明：以下是heartbeat的yum安装和配置的方法介绍，需要扩展epel源，如果没有，执行命令：

# yum install -y epel-release

 1. 试验环境：
　　两个CentOS 6.0 64位虚拟机（master：eth1: 192.168.220.11；slave：eth1: 192.168.220.22），master主机设置一个虚拟ip作为心跳线（虚拟机只有一个网卡，实际应用中应该有多个网卡，或者用串口来连接，否则会有不安全因素）

2. 前期准备：
   【1】修改hostname：(修改hostname的目的是为了便于记忆，hostname可以自定义)
　　master主机：

# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
# hostname master;bash

　　slave主机：

# vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=slave
# hostname slave;bah

【2】修改/etc/hosts文件（两台主机作同样的配置）

# vim /etc/hosts
192.168.220.11 master
192.168.220.22 slave

【3】关闭防火墙

# iptables -F
# getenforce  //若get到Disabled，不需做配置；若get到的是Enforcing，作如下修改：
# vim /etc/selinux/config
SELINUX=enforcing --> SELINUX=disabled

【4】虚拟ip的设定

# cd /etc/sysconfig/network-scripts
# cp ifcfg-eth1 ifcfg-eth1:0
# vim ifcfg-eth1:0   //简单配置，很多参数都不需要设定，如下：
DEVICE=eth1:0   //修改为eth1:0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.220.33   //修改为33
NETMASK=255.255.255.0
# /etc/init.d/network restart
# ifconfig   //配置正确的话，能列出eth1:0虚拟网卡的信息

 

3. heartbeat的安装和配置：
 【1】yum安装：# yum install -y heartbeat* libnet nginx   //依赖libnet，nginx是我们试验的服务，可以用yum安装。
 【2】master主机的配置：

# cd /usr/share/doc/heartbeat-3.0.4/   //注意版本的问题，可以不是3.0.4
# cp authkeys ha.cf haresources /etc/ha.d/   //拷贝3个核心配置文件
# cd /etc/ha.d

　　（1）修改authkeys

# vim authkeys   //最后4行配置如下：
    # auth 1
    #1 crc   //最不严谨
    #2 sha1 HI!   //最严谨
    #3 md5 Hello!   //中间值

　　将第一行的auth后面的值修改成3，并且，打开最后一行的注释，即选择中间严谨的类型。

# chmod 600 authkeys   //修改权限为600，否则heartbeat无法启动

　　（2）修改haresources

# vim haresources   //默认是全部注释的，所以可以在后面追加一行：
master 192.168.220.33/24/eth1:0 nginx   //注意这里的ip是虚拟网卡的ip，即心跳线的配置ip，24规定网段，nginx是我们要试验的服务名称

　　（3）修改ha.cf

# > ha.cf   //清空配置
# vim !$   //编辑，添加如下配置：
    debugfile /var/log/ha-debug   //排错日志路径
    logfile /var/log/ha-log   //运行日志
    logfacility local0
    keepalive 2
    deadtime 30
    warntime 10
    initdead 60
    udpport 694
    ucast eth1 192.168.220.22   //slave的网卡ip
    auto_failback on
    node master
    node slave
    ping 192.168.220.2   //仲裁地址，一般为路由器地址，或者一个稳妥的、服务稳定的ip
    respawn hacluster /usr/lib64/heartbeat/ipfail   //注意: 32bit的linux系统，路径为lib，而非lib64，如下：
##########   ERROR: Client child command [/usr/lib/heartbeat/ipfail] is not executable   ##############

　　（4）复制配置文件到slave主机：

# scp authkeys ha.cf haresources slave:/etc/ha.d/

【3】slave主机的配置：    只需要修改ha.cf:

ucast eth1 192.168.220.22 --> ucast eth1 192.168.220.11   //将ip改成master的ip地址

【4】启动heartbeat（先master，后slave）

　　（1）master主机

# /etc/init.d/heartbeat start
Starting High-Availability services: INFO:  Running OK
CRITICAL: Resource 192.168.220.33/24/eth1:0 is active, and should not be!
CRITICAL: Non-idle resources can affect data integrity!
info: If you don't know what this means, then get help!
info: Read the docs and/or source to /usr/share/heartbeat/ResourceManager for more details.
CRITICAL: Resource 192.168.220.33/24/eth1:0 is active, and should not be!
CRITICAL: Non-idle resources can affect data integrity!
info: If you don't know what this means, then get help!
info: Read the docs and/or the source to /usr/share/heartbeat/ResourceManager for more details.
CRITICAL: Non-idle resources will affect resource takeback!
CRITICAL: Non-idle resources may affect data integrity!
Done.

　　heartbeat会自动拉起nginx，不过第一次启动会比较慢。过一段时间（10S多），检查nginx是否被拉起：

# ps aux |grep nginx

　　（2）修改nginx的index.html，方便查看机器的运行状况：

# > /usr/share/doc/nginx/html/index.html   //清空
# echo "masterMMMMMMMMMMMM" > !$

　　如果nginx已经启动，在浏览器里面输入下面网址：192.168.220.33，应该可以得到回执结果（虚拟网卡的ip）： masterMMMMMMMMMMMM

　　（3）slave主机：
　　正常情况下，nginx是不被拉起的，因为主机还没宕机，所以ps aux |grep nginx的结果是空。
修改nginx的index.html：

# > /usr/share/doc/nginx/html/index.html
# echo "slaveSSSSSSSSSSSSSS" > !$

　　心跳线检测的原理是ping，那么我们将master的ping服务关闭，heartbeat检测到ping失败后，会将nginx的服务转给slave来执行：
　　iptables -A INPUT -p icmp -j DROP   //ping命令来自icmp协议，关掉协议，ping失效。
　　这时候，可以用tail -f /var/log/ha-log命令来查看heartbeat的处理过程：

　　master的ha-log日志内容：

Jan 11 22:47:32 master heartbeat: [2574]: WARN: node 192.168.220.2: is dead    //ping 192.168.220.2路由器失败
Jan 11 22:47:32 master ipfail: [2601]: info: Status update: Node 192.168.220.2 now has status dead
Jan 11 22:47:32 master heartbeat: [2574]: info: Link 192.168.220.2:192.168.220.2 dead.   //路由器挂了
harc(default)[2929]:	2016/01/11_22:47:32 info: Running /etc/ha.d//rc.d/status status
Jan 11 22:47:33 master ipfail: [2601]: info: NS: We are dead. :<
Jan 11 22:47:33 master ipfail: [2601]: info: Link Status update: Link 192.168.220.2/192.168.220.2 now has status dead
Jan 11 22:47:34 master ipfail: [2601]: info: We are dead. :<  //哦，原来是我们自己挂了
Jan 11 22:47:34 master ipfail: [2601]: info: Asking other side for ping node count.
Jan 11 22:47:37 master ipfail: [2601]: info: Giving up because we were told that we have less ping nodes.
Jan 11 22:47:37 master ipfail: [2601]: info: Delayed giveup in 4 seconds.
Jan 11 22:47:41 master ipfail: [2601]: info: giveup() called (timeout worked)
Jan 11 22:47:42 master heartbeat: [2574]: info: master wants to go standby [all]
Jan 11 22:47:42 master heartbeat: [2574]: info: standby: slave can take our all resources   //从可接管服务
Jan 11 22:47:42 master heartbeat: [2956]: info: give up all HA resources (standby).   //放弃我们的工作
ResourceManager(default)[2969]:	2016/01/11_22:47:42 info: Releasing resource group: master 192.168.220.33/24/eth1:0 nginx
ResourceManager(default)[2969]:	2016/01/11_22:47:42 info: Running /etc/init.d/nginx  stop   //停掉nginx服务
ResourceManager(default)[2969]:	2016/01/11_22:47:42 info: Running /etc/ha.d/resource.d/IPaddr 192.168.220.33/24/eth1:0 stop
IPaddr(IPaddr_192.168.220.33)[3057]:	2016/01/11_22:47:42 INFO: IP status = ok, IP_CIP=
/usr/lib/ocf/resource.d//heartbeat/IPaddr(IPaddr_192.168.220.33)[3031]:	2016/01/11_22:47:42 INFO:  Success
Jan 11 22:47:42 master heartbeat: [2956]: info: all HA resource release completed (standby).
Jan 11 22:47:42 master heartbeat: [2574]: info: Local standby process completed [all].
Jan 11 22:47:43 master heartbeat: [2574]: WARN: 1 lost packet(s) for [slave] [459:461]
Jan 11 22:47:43 master heartbeat: [2574]: info: remote resource transition completed.   //远程资源传递完成
Jan 11 22:47:43 master heartbeat: [2574]: info: No pkts missing from slave!   //没有遗失数据
Jan 11 22:47:43 master heartbeat: [2574]: info: Other node completed standby takeover of all resources.   //slave节点完全接管我们的工作

 　　slave的ha-log内容：

Jan 12 11:48:17 slave ipfail: [115215]: info: Telling other node that we have more visible ping nodes.   //告知master，我们可以ping通
Jan 12 11:48:22 slave heartbeat: [115188]: info: master wants to go standby [all]   //master想让我们接手
Jan 12 11:48:22 slave heartbeat: [115188]: info: standby: acquire [all] resources from master   //接受来自master的资源
Jan 12 11:48:22 slave heartbeat: [115841]: info: acquire all HA resources (standby).
ResourceManager(default)[115854]:	2016/01/12_11:48:22 info: Acquiring resource group: master 192.168.220.33/24/eth1:0 nginx
/usr/lib/ocf/resource.d//heartbeat/IPaddr(IPaddr_192.168.220.33)[115882]:	2016/01/12_11:48:22 INFO:  Resource is stopped
ResourceManager(default)[115854]:	2016/01/12_11:48:22 info: Running /etc/ha.d/resource.d/IPaddr 192.168.220.33/24/eth1:0 start   //启动心跳线网卡
IPaddr(IPaddr_192.168.220.33)[116015]:	2016/01/12_11:48:22 INFO: Adding inet address 192.168.220.33/24 with broadcast address 192.168.220.255 to device eth1 (with 

label eth1:0)   //虚拟网卡指向我们的网卡
IPaddr(IPaddr_192.168.220.33)[116015]:	2016/01/12_11:48:22 INFO: Bringing device eth1 up
IPaddr(IPaddr_192.168.220.33)[116015]:	2016/01/12_11:48:22 INFO: /usr/libexec/heartbeat/send_arp -i 200 -r 5 -p /var/run/resource-agents/send_arp-192.168.220.33 eth1 

192.168.220.33 auto not_used not_used
/usr/lib/ocf/resource.d//heartbeat/IPaddr(IPaddr_192.168.220.33)[115989]:	2016/01/12_11:48:22 INFO:  Success   //网卡配置完毕
ResourceManager(default)[115854]:	2016/01/12_11:48:22 info: Running /etc/init.d/nginx  start   //启动nginx服务
Jan 12 11:48:23 slave heartbeat: [115841]: info: all HA resource acquisition completed (standby).   //所有HA资源接手完毕
Jan 12 11:48:23 slave heartbeat: [115188]: info: Standby resource acquisition done [all].   //资源接手完毕
Jan 12 11:48:24 slave heartbeat: [115188]: info: remote resource transition completed.   //远程资源传送完毕，完活儿！！！

　　根据这些内容，我们可以知道heartbeat的运行过程；如此，在浏览器输入心跳线网卡地址的时候：192.168.220.33，得到如下返回结果：
slaveSSSSSSSSSSSSSS
　　这时候，master的nginx被关闭，而slave的nginx正式接手，完成了服务的不间断提供。
　　如果刚才不是用防火墙，而是执行命令，将heartbeat服务关闭，结果也是一样的，slave会接手nginx服务。那么，如果将ipatables刚设的规则去掉，或者重新开启heartbeat服务，会怎么样呢？

# ipatales -D INPUT -p icmp -j DROP
# service heartbeat start

　　 结果是，slave自动关闭nginx，master的nginx又重新启动，接手web服务，可以自己亲自试验一下。刷新浏览器，可以清楚的看到结果。