keepalived结合nginx实现nginx高可用

1.简介

Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案，可以利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。Keepalived是VRRP的完美实现，因此在介绍keepalived之前，先介绍一下VRRP的原理。

1.VRRP 协议简介

在现实的网络环境中，两台需要通信的主机大多数情况下并没有直接的物理连接。对于这样的情况，它们之间路由怎样选择？主机如何选定到达目的主机的下一跳路由，这个问题通常的解决方法有二种：

在主机上使用动态路由协议(RIP、OSPF等)
在主机上配置静态路由

很明显，在主机上配置动态路由是非常不切实际的，因为管理、维护成本以及是否支持等诸多问题。配置静态路由就变得十分流行，但路由器(或者说默认网关default gateway)却经常成为单点故障。VRRP的目的就是为了解决静态路由单点故障问题，VRRP通过一竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器。

2.VRRP 工作机制

在一个VRRP虚拟路由器中，有多台物理的VRRP路由器，但是这多台的物理的机器并不能同时工作，而是由一台称为MASTER的负责路由工作，其它的都是BACKUP，MASTER并非一成不变，VRRP让每个VRRP路由器参与竞选，最终获胜的就是MASTER。MASTER拥有一些特权，比如，拥有虚拟路由器的IP地址，我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。

VRRP通过竞选协议来实现虚拟路由器的功能，所有的协议报文都是通过IP多播(multicast)包(多播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成，对外表现为一个周知的MAC地址。所以，在一个虚拟路由器中，不管谁是MASTER，对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置，对客户端来说，这种主从的切换是透明的。

在一个虚拟路由器中，只有作为MASTER的VRRP路由器会一直发送VRRP通告信息(VRRPAdvertisement message)，BACKUP不会抢占MASTER，除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息)，多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s)，以保证服务的连续性。由于安全性考虑，VRRP包使用了加密协议进行加密。

3.VRRP 工作流程

(1).初始化：
路由器启动时，如果路由器的优先级是255(最高优先级，路由器拥有路由器地址)，要发送VRRP通告信息，并发送广播ARP信息通告路由器IP地址对应的MAC地址为路由虚拟MAC，设置通告信息定时器准备定时发送VRRP通告信息，转为MASTER状态；否则进入BACKUP状态，设置定时器检查定时检查是否收到MASTER的通告信息。

(2).Master

设置定时通告定时器；
用VRRP虚拟MAC地址响应路由器IP地址的ARP请求；
转发目的MAC是VRRP虚拟MAC的数据包；
如果是虚拟路由器IP的拥有者，将接受目的地址是虚拟路由器IP的数据包，否则丢弃；
当收到shutdown的事件时删除定时通告定时器，发送优先权级为0的通告包，转初始化状态；
如果定时通告定时器超时时，发送VRRP通告信息；
收到VRRP通告信息时，如果优先权为0，发送VRRP通告信息；否则判断数据的优先级是否高于本机，或相等而且实际IP地址大于本地实际IP，设置定时通告定时器，复位主机超时定时器，转BACKUP状态；否则的话，丢弃该通告包；

(3).Backup

设置主机超时定时器；
不能响应针对虚拟路由器IP的ARP请求信息；
丢弃所有目的MAC地址是虚拟路由器MAC地址的数据包；
不接受目的是虚拟路由器IP的所有数据包；
当收到shutdown的事件时删除主机超时定时器，转初始化状态；
主机超时定时器超时的时候，发送VRRP通告信息，广播ARP地址信息，转MASTER状态；
收到VRRP通告信息时，如果优先权为0，表示进入MASTER选举；否则判断数据的优先级是否高于本机，如果高的话承认MASTER有效，复位主机超时定时器；否则的话，丢弃该通告包；

4.ARP查询处理

当内部主机通过ARP查询虚拟路由器IP地址对应的MAC地址时，MASTER路由器回复的MAC地址为虚拟的VRRP的MAC地址，而不是实际网卡的 MAC地址，这样在路由器切换时让内网机器觉察不到；而在路由器重新启动时，不能主动发送本机网卡的实际MAC地址。如果虚拟路由器开启的ARP代理 (proxy_arp)功能，代理的ARP回应也回应VRRP虚拟MAC地址。

2.搭建环境

服务器1：10.63.0.154 安装keeplived并设置priority 优先值为100
服务器2：10.63.0.155 安装keeplived并设置priority 优先值为98
设置两台服务器对应的虚拟ip为：10.63.0.158

3.安装keepalived主节点

在服务器上安装nginx，安装方法可参考文章：FastDFS教程Ⅰ-文件服务器安装与Nginx配置。本次安装keepalived采用yum的模式，在服务器1上安装，主要操作步骤如下：

安装ipvsadm，指令：yum install ipvsadm，安装完成后，可通过指令ipvsadm –v查看版本号。
安装keepalived，指令：yum install keepalived，安装完成后，可通过指令Keepalived –v查看版本号。

创建/usr/local/nginx/nginx_check.sh脚本。脚本内容如下：

#!/bin/bash

#判断nginx服务是否启动，如果不存在，调用nginx启用命令，并停止2秒，若#启动失败，杀掉keepalived

A=`ps -C nginx --no-header |wc -l`

if [ $A -eq 0 ];then

    /usr/sbin/nginx

    sleep 2

    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then

        killall keepalived

    fi

fi

设置nginx_check.sh权限，设置命令为：chmod 777 /usr/local/nginx/nginx_check.sh

配置keepalived节点信息，默认配置文件为/etc/keepalived/keepalived.conf。keepalived.conf配置文件如下：

! Configuration File for keepalived

global_defs {

   router_id nginx_master154

}

vrrp_script chk_nginx {

   script "/usr/local/nginx/nginx_check.sh"

    interval 2

    weight 20

}

vrrp_instance VI_1 {

    state  MASTER

    interface  eth0

    virtual_router_id 154

   mcast_src_ip 10.63.0.154

    priority 100

    nopreempt

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

    }

  track_script {

        chk_nginx

    }

    virtual_ipaddress {

        10.63.0.158

    }

}

}

配置文件关键参数说明：

router_id //定义节点名称
vrrp_script chk_nginx { script "/etc/keepalived/nginx_check.sh" interval 2 weight -20 } //每隔2秒中去执行/etc/keepalived/nginx_check.sh脚本一次，这项检查从开始便一直进行，interval表示间隔时间，weight -20的意思是，脚本执行当判断异常时，把10.63.0.154这个节点的优先级降低20。
state MASTER //表示该节点角色定义为MASTER
virtual_router_id 154 //定义虚拟的节点标识
interface eth0 //定义网卡名称查看服务器网卡名称可通过指令：ifconfig或者ip a，如图：

以上配置文件完成后，启动nginx,启动keepalived，可测试nginx是否可被虚拟ip地址访问。启动keepalived指令：systemctl start keepalived.service，启动后可通过指令 systemctl status keepalived.service查看状态。利用虚拟ip访问nginx主界面截图如下：

3.安装keepalived备用节点

在服务器2上面安装keepalived的方法和服务器1完全一样，在keepalived.conf配置文件中只需修改三个地方：

interface eth0 //定义网卡名称查看服务器2的网卡如网卡名称为 eno24 ,则定义为：interface eno24
priority //优先值设置为98
mcast_src_ip 10.63.0.155

两台服务器上面的keepalived安装成功后，通过虚拟ip10.63.0.158调用测试，发现始终是主节点的页面，不会调用备用节点的页面。设置把服务器1上面的keepalived关闭后，再次调用，会出现备用节点的主界面，如下图：

4.Linux服务管理工具systemctl

Linux中，有service和chkconfig两个命令管理服务。systemctl 是管理服务的主要工具，它整合了chkconfig 与 service功能于一体。(可以通过该命令管理yum安装软件,同时设置是否开机启动)

systemctl is-enabled servicename.service #查询服务是否开机启动
systemctl enable *.service #开机运行服务
systemctl disable *.service #取消开机运行
systemctl start *.service #启动服务
systemctl stop *.service #停止服务
systemctl restart *.service #重启服务
systemctl reload *.service #重新加载服务配置文件
systemctl status *.service #查询服务运行状态
systemctl --failed #显示启动失败的服务

注：*代表某个服务的名字，如http的服务名为httpd

例如在CentOS 7 上安装http

[root@CentOS7 ~]# yum -y install httpd

启动服务（等同于service httpd start） systemctl start httpd.service
停止服务（等同于service httpd stop） systemctl stop httpd.service
重启服务（等同于service httpd restart） systemctl restart httpd.service

查看服务是否运行（等同于service httpd status） systemctl status httpd.service

开机自启动服务（等同于chkconfig httpd on） systemctl enable httpd.service
开机时禁用服务（等同于chkconfig httpd on） systemctl disable httpd.service
ps -ef | grep
nginx #查看服务进程
#非systemctl配置开机启动：chmod +x /etc/rc.d/rc.local
#打开rc.localvi /etc/rc.local
#加入启动脚本其中路径一定要用全路径如：/usr/local/nginx/sbin/nginx