Keepalived高可用服务

Keepalived高可用服务

避免负载均衡服务出现单点问题

高可用服务原理

Keepalived的工作原理：

Keepalived高可用对之间是通过VRRP通信的，因此，我从 VRRP开始了解起：

1) VRRP,全称 Virtual Router Redundancy Protocol,中文名为虚拟路由冗余协议，VRRP的出现是为了解决静态路由的单点故障。

2) VRRP是通过一种竟选协议机制来将路由任务交给某台 VRRP路由器的。

3) VRRP用 IP多播的方式（默认多播地址（224.0.0.18))实现高可用对之间通信。

4)工作时主节点发包，备节点接包，当备节点接收不到主节点发的数据包的时候，就启动接管程序接管主节点的开源。备节点可以有多个，通过优先级竞选，但一般Keepalived系统运维工作中都是一对。

5) VRRP使用了加密协议加密数据，但Keepalived官方目前还是推荐用明文的方式配置认证类型和密码。

介绍完 VRRP,接下来我再介绍一下 Keepalived服务的工作原理：

Keepalived高可用之间是通过 VRRP进行通信的， VRRP是通过竞选机制来确定主备的，主的优先级高于备，因此，工作时主会优先获得所有的资源，备节点处于等待状态，当主挂了的时候，备节点就会接管主节点的资源，然后顶替主节点对外提供服务。

在 Keepalived服务对之间，只有作为主的服务器会一直发送 VRRP广播包,告诉备它还活着，此时备不会枪占主，当主不可用时，即备监听不到主发送的广播包时，就会启动相关服务接管资源，保证业务的连续性.接管速度最快可以小于1秒。

部署高可用服务

利用keepalived软件实现

作用：

1.为LVS服务而诞生出来的

2.实现高可用服务功能

第一个历程：准备高可用服务架构

lb01	lb02
10.0.1.5	10.0.1.6

第二个历程：安装keepalived软件

#lb01
[root@lb01 ~]# yum -y install keepalived

#lb02
[root@lb02 ~]# yum -y install keepalived

keepalived配置文件说明

/etc/keepalived/keepalived.conf
 GLOBAL CONFIGURATION		---	全局配置部分
 VRRPD CONFIGURATION		--- VRRP协议配置部分
 LVS CONFIGURATION			--- LVS服务管理配置部分

[root@lb01 ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {					---	全局配置部分
   notification_email {			 --- 设置发送邮件信息的收件人
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc	---	设置连接的邮箱服务器信息
   smtp_server 192.168.200.1	---	设置邮箱服务器
   smtp_connect_timeout 30		---	定义超时时间
   router_id LVS_DEVEL			---	高可用集群主机身份标识(集群中主机身份标识名称不能重复)
}

vrrp_instance VI_1 {			---	定义实例名称
    state MASTER				---	标识所在家族中的身份(MASTER/BACKUP)
    interface eth0				---	指定虚拟IP地址出现在什么网卡上
    virtual_router_id 51		 --- 标识家族身份信息(多台高可用服务器配置要一直)
    priority 100				---	设定优先级(优先级越高，就越有可能成为主)
    advert_int 1				---	定义组播包发送的间隔时间(秒)(主和备配置须一致)
    authentication {			---	实现通讯需要有认证功能
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {			---	配置虚拟IP地址信息
        192.168.200.16
        192.168.200.17
        192.168.200.18
    }
}
[root@lb01 ~]#

第三个历程：编写keepalived配置文件

lb01

[root@lb01 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id lb01
}

vrrp_instance test {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 150
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.0.1.3/24
    }
}

lb02

[root@lb02 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id lb02
}

vrrp_instance test {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.0.1.3/24
    }
}

第四个历程：启动keepalived服务

#lb01
[root@lb01 ~]# systemctl start keepalived

#lb02
[root@lb02 ~]# systemctl start keepalived

第四个历程：进行访问测试

高可用服务应用

高可用服务常见异常问题 --- 脑裂问题

什么是裂脑

由于某些原因,导致两台高可用服务器对在指定时间内,无法检测到对方的心跳消息,各自取得资源及服务的所有权,而此时的两台高可用服务器都还活着并在正常运行,这样就会导致同一个IP或服务在两端同时存在而发生冲突,最严重的是两台服务器占用同一个VIP地址,当用户写入数据时可能会分别写入到两端,这可能会导致服务器两端的数据不一致或造成数据丢失,这种情况就被成为裂脑.

导致裂脑发生的原因

一般来说,裂脑的发生,有以下几种原因

• 高可用服务器对之间心跳线链路发生故障,导致无法正常通信
• 心跳线坏了(包括断了,老化)
• 网卡及相关驱动坏了,IP配置及冲突问题(网卡直连)
• 心跳线之间连接的设备故障(网卡及交换机)
• 高可用服务器上开启了iptables防火墙阻挠了心跳信息传输
• 高可用服务器上心跳网卡地址等信息配置不正确,导致发送心跳失败
• 其他服务配置不当等原因,如心跳方式不同,心跳广播冲突,软件bug等.

解决裂脑的常见方法

在实际成产环境中,我们可以从以下几个方面来防止裂脑问题发生:

同时使用串行电缆和以太网电缆连接,同时用两条心跳线,这样一条线路坏了,另一个还是好的,依然能传送心跳信息.

当检测到裂脑时强行关闭一个心跳节点(这个功能需要特殊设备支持,如stonith,fence)相当于备节点接收不到心跳信息,通过单独的线路发送命令关闭主节点的电源.

做好对裂脑的监控报警(如邮件及手机短信等或值班),在问题发生时人为第一时间介入仲裁,降低损失.

解决keepalived裂脑的常见方案

作为互联网应用服务器的高可用,特别是前端web负载均衡器的高可用,裂脑的问题对普遍业务的影响是可容忍的,如果是数据库或者存储的业务,一般出现裂脑问题就非常严重了.因此,通过增加冗余心跳线来避免裂脑问题发生,同时加强了对系统的监控.

如果开启防火墙,一定要让心跳消息通过.一般通过允许IP段的形式解决

可以拉一条以太网网线或者串口线作为主备节点心跳线路的冗余

开发检测程序通过监控软件检测裂脑,如zabbix检测如果主备都有VIP就报警.

比较严谨的判断,备节点出现对应VIP,并且主节点及对应服务(如果能远程连接主节点看是否有VIP就更好了)还活着,就说明发生裂脑了.

开发检测keepalived裂脑的脚本"

[root@lb01 conf.d]# vim /server/scripts/check_keepalived.sh
#!/bin/bash
lb01_vip=10.0.1.3
lb01_nginx=$(curl -x 10.0.1.5:80 -I -s -w "%{http_code}\n" -o /dev/null  blog.test.com)
if [ ${lb01_nginx} -eq 200 -a `ip add|grep "$lb01_vip"|wc -l` -eq 1 ];then
    echo "ha is bad" >> /tmp/check.txt
    systemctl stop keepalived
else
    echo "ha is ok" >> /tmp/check.txt
fi

如何实现keepalived服务自动释放vip地址资源

nginx+keepalived：nginx负载停止，keepalived也必须停止

第一个历程：编写监控nginx服务状态监控

[root@lb01 ~]# cat /server/scripts/check_web.sh
#!/bin/bash
num=`ps -ef | grep -c nginx`
if [ $num -lt 2 ];then
  systemctl stop keepalived
fi
[root@lb01 ~]#

第二个历程：实时监控nginx服务状态---keepalived配置文件

[root@lb01 ~]# vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id lb01
}

vrrp_script check_web {
    script "/server/scripts/check_web.sh"
    interval 2
    weight 2
}
vrrp_instance test {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 150
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.0.1.3/24
    }

    track_script {
        check_web
    }
}

配置解释

vrrp_script check_web {
    script "/server/scripts/check_web.sh"	---	定义需要监控脚本(脚本需要有执行权限)
    interval 2							  --- 执行脚本间隔时间(秒)
    weight 2	  --- 利用权重值和优先级进行运算，从而降低主服务优先级使之变为备服务器（建议先忽略）
}			     求和运算：weight数值必须是整数	weight + priority 自动提升优先级，使主机可以成为主服务器
				求差运算：weight数值必须是负数 weight - priority 自动降低优先级，使主机可以成为备服务器
track_script {
    check_web							  --- 调用你执行的脚本信息
}

高可用集群双主配置

第一个历程：编写lb01的keepalived配置文件

[root@lb01 ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id lb01
}

vrrp_instance test {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 150
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
	10.0.1.3/24
    }
}

vrrp_instance test2 {
    state BACKUP
    interface eth0
    virtual_router_id 52
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
	10.0.1.4/24
    }
}
[root@lb01 ~]# 

第二个历程：编写lb02的配置keepailved文件

[root@lb02 ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id lb02
}

vrrp_instance test {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
	10.0.1.3/24
    }
}

vrrp_instance test2 {
    state MASTER
    interface eth0
    virtual_router_id 52
    priority 150
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
	10.0.1.4/24
    }
}
[root@lb02 ~]# 

第三个历程：配置nginx负载均衡服务

#lb01和lb02一样
[root@lb02 ~]# vim /etc/nginx/conf.d/lb.conf
upstream test {
  server 10.0.1.7:80;
  server 10.0.1.8:80;
  server 10.0.1.9:80;
}
server {
    listen       80;
    server_name  www.test.com;
    location / {
      proxy_pass http://test;
      proxy_set_header Host $host;
      proxy_set_header X-Forwarded-For $remote_addr;

    }
}
server {
    listen       80;
    server_name  bbb.test.com;
    location / {
      proxy_pass http://test;
      proxy_set_header Host $host;
      proxy_set_header X-Forwarded-For $remote_addr;

    }
}

第三个历程：重启服务

#lb01
[root@lb01 ~]# systemctl restart keepalived
[root@lb01 ~]# systemctl restart nginx

#lb02
[root@lb02 ~]# systemctl restart keepalived.service
[root@lb02 ~]# systemctl restart nginx

访问测试

高可用服务安全配置(负载均衡服务)

lb01和lb02负载均衡服务器配置一样

第一个历程：修改nginx负载均衡文件

[root@lb01 conf.d]# vim lb.conf
upstream test {
  server 10.0.1.7:80;
  server 10.0.1.8:80;
  server 10.0.1.9:80;
}
server {
    listen 10.0.1.3:80;
    server_name  www.test.com;
    location / {
      proxy_pass http://test;
      proxy_set_header Host $host;
      proxy_set_header X-Forwarded-For $remote_addr;
    }
}
server {
    listen 10.0.1.4:80;
    server_name  bbb.test.com;
    location / {
      proxy_pass http://test;
      proxy_set_header Host $host;
      proxy_set_header X-Forwarded-For $remote_addr;

    }
}

第二个历程：修改内核信息

[root@lb01 conf.d]# echo 'net.ipv4.ip_nonlocal_bind = 1' >>/etc/sysctl.conf
[root@lb01 conf.d]# sysctl -p
net.ipv4.ip_nonlocal_bind = 1
[root@lb01 conf.d]#

第三个历程：重启nginx服务

[root@lb01 conf.d]# systemctl restart nginx
[root@lb01 conf.d]# netstat -lntup|grep nginx
tcp        0      0 10.0.1.4:80             0.0.0.0:*               LISTEN      6294/nginx: master
tcp        0      0 10.0.1.3:80             0.0.0.0:*               LISTEN      6294/nginx: master
[root@lb01 conf.d]#