lvs+keepalived 高可用及负载均衡

一、环境准备

VIP:10.18.43.30
dr1:10.18.43.10
dr2:10.18.43.20
web1:10.18.43.13
web2:10.18.43.14

　　结构图

（一）、预处理

　　（１）、关闭所有机器selinux,

vim /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three two values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected.
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted 

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

setenforce 　　　　　　　　　　　　　　　　　　　　#退出保存，执行setenforce  当前生效

　　（２）、关闭所有机器firewalld

systemctl stop firewalld.service 

　　（３）、添加网卡　　

　　在DR1与DR2机器添加个添加一张网卡，(也可以不用添加使用本机网卡，主机有两块网卡，其中一块可以用来检测心跳，MASTER和BACKUP如果无法接收到彼此的组播通知，但是两个节点实际上都处于工作状态，这时两个节点均为MASTER强行绑定虚拟IP，从而导致脑裂。)

（二）、部署处理

部署要使用的相关软件；　

　　可以在nginx 上做七层负载均衡，将四层负载均衡的请求在次分发给后端真实提供web服务的集群，根聚七层负载均衡的算法，调用一台真实wen服务器，来给用户提供服务；（这里没有做七层）

　　（１）、后端部署　　　　　　

nginx编译安装,(在web1和web2执行相同的操作，此处省略web2操作步骤)

groupadd nginx　　　　　　　　　　　　　　　　　　　　　　　　　　#创建nginx组
useradd -r -g nginx -s /bin/nologin nginx　　　　　　　　　　#创建nginx用户并取消shell

wget http://nginx.org/download/nginx-1.14.0.tar.gz        #下载nginx软件包
tar xf nginx-1.14..tar.gz -C /tpm/　　　　　　　　　　　　　　#解压nginx源码包
cd /tmp/nginx-1.14./
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　
./configure \
--prefix=/usr/local/nginx \
--without-select_module \
--without-poll_module \
--with-debug \
--with-http_ssl_module \
--with-http_realip_module \
--with-http_addition_module \
--with-http_sub_module \
--with-http_dav_module \
--with-http_flv_module \
--with-http_xslt_module \
--with-http_gzip_static_module \
--with-http_random_index_module \
--with-http_secure_link_module \
--with-http_degradation_module \
--with-http_stub_status_module \
--with-cc=`which gcc`
 
make -j  && make install

　　（２）、启动nginx服务

cd /usr/local/nginx/
sbin/nginx
[root@web1-１ nginx]# lsof -i:
COMMAND  PID   USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
 
nginx      root    6u  IPv4        0t0  TCP *:http (LISTEN)
 
nginx     nginx    6u  IPv4        0t0  TCP *:http (LISTEN)

　　（３）、设置lo回环地址

　　　　　　　（在web1和web2,执行相同的操作）

[root@web1-1 ~]# echo  > /proc/sys/net/ipv4/conf/all/arp_announce
[root@web1-1 ~]# echo  > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@web1- ~]# ip a a dev lo 10.18.43.30/
[root@web1- ~]# ip a
: lo: <LOOPBACK,UP,LOWER_UP> mtu  qdisc noqueue state UNKNOWN group default qlen
    link/loopback ::::: brd :::::
    inet 127.0.0.1/ scope host lo
       valid_lft forever preferred_lft forever
    inet 10.18.43.30/ scope global lo
       valid_lft forever preferred_lft forever
    inet6 ::/ scope host
       valid_lft forever preferred_lft forever
: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu  qdisc pfifo_fast state UP group default qlen
    link/ether :::ed:d6: brd ff:ff:ff:ff:ff:ff
    inet 10.18.43.13/ brd 10.18.43.255 scope global noprefixroute eth0
       valid_lft forever preferred_lft forever
    inet6 fe80:::ff:feed:d671/ scope link
       valid_lft forever preferred_lft forever

　　测试后端web服务是否正常，（web1,web2执行相同操作）

[root@web1- ~]# curl 10.18.43.13
web1

　　（４）、高可用

　　下载ipvsadm,keepalived,

yum -y install ipvsadm keepalived　　

　　（５）、keepalived部署详解

[root@DR-1- ]# vim /etc/keepalived/keepalived.conf
global_defs {
   router_id lvs                                    　　 #全局配置
}
 
vrrp_instance lvs_keepalived {                           #库名称
    state BACKUP                                    　　  #角色：MASTER    BACKUP
    interface eth0                                  　　  #网卡：这里我们拿eth0做为心跳测试，检测另一台BACKUP存活状态
    virtual_router_id                             　　  #小组段：默认是51
    priority                                     　　  # 服务的优先权最高255
    nopreempt                                       　　  # BACKUP 不抢IP
    advert_int
    authentication {
        auth_type PASS
        auth_pass                                    #小组密码
    }
    virtual_ipaddress {
         10.18.43.30/32 dev eth1                         # 虚拟ip
    }
}
 
virtual_server 10.18.43.30  {
    delay_loop                                          #延时环 6秒
    lb_algo rr                                           #轮询规则rr
    lb_kind DR                                           #使用的工作模式
    persistence_timeout                                #连接超时 时间
    protocol TCP                                         #使用的协议
 
    real_server 10.18.43.13  {
        weight                                          #权重
        TCP_CHECK {
            connect_port                               #监听端口
            connect_timeout                             #连接超时3秒
            nb_get_retry                                #重试连接3次
            delay_before_retry                          #连接超时3重试连接3次
        }
    }
    real_server 10.18.43.14  {
        weight
        TCP_CHECK {
            connect_port
            connect_timeout
            nb_get_retry
            delay_before_retry
        }
    }
}

将这份配置发给dr2,只需要修改优先级；

[root@DR-2- ]# vim /etc/keepalived/keepalived.conf
global_defs {
   router_id lvs                                    　　 #全局配置，全局必须一致
}
 
vrrp_instance lvs_keepalived {                           #库名称
    state BACKUP                                    　　  #角色：MASTER    BACKUP
    interface eth0                                  　　  #网卡：这里我们拿eth0做为心跳测试，检测另一台BACKUP存活状态
    virtual_router_id                             　　  #小组段：默认是51
    priority                                     　　  #注意这里的优先级
    nopreempt                                       　　  # BACKUP 不抢IP
    advert_int
    authentication {
        auth_type PASS
        auth_pass                                    #小组密码
    }
    virtual_ipaddress {
         10.18.43.30/ dev eth1                         # 虚拟ip
    }
}
 
virtual_server 10.18.43.30  {
    delay_loop                                          #延时环 6秒
    lb_algo rr                                           #轮询规则rr
    lb_kind DR                                           #使用的工作模式
    persistence_timeout                                #连接超时 时间
    protocol TCP                                         #使用的协议
 
    real_server 10.18.43.13  {
        weight                                          #权重
        TCP_CHECK {
            connect_port                               #监听端口
            connect_timeout                             #连接超时3秒
            nb_get_retry                                #重试连接3次
            delay_before_retry                          #连接超时3重试连接3次
        }
    }
    real_server 10.18.43.14  {
        weight
        TCP_CHECK {
            connect_port
            connect_timeout
            nb_get_retry
            delay_before_retry
        }
    }
}

　　（６）、启动keepalived

　　（在DR1和DR2执行相同操作）

[root@DR-- ~]# systemctl start keepalived.service

[root@DR-2- ~]# systemctl start keepalived.service

　　（７）、查看结果

　　DR1与RD2先启动那个机器，虚拟VIP就会在那个主机的第二张网卡上，（第一张网卡是用来做心跳测试的，）

[root@DR-- keepalived]# ip a
: lo: <LOOPBACK,UP,LOWER_UP> mtu  qdisc noqueue state UNKNOWN qlen
    link/loopback ::::: brd :::::
    inet 127.0.0.1/ scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::/ scope host
       valid_lft forever preferred_lft forever
: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu  qdisc pfifo_fast state UP qlen
    link/ether :::c9:8e: brd ff:ff:ff:ff:ff:ff
    inet 10.18.43.10/ brd 10.18.43.255 scope global dynamic eth0
       valid_lft 41215sec preferred_lft 41215sec
    inet6 fe80::70de::c4c6:aa/ scope link
       valid_lft forever preferred_lft forever
: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu  qdisc pfifo_fast state UP qlen
    link/ether ::::4b:4f brd ff:ff:ff:ff:ff:ff
    inet 10.18.43.12/ brd 10.18.43.255 scope global dynamic eth1
       valid_lft 43069sec preferred_lft 43069sec
    inet 10.18.43.30/32 scope global eth1
       valid_lft forever preferred_lft forever
    inet6 fe80::e958:18e::b3f/ scope link
       valid_lft forever preferred_lft forever

二、概念补充

（１）、脑裂

一般来说，脑裂的发生，有一下几种原因；

１、高可用服务器对之间心跳线链路发生故障，导致无法正常通信；

２、因心跳线坏了，（包括断了，老化等一些物理上的原因）

３、因网卡及相关驱动坏了，IP配置及冲突问题（网卡直连）

４、因心跳线间链接的设备故障（网卡及交换机）

５、因仲裁的机器出问题（采用仲裁的方案）

６、高可用服务器上开启了iptables防火强阻挡了心跳消息传输

７、高可用服务器上心跳网卡地址等信息配置不正确，导致心跳失败；

８、其他服务配置不当等原因，如心跳方式不同，心跳广播冲突，软件Bug等。

　　提示：keepalived配置里同一VRRP实例如果virtual_router_id两端参数配置不一致也后悔导致脑裂问题发生；

（２）、常见解决方案

在实际生产环境中，我们可以从以下几个方面来防止脑裂问题的发生；

１、同时使用串行电缆和以太网电缆链接，同时使用两跳心跳线路，这样一条线路坏了，另一条还是好的，依然能传送心跳消息

２、当检测到脑裂时，强行关闭一个心跳节点，

３、做好对脑裂的监控报警，在问题发生时人为第一时间介入仲裁，降低损失。

（３）、keepalived配置

　　在这里主要解释一下我的配置没有写入MASTER，在有nopreempt参数的情况下，是可以不要MASTER,为了确保vip在一台机器上的稳定性，我们需要在配置文件中添加nopreempt参数，而且取消MASTER角色；

　　如果MASTER角色存在，那么MASTER角色宕机之后，他的vip会漂移到BACKUP角色主机上，这时如果是以为网络抖动的原因造成的，当MASTER服务链接正常时，MASTER角色就会将原有的vip抢回来，反复来回几次之后，keepalived就会宕机，造成不可设想的后果；

　　如果取消MASTER角色，添加nopreempt参数，vip会按照服务启动的先回顺序和优先级来决定他在那台机器上，有一台keepalived宕机，vip就会漂移到另一台BACKUP机器上，当另一台keepalived正常只会，他不会去抢vip，这样就不会造成vip来回在keepalived机器上飘来飘去；