Centos7-Lvs+Keepalived架构

 

Centos7-Lvs+Keepalived架构

LVS+Keepalived

介绍

1 、   LVS

LVS 是一个开源的软件，可以实现 LINUX 平台下的简单负载均衡。 LVS 是 Linux Virtual Server 的缩写，意思是 Linux 虚拟服务器。目前有三种 IP 负 载均衡技术（ VS/NAT 、 VS/TUN 和 VS/DR ）；八种调度算法（ rr,wrr,lc,wlc,lblc,lblcr,dh,sh ）。

2 、   keepalived

Keepalived  是运行在 lvs  之上，是一个用于做双机热备（ HA ）的软件，它的主要功能是实现真实机的故障隔离及负载均衡器间的失败切换，提高系统的可用性。

运行原理

keepalived 通过选举（看服务器设置的权重）挑选出一台热备服务器做 MASTER 机器， MASTER 机器会被分配到一个指定的虚拟 ip ，外部程序可通过该 ip 访问这台服务器，如果这台服务器出现故障（断网，重启，或者本机器上的 keepalived crash 等）， keepalived 会从其他的备份机器上重选（还是看服务器设置的权重）一台机器做 MASTER 并分配同样的虚拟 IP ，充当前一台 MASTER 的角色。

选举策略

选举策略是根据 VRRP 协议 ，完全按照权重大小，权重最大（ 0 ～ 255 ）的是 MASTER 机器，下面几种情况会触发选举。

1. keepalived 启动的时候；

2. master 服务器出现故障（断网，重启，或者本机器上的 keepalived crash 等，而本机器上其他应用程序 crash 不算）；

3. 有新的备份服务器加入且权重最大。

配置实例

lvs_vip ： 172.16.10.188

lvs1+keepalived 主： 172.16.10.102

lvs2+keepalived 备： 172.16.10.142

nginx1 ： 172.16.10.162

nginx2 ： 172.16.10.167

安装 ipvsadm 和 keepalived

# yum -y install ipvsadm keepalived

修改 keepalived 主的配置

# vim/etc/keepalived/keepalived.conf

global_defs{
notification_email{
               ******@163.com         #报警接收人，多个写多行
        }
        notification_email_from ******@163.com    #报警发件人
        smtp_server smtp.163.com   #发送email时使用的smtp服务器地址
        smtp_connect_timeout 30   #smtp超时时间
        router_id LVS1      #表示运行keepalived服务器的一个标识，发邮件时显示在邮件主题的信息
}
#不使用SYNCGroup的话，如果路由有2个网段，一个内网，一个外网，每个网段开启一个VRRP实例，假设VRRP配置为检查内网，那么当外网出现问题时，VRRP会认为自己是健康的，则不会发送Master和Backup的切换，从而导致问题，SyncGroup可以把两个实例都放入SyncGroup，这样的话，Group里任何一个实例出现问题都会发生切换
vrrp_sync_grouptest {
group{
        loadbalance
}
}

vrrp_instanceloadbalance {
        state MASTER          #指定keepalived的角色，MASTER表示此主机是主服务器，BACKUP表示此主机是备用服务器
        interface eno16777736   #指定HA监测网络的接口
        lvs_sync_daemon_inteface eno16777736    #负载均衡器之间的监控接口，类似于HA HeartBeat的心跳线
        virtual_router_id 38    #虚拟路由标识，这个标识是一个数字，同一个vrrp实例使用唯一的标识。即同一vrrp_instance下，MASTER和BACKUP必须是一致的
        priority 100    #定义优先级，数字越大，优先级越高，在同一个vrrp_instance下，MASTER的优先级必须大于BACKUP的优先级
        advert_int 5   #定MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒
authentication{
        auth_type PASS   #设置验证类型，主要有PASS和AH两种
        auth_pass 1111   #设置验证密码，在同一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信
}
virtual_ipaddress{
        172.16.10.188   #设置虚拟IP地址，可以设置多个虚拟IP地址，每行一个
}
}

virtual_server172.16.10.188 80 {     #设置虚拟服务器，需要指定虚拟IP地址和服务端口，IP与端口之间用空格隔开
        delay_loop 6    #设置运行情况检查时间，单位是秒
        lb_algo rr    #设置负载调度算法，这里设置为rr，即轮询算法
        lb_kind DR   #设置LVS实现负载均衡的机制，有NAT、TUN、DR三个模式可选
        #persistence_timeout 20   #会话保持时间，单位是秒。这个选项对动态网页是非常有用的，为集群系统中的session共享提供了一个很好的解决方案。
        protocol TCP   #指定转发协议类型，有TCP和UDP两种
        real_server 172.16.10.162 80 {    #配置服务节点1，需要指定realserver的真实IP地址和端口，IP与端口之间用空格隔开
        weight1   #配置服务节点的权值，权值大小用数字表示，数字越大，权值越高
        TCP_CHECK {
        connect_timeout 3   #表示3秒无响应超时
        nb_get_retry 3   #表示重试次数
        delay_before_retry 3  #表示重试间隔
}
}
        real_server 172.16.10.167 80 {
        weight 1
        TCP_CHECK {
        connect_timeout 3
        nb_get_retry 3
        delay_before_retry 3
}
}
}

virtual_server172.16.10.188 443 {
        delay_loop 6
        lb_algo rr
        lb_kind DR
        #persistence_timeout 20
        protocol TCP
        real_server 172.16.10.162 443 {
        weight 1
        TCP_CHECK {
        connect_timeout 3
        nb_get_retry 3
        delay_before_retry 3
}
}
        real_server 172.16.10.167 443 {
        weight 1
        TCP_CHECK {
        connect_timeout 3
        nb_get_retry 3
        delay_before_retry 3
}
}
}

修改 keepalived 备的配置

基本都和主一样，只需要修改几处

stateBACKUP
priority99
router_idLVS2

在两台 lvs 服务器上开启路由转发功能

# vim/etc/sysctl.conf
net.ipv4.ip_forward= 1
# sysctl-p

添加 realserver ip 地址

# ipvsadm-A -t 172.16.10.188:80 -s rr
# ipvsadm-a -t 172.16.10.188:80 -r 172.16.10.162:80 -w 1
# ipvsadm-a -t 172.16.10.188:80 -r 172.16.10.167:80 -w 1
# ipvsadm-A -t 172.16.10.188:443 -s rr
# ipvsadm-a -t 172.16.10.188:443 -r 172.16.10.162:443 -w 1
# ipvsadm-a -t 172.16.10.188:443 -r 172.16.10.167:443 -w 1

查看

# ipvsadm-l

启动服务

# systemctlstart keepalived
# systemctlenable keepalived

ipvsadm脚本

# vim /etc/init.d/ipvsadm

#!/bin/bash
#
#LVS script for VS/DR
#
#./etc/rc.d/init.d/functions
#
VIP=172.16.10.188
RIP1=172.16.10.162
RIP2=172.16.10.167
PORT1=80
PORT2=443
Algorithm=rr
Weight=1
#
case"$1" in
start)
#Since this is the Director we must be able to forward packets
#只是临时修改，重启机器或重启网卡失效
  echo 1 > /proc/sys/net/ipv4/ip_forward
#Clear all ipvsadm rules/services.
  /usr/sbin/ipvsadm -C
#Add an IP virtual service for VIP
  /usr/sbin/ipvsadm -A -t $VIP:$PORT1 -s$Algorithm
#Now direct packets for this VIP to
#the real server IP (RIP) inside the cluster
  /usr/sbin/ipvsadm -a -t $VIP:$PORT1 -r $RIP1-g -w $Weight
  /usr/sbin/ipvsadm -a -t $VIP:$PORT1 -r $RIP2-g -w $Weight
#Add an IP virtual service for VIP
  /usr/sbin/ipvsadm -A -t $VIP:$PORT2 -s$Algorithm
#Now direct packets for this VIP to
#the real server IP (RIP) inside the cluster
  /usr/sbin/ipvsadm -a -t $VIP:$PORT2 -r $RIP1-g -w $Weight
  /usr/sbin/ipvsadm -a -t $VIP:$PORT2 -r $RIP2-g -w $Weight
  /bin/touch /var/lock/subsys/ipvsadm &>/dev/null
;;
stop)
#Stop forwarding packets
  echo 0 > /proc/sys/net/ipv4/ip_forward
#Reset ipvsadm
  /usr/sbin/ipvsadm -C
# Bringdown the VIP interface
  /usr/sbin/route del $VIP
  /bin/rm -f /var/lock/subsys/ipvsadm
  echo "ipvs is stopped..."
;;
status)
  if [ ! -e /var/lock/subsys/ipvsadm ]; then
    echo "ipvsadm is stopped ..."
  else
    echo "ipvs is running ..."
    ipvsadm -L -n
  fi
;;
*)
  echo "Usage: $0{start|stop|status}"
;;
esac

添加开机启动

# vim/etc/rc.d/rc.local
/etc/init.d/ipvsadmstart
# chmod+x /etc/rc.d/rc.loca

relearserver端配置（nginx）

修改内核参数

# vim/etc/sysctl.conf

net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.lo.arp_announce=2
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.ip_forward=0

# sysctl -p

配置虚拟IP地址

临时添加

# ifconfiglo:0 172.16.10.188 netmask 255.255.255.255 broadcast 172.16.10.188

永久添加

# vim /etc/sysconfig/network-scripts/ifcfg-lo:0

TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
NAME=lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=172.16.10.188
NETMASK=255.255.255.255

配置路由

临时添加

# routeadd -host 172.16.10.188 dev lo:0

永久添加

# vim /etc/sysconfig/network-scripts/route-lo:0
172.16.10.188dev lo:0

到此配置完成

测试

停止 keepalived 主，查看 vip 是否漂移到备，并测试是否可以正常访问

查看日志信息

# tail-f /var/log/messages

查看 LVS 当前设置

# watch ipvsadm -Ln

查看转发情况

# watch ipvsadm -Lnc

在测试中我发现，使用 rr 算法，一个用户的请求会被分发到两台 nginx 上，这并不是我想要的结果，大概看了一下 lvs 的八种算法，最后将 rr 替换为了 sh （源地址散列），具体介绍自行百度，之后，同一个用户的请求可以被分发在同一台 nginx 上面了。

但是我又发现 keepalived 配置中有调度算法和权重， ipvsadm 中也有调度算法和权重，这是不是会有冲突呢，会使用谁的算法。

经过测试，手动配置完 keepalived 和 ipvsadm 之后，例如： keepalived 算法为 sh ，权重为 3 。 ipvsadm 算法为 rr ，权重为 1 。启动 keepalived ， ipvsadm-l 查看，发现算法替换为 sh ，权重为 3 。

手动将 ipvsadm 的配置修改，算法为 rr ，权重为 1 ， keepalived 不重启， ipvsadm-l 查看，配置生效，经测试，使用的是手动改动过后的配置。

所以这两个的配置要一样。

LVS 负载均衡中 arp_ignore 和 arp_annonuce 参数配置的含义

arp_ignore:定义对目标地址为本地IP的ARP询问不同的应答模式0
0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求
1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应
4-7 - 保留未使用
8 -不回应所有（本地地址）的arp查询

arp_announce:对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口
0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址
1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.
2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.

ipvsadm 参数详解

# ipvsadm-h
ipvsadmv1.27 2008/5/15 (compiled with popt and IPVS v1.2.1)
Usage:
  ipvsadm -A|E -t|u|f service-address [-sscheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-bsched-flags]
  ipvsadm -D -t|u|f service-address
  ipvsadm -C
  ipvsadm -R
  ipvsadm -S [-n]
  ipvsadm -a|e -t|u|f service-address -rserver-address [options]
  ipvsadm -d -t|u|f service-address -rserver-address
  ipvsadm -L|l [options]
  ipvsadm -Z [-t|u|f service-address]
  ipvsadm --set tcp tcpfin udp
  ipvsadm --start-daemon state[--mcast-interface interface] [--syncid sid]
  ipvsadm --stop-daemon state
  ipvsadm -h

Options:
  --tcp-service -t service-address  service-address is host[:port]
  --udp-service -u service-address  service-address is host[:port]
  --fwmark-service  -f fwmark         fwmark is an integer greater than zero
  --ipv6        -6                   fwmark entryuses IPv6
  --scheduler   -s scheduler         one ofrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,
                                      thedefault scheduler is wlc.
  --pe            engine              alternate persistence engine maybe sip,
                                      not setby default.
  --persistent  -p [timeout]         persistentservice
  --netmask     -M netmask           persistentgranularity mask
  --real-server -r server-address   server-address is host (and port)
  --gatewaying  -g                   gatewaying(direct routing) (default)
  --ipip        -i                   ipip encapsulation (tunneling)
  --masquerading -m                   masquerading (NAT)
  --weight      -w weight            capacity ofreal server
  --u-threshold -x uthreshold        upperthreshold of connections
  --l-threshold -y lthreshold        lowerthreshold of connections
  --mcast-interface interface         multicast interface for connectionsync
  --syncid sid                        syncid for connectionsync (default=255)
  --connection  -c                   output ofcurrent IPVS connections
  --timeout                           output of timeout(tcp tcpfin udp)
  --daemon                            output of daemoninformation
  --stats                             output ofstatistics information
  --rate                              output of rateinformation
  --exact                             expand numbers(display exact values)
  --thresholds                        output of thresholdsinformation
  --persistent-conn                   output of persistentconnection info
  --nosort                            disable sortingoutput of service/server entries
  --sort                              does nothing, forbackwards compatibility
  --ops         -o                   one-packet scheduling
  --numeric     -n                   numericoutput of addresses and ports
  --sched-flags -b flags             schedulerflags (comma-separated)

 --add-service     -A        add virtual service with option
  在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器
  --edit-service    -E        edit virtual service with options
  编辑内核虚拟服务器表中的一条虚拟服务器记录
  --delete-service  -D        delete virtual service
  删除内核虚拟服务器表中的一条虚拟服务器记录
  --clear           -C        clear the whole table
  清除内核虚拟服务器表中的所有记录
  --restore         -R        restore rules from stdin
  恢复虚拟服务器规则
  --save            -S        save rules to stdout
  保存虚拟服务器规则，输出为-R 选项可读的格式
  --add-server      -a        add real server with options
  在内核虚拟服务器表的一条记录里添加一条新的真实服务器
  --edit-server     -e        edit real server with options
  编辑一条虚拟服务器记录中的某条真实服务器记录
  --delete-server   -d        delete real server
  删除一条虚拟服务器记录中的某条真实服务器记录
  --list            -L|-l     list the table
  显示内核虚拟服务器表
  --zero            -Z        zero counters in a service or all services
  虚拟服务表计数器清零
  --set tcp tcpfin udp        set connection timeout values
  设置连接超时值
  --start-daemon              start connection sync daemon
  启动同步守护进程。他后面可以是master 或backup，用来说明LVS Router 是master 或是backup。在这个功能上也可以采keepalived 的VRRP 功能。
  --stop-daemon               stop connection sync daemon
  停止同步守护进程
  --help            -h        display this help message
  显示帮助信息

Options:
  --tcp-service  -t service-address   service-address is host[:port]
  说明虚拟服务器提供的是tcp 的服务[vip:port] or [real-server-ip:port]
  --udp-service  -u service-address   service-address is host[:port]
  说明虚拟服务器提供的是udp 的服务[vip:port] or [real-server-ip:port]
  --fwmark-service  -f fwmark         fwmark is an integer greater than zero
  说明是经过iptables 标记过的服务类型。
  --scheduler    -s scheduler         one of rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,the default scheduler is wlc.
  使用的调度算法，有这样几个选项,默认的调度算法是： wlc.
  --persistent   -p [timeout]         persistent service
  持久稳固的服务。这个选项的意思是来自同一个客户的多次请求，将被同一台真实的服务器处理。timeout 的默认值为300 秒
  --netmask      -M netmask           persistent granularity mask  

  --real-server  -r server-address    server-address is host (and port)
  真实的服务器[Real-Server:port]
  --gatewaying   -g                   gatewaying (direct routing) (default)
  指定LVS 的工作模式为直接路由模式（也是LVS 默认的模式
  --ipip         -i                   ipip encapsulation (tunneling)
  指定LVS 的工作模式为隧道模式
  --masquerading -m                   masquerading (NAT)
  指定LVS 的工作模式为NAT 模式
  --weight       -w weight            capacity of real server
  真实服务器的权值
  --u-threshold  -x uthreshold        upper threshold of connections  

  --l-threshold  -y lthreshold        lower threshold of connections  

  --mcast-interface interface         multicast interface for connection sync
  指定组播的同步接口
  --syncid sid                        syncid for connection sync (default=255)  

  --connection   -c                   output of current IPVS connections
  显示LVS 目前的连接 如：ipvsadm -L -c
  --timeout                           output of timeout (tcp tcpfin udp)
  显示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout
  --daemon                            output of daemon information
  显示同步守护进程状态
  --stats                             output of statistics information
  显示统计信息
  --rate                              output of rate information
  显示速率信息
  --thresholds                        output of thresholds information  

  --persistent-conn                   output of persistent connection info  

  --sort                              sorting output of service/server entries
   对虚拟服务器和真实服务器排序输出
  --ops          -O                   one-packet scheduling  

  --numeric      -n                   numeric output of addresses and ports
  输出IP 地址和端口的数字形式