Linux之LVS 20180708

　　LVS负载均衡项目，是Linux开源项目中专门用于负载均衡的，主要应用在client访问server时，通过LVS来分配对应的server来响应client的请求。client访问时，都是访问的LVS的VIP虚拟地址，LVS有三种工作模式：

1. NAT模式，client访问LVS时，LVS会将client的数据包，对源地址进行NAT转换，同时对目标地址，根据一定的负载均衡算法，改成内网的一个server地址，然后从内网转发出去，内网server收到数据包之后，会进行响应，源地址是本机的地址，目标地址是LVS负载均衡设备转换到内网的地址，然后将数据包返回给LVS负载均衡器，负载均衡器在收到数据包之后，再进行对应的NAT转换，将数据包返回给client。在NAT模式中，数据包的来和回，都必须经过LVS负载均衡器，LVS会成为访问链路上的性能瓶颈；优点是只需要配置LVS负载均衡器就好了，在RS上不需要进行相关配置
2. Tunnel模式，LVS负载均衡器和RS real server之间会建立专门的数据tunnel，client访问LVS，LVS会将数据包通过tunnel传递到某一个RS上，RS响应之后，会通过tunnel返回给LVS，然后返回给client，在这种模式中，由于数据链路上存在tunnel，需要一定的数据开销，同时，需要在RS和LVS负载均衡器上都进行配置。
3. DR模式，direct route，直接路由模式，LVS的内网口和RS的业务口在同一个二层网络中，client访问LVS，LVS将数据包的目标MAC地址修改为某一个RS的MAC地址，然后通过二层网络，转发给RS，RS处理完之后，通过自身的路由表，转发，返回给client，这种情况下，需要在RS和LVS上同时配置相同的VIP，同时抑制RS上的VIP，使得RS能够处理client请求的数据包，同时，RS要有和LVS相同的外网环境，因为在数据包返回时，是RS直接将数据包返回给client，不会经过LVS负载均衡器，同时，LVS的内网口必须和RS业务口在同一个二层网络中。DR模式是通过修改数据包的目标MAC，来实现转发的。

　　LVS负载均衡器，有多种负载均衡算法，不同的场景使用不同的算法：

1. RR：round robin，轮询算法，所有的RS平均分配
2. WRR，weight RR，基于权重的RR，不同的RS，分配不同的请求
3. DH：destination hash，基于目标地址的静态hash，这个我是没有懂。不理解是啥意思
4. SH：source hash，基于源地址的hash
5. WLC：weight least connection，加权最小链接数，取weight/connection最小的RS，进行分配
6. LC：least connection，最小链接数，RS的服务连接最小，越优先分配
7. SED：shortest expected delay，最小期望延时

　　我们重点来了解一下DR模式。

1. client访问LVS，将数据包发送给LVS，源IP为client的IP，目标IP为LVS的VIP
2. LVS收到数据请求后，根据特定的负载均衡算法，将数据包的目标MAC地址修改为某一个RS的MAC地址，然后通过内网转发出去，源IP还是client的IP，目标IP还是VIP，但是目标MAC地址是内网RS的MAC地址
3. 由于LVS和RS在同一个二层网络中，直接通过二层MAC寻址转发，到对应的RS上
4. RS收到数据包之后，解封装，MAC是自己的，VIP需要在本地的环回口loopback接口上配置，使得RS能有这个VIP地址，能够处理这个数据包，RS处理了数据包之后，将数据包返回给client。
5. client收到的数据包，源地址是VIP，目标地址是自己的地址。这个可以通过抓包来证实。

　　下面来做一个关于nginx的LVS，首先说一下我们的环境，两台RS，192.168.245.101和192.168.245.102，LB地址为192.168.245.100，VIP为192.168.245.200，两台RS上部署了最简单的nginx，在index页面上做了一段内容。

echo `ifconfig eth0|grep "inet addr"|awk '{print $1,$2}'` >> index.html

　　分别访问一下101和102，看看结果

　　首先保证两台RS是可以正常提供服务的，在这里，最好是将nginx 的配置文件中的listen，不要指定地址，或者指定两个地址，RS和vip，写两条listen ，如果有多个地址，就写多个listen，同一个站点，对应多个IP地址和端口。

　　下面就开始安装部署ipvsadm了，首先要查看系统的内核版本，uname -r，然后对应下载ipvsadm的安装包，下载地址为：http://www.linuxvirtualserver.org/software/ipvs.html

　　在内核版本上，创建一个软连接，ln -s /usr/src/kernels/2.6.32-696.el6.x86_64 /usr/src/linux

　　在源码编译安装之前，需要先解决依赖安装问题：yum install popt* libnl* -y，不安装这些依赖包，在安装ipvsadm时会报错。

　　解压，编译安装，tar，make && make install，通过查看readme，可以看到安装之后的软件布局。

　　将ipvs加载进内核中，通过lsmod|grep ip_vs，查看是否加载进内核，如果没有，通过modprobe ip_vs，加载进内核中。

　　

　　这个时候，就开始配置VS和RS了，具体代码如下：

ipvsadm -A -t 192.168.245.200: -s wrr -p
ipvsadm -a -t 192.168.245.200: -r 192.168.245.101: -g -w
ipvsadm -a -t 192.168.245.200: -r 192.168.245.102: -g -w  

　　-A是添加VS，-s是指定调度算法，schedule调度，wrr是一种算法，-p是保持会话，-t表示TCP端口，如果是-u则是udp端口

　　-a是添加RS，添加RS是要在某一个VS上添加，-g表示direct route模式，-w是在wrr算法中的权重值

　　可以通过-help查看命令帮助信息

　　添加完成之后，通过ipvsadmi -L -n查看，--stats查看整个的状态。

　　

　　添加完成之后，需要在每个RS上创建lo0接口，配置上 VIP地址。在RS上增加lo接口，配置VIP，做ARP抑制，这个时候访问VIP是无法访问的，配置的是子接口，但是抑制arp是在主接口上，默认值都是0。

　　

ifconfig lo: 192.168.245.200 netmask 255.255.255.255 up
echo "" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "" > /proc/sys/net/ipv4/conf/all/arp_announce

route add -host 192.168.245.200 dev lo:

　　这个写都配置完成之后，就可以通过VIP来访问了。

　　

　　

　　由于LVS是一种应用，是需要自己配置的，所以重启之后，服务就会消失，需要重新配置加载，下面我们要考虑的是，做一个脚本，能够开机自启动，并且能够监测RS的状态，当RS服务不可用时，需要将该节点从LVS中移除，当节点可用时，再添加回来。

　　首先我们先做一个自动的LVS配置脚本，具体脚本如下：

[ -f /etc/init.d/functions  ] && . /etc/init.d/functions

VIP=192.168.245.200
PORT=
NETMASK=255.255.255.0
IFCONFIG=/sbin/ifconfig
IPVSADM=/sbin/ipvsadm
ROUTE=/sbin/route
RIP=(
                192.168.245.101
                192.168.245.102
)
#define the VIP dev
secondary_dev=eth0:`echo $VIP|cut -d. -f4`
#panduan dev is exist,if exists ,down the dev

[ `$IFCONFIG|grep $secondary_dev|wc -l` -eq  ]  && $IFCONFIG $secondary_dev down
$IFCONFIG $secondary_dev $VIP netmask $NETMASK up

#clear the ipvs
$IPVSADM -C
#add virtual server
$IPVSADM -A -t $VIP:$PORT -s wrr -p
#add real server
for ((i=;i<`echo ${#RIP[*]}`;i++))
 do
 $IPVSADM -a -t $VIP:$PORT -r ${RIP[$i]}:$PORT -g -w
 done

　　这是一个自动添加的脚本，如果做的好的话，应该还包含删除等操作，所以我们再优化一下：

　

 [ -f /etc/init.d/functions  ] && . /etc/init.d/functions

 VIP=192.168.245.200
 PORT=
 NETMASK=255.255.255.0
 IFCONFIG=/sbin/ifconfig
 IPVSADM=/sbin/ipvsadm
 ROUTE=/sbin/route
 RIP=(
                 192.168.245.101
                 192.168.245.102
 )
 #define the VIP dev
 secondary_dev=eth0:`echo $VIP|cut -d. -f4`
 #panduan dev is exist,if exists ,down the dev

 ipvs_start(){

         [ `$IFCONFIG|grep $secondary_dev|wc -l` -eq  ]  && $IFCONFIG $secondary_dev down
         $IFCONFIG $secondary_dev $VIP netmask $NETMASK up

         #clear the ipvs
         $IPVSADM -C
         #add virtual server
         $IPVSADM -A -t $VIP:$PORT -s wrr -p
         #add real server
         for ((i=;i<`echo ${#RIP[*]}`;i++))
          do
          $IPVSADM -a -t $VIP:$PORT -r ${RIP[$i]}:$PORT -g -w
          done
          [ $? -eq   ] && action " starting ipvs..." /bin/true || action " starting ipvs..." /bin/false
 }

 ipvs_stop(){
         $IPVSADM -C
         $IFCONFIG $secondary_dev down
         [ $? -eq  ] && action " stopping ipvs..." /bin/true || action " starting ipvs..." /bin/false
 }
 usage(){
                 echo "$0 usage: {start|stop|restart}"
 }

 main(){
         if [ $# -ne  ];then
                 usage
         else

         case "$1" in
                         start|START)
                                                         ipvs_start
                                                         ;;
                         stop|STOP)
                                                         ipvs_stop
                                                         ;;
                         restart|RESTART)
                                                         ipvs_stop
                                                         ipvs_start
                                                         ;;
                                 *)
                                                         usage
                 esac
         fi
 }
 main $*

　　在这个脚本中，我们用到了函数定义和函数的调用，在shell函数定义时要()，在调用的时候不需要()，另外，main函数的调用直接main $*就可以。

　　在VIP数组中，可以通过${#VIP[*]}来计算属组的长度，然后通过${#VIP[i]}来取值。

　　以上的代码是在LVS上面的配置，而在RS上面的配置就比较简单了，只需要添加lo0接口地址，然后抑制arp就可以了。简单写一下。

　　

 [ -f /etc/init.d/functions  ] && . /etc/init.d/functions
 VIP=192.168.245.200
 PORT=
 NETMASK=255.255.255.255
 IFCONFIG=/sbin/ifconfig
 secondary_dev=lo:`echo $VIP|cut -d. -f4`

 ipvs_start(){

         [ `$IFCONFIG|grep $secondary_dev|wc -l` -eq  ]  && route del -host $VIP  && $IFCONFIG $secondary_dev down
         $IFCONFIG $secondary_dev $VIP netmask $NETMASK up
                                 echo "" > /proc/sys/net/ipv4/conf/lo/arp_ignore
                                 echo "" > /proc/sys/net/ipv4/conf/all/arp_ignore
                                 echo "" > /proc/sys/net/ipv4/conf/lo/arp_announce
                                 echo "" > /proc/sys/net/ipv4/conf/all/arp_announce
                                 route add -host $VIP dev $secondary_dev
                                 [ $? -eq   ] && action " starting ipvs..." /bin/true || action " starting ipvs..." /bin/false

 }

 ipvs_stop(){
                                 [ `$IFCONFIG|grep $secondary_dev|wc -l` -eq  ]  && route del -host $VIP  && $IFCONFIG $secondary_dev down
                                 echo "" > /proc/sys/net/ipv4/conf/lo/arp_ignore
                                 echo "" > /proc/sys/net/ipv4/conf/all/arp_ignore
                                 echo "" > /proc/sys/net/ipv4/conf/lo/arp_announce
                                 echo "" > /proc/sys/net/ipv4/conf/all/arp_announce

                                 [ $? -eq   ] && action " stopping ipvs..." /bin/true || action " starting ipvs..." /bin/false
 }

 usage(){
                 echo "$0 usage: {start|stop|restart}"
 }

 main(){
                          if [ $# -ne  ];then
                 usage
         else

         case "$1" in
                         start|START)
                                                         ipvs_start
                                                         ;;
                         stop|STOP)
                                                         ipvs_stop
                                                         ;;
                         restart|RESTART)
                                                         ipvs_stop
                                                         ipvs_start
                                                         ;;
                                 *)
                                                         usage
                 esac
         fi
 }

 main $*