转载-LVS的三种工作模式

来源地址：http://www.uml.org.cn/zjjs/201211124.asp

1.lvs简介

lvs是一个开源的软件，由毕业于国防科技大学的章文嵩博士于1998年5月创立(中国人的项目)，可以实现LINUX平台下的简单负载均衡。LVS是Linux Virtual Server的缩写，意思是Linux虚拟服务器。本文将介绍lvs结合keepalived实现一个高科用的Linux群集系统.

lvs有三种工作模式NAT(地址转换),IP Tunneling(IP隧道)、Direct Routing(直接路由)。工作效率最低的是NAT模式,但NAT模式可以用于各种系统,各种环境的负载均衡,只需要一个公网ip即可实现 IP Tunneling模式调度器将连接分发到不同的后端real server,然后由real server处理请求直接相应给用户,大大提高了调度器的调度效率,后端real server没有物理位置和逻辑关系的限制,后端real server可以在Lan/Wlan,但是后端real server必须支持IP隧道协议. DR(Direct Routing)是效率最高的,与IP Tunneling类似,都是处理一般连接,将请求给后端real server,然后由real server处理请求直接相应给用户,Direct Routing与IP Tunneling相比，没有IP封装的开销，但由于采用物理层,所以DR模式的调度器和后端real server必须在一个物理网段里,中间不能过路由器(也就是一个交换机相连).

lvs支持8种不同的调度算法轮叫(rr)、加权轮叫(wrr)、最小连接(lc)、加权最小连接(wlc)、基于局部性最小连接(lblc)、带复制的基于局部性最少链接(lblcr)、目标地址散列(dh)和源地址散列(sh)。

2.lvs的三种工作模式

lvs有三种工作模式NAT(地址转换)，IP Tunneling(IP隧道)，Direct Routing(直接路由)。

2.1 NAT(地址转换)

2.2 IP Tunneling(IP隧道)

2.3 Direct Routing(直接路由)

3.lvs三种模式的配置

lvs配置之前首先要安装ipvsadm，由于ipvsadm是安装在内核中的，所以会在系统光盘中包含，可以直接用yum安装。

yum -y install ipvsadm

当然也可以登录官网下载源码包：

下载：http://www.linuxvirtualserver.org/software/

注意对应自己的内核版本

查看系统内核版本：

#uname -r
2.6.32-696.3.1.el6.x86_64

3.1 NAT(地址转换)配置

简要的网络架构如下图：

前端配置LVS server：

#!/bin/sh
# description: start LVS of Nat
VLAN-IP=202.99.59.110
RIP1=10.1.1.2
RIP2=10.1.1.3
#RIPn=10.1.1.n
GW=10.1.1.1
. /etc/rc.d/init.d/functions
 
case "$1" in
    start)
        echo " start LVS of NAtServer"
        echo "" >/proc/sys/net/ipv4/ip_forward
        echo "" >/proc/sys/net/ipv4/conf/all/send_redirects
        echo "" >/proc/sys/net/ipv4/conf/default/send_redirects
        echo "" >/proc/sys/net/ipv4/conf/eth0/send_redirects
        echo "" >/proc/sys/net/ipv4/conf/eth1/send_redirects(内网卡上的)
        #Clear IPVS table
        /sbin/ipvsadm -C
        #set LVS
        /sbin/ipvsadm -a -t 202.99.59.110:80 -r 10.1.1.2:80 -m -w 1
        /sbin/ipvsadm -a -t 202.99.59.110:80 -r 10.1.1.3:80 -m -w 1
        #Run LVS
        /sbin/ipvsadm
        #end
    ;;
    stop)
        echo "close LVS Nat server"
        echo "" >/proc/sys/net/ipv4/ip_forward
        echo "" >/proc/sys/net/ipv4/conf/all/send_redirects
        echo "" >/proc/sys/net/ipv4/conf/default/send_redirects
        echo "" >/proc/sys/net/ipv4/conf/eth0/send_redirects
        echo "" >/proc/sys/net/ipv4/conf/eth1/send_redirects(内网卡上的)
        /sbin/ipvsadm -C
    ;;
    *)
        echo "Usage: $0 {start|stop}"
        exit 1
esac

后端配置real server：

LVS-Nat 模式的后端机器不需要配置.

3.2 IP Tunneling(IP隧道)配置

简要的网络架构如下：

前端lvs server配置：

#!/bin/sh
# description: start LVS of Directorserver
VIP=192.168.25.41（注意，lvs server那台机器2个ip，一个是vip,一个是本身ip例如192.168.25.42）
RIP1=192.168.25.44
RIP2=192.168.25.45
#RIPn=192.168.0.n
GW=192.168.25.254
. /etc/rc.d/init.d/functions
 
case "$1" in
    start)
        echo " start LVS of DirectorServer"
        # set the Virtual IP Address
        /sbin/ifconfig tunl0 $VIP broadcast $VIP netmask 255.255.255.0 up
        /sbin/route add -host $VIP dev tunl0  #增加网关路由
        #Clear IPVS table
        /sbin/ipvsadm -C
        #set LVS
        /sbin/ipvsadm -A -t $VIP:80 -s rr
        /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -i
        /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -i
        #/sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 -i
        #Run LVS
        /sbin/ipvsadm
        #end
    ;;
    stop)
        echo "close LVS Directorserver"
        ifconfig tunl0 down
        /sbin/ipvsadm -C
    ;;
    *)
        echo "Usage: $0 {start|stop}"
        exit 1
esac

后端real server配置：

#!/bin/sh
# ghb in 20060812
# description: Config realserver tunl port and apply arp patch
VIP=192.168.25.43
. /etc/rc.d/init.d/functions
 
case "$1" in
    start)
        echo "Tunl port starting"
        ifconfig tunl0 $VIP netmask 255.255.255.0 broadcast $VIP up
        /sbin/route add -host $VIP dev tunl0
        echo "" >/proc/sys/net/ipv4/conf/tunl0/arp_ignore
        echo "" >/proc/sys/net/ipv4/conf/tunl0/arp_announce
        echo "" >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo "" >/proc/sys/net/ipv4/conf/all/arp_announce
        sysctl -p
    ;;
    stop)
        echo "Tunl port closing"
        ifconfig tunl0 down
        echo 1 > /proc/sys/net/ipv4/ip_forward
        echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    ;;
    *)
        echo "Usage: $0 {start|stop}"
        exit 1
esac

3.3 Direct Routing(直接路由)配置

基础架构如下：

前端lvs server配置：

#!/bin/sh
# description: start LVS of Directorserver
VIP=192.168.25.41（注意，lvs server那台机器2个ip，一个是vip,一个是本身ip例如192.168.25.42）
RIP1=192.168.25.44
RIP2=192.168.25.45
#RIPn=192.168.0.n
GW=192.168.25.254
. /etc/rc.d/init.d/functions
 
case "$1" in
    start)
        echo " start LVS of DirectorServer"
        # set the Virtual IP Address
        /sbin/ifconfig tunl0 $VIP broadcast $VIP netmask 255.255.255.0 up
        /sbin/route add -host $VIP dev tunl0
        #Clear IPVS table
        /sbin/ipvsadm -C
        #set LVS
        /sbin/ipvsadm -A -t $VIP:80 -s rr
        /sbin/ipvsadm -a -t $VIP:80 -r $RIP1:80 -i
        /sbin/ipvsadm -a -t $VIP:80 -r $RIP2:80 -i
        #/sbin/ipvsadm -a -t $VIP:80 -r $RIP3:80 -i
        #Run LVS
        /sbin/ipvsadm
        #end
    ;;
    stop)
        echo "close LVS Directorserver"
        ifconfig tunl0 down
        /sbin/ipvsadm -C
    ;;
    *)
        echo "Usage: $0 {start|stop}"
        exit 1
esac

后端real server配置：

#!/bin/sh
# ghb in 20060812
# description: Config realserver tunl port and apply arp patch
VIP=192.168.25.43
. /etc/rc.d/init.d/functions
 
case "$1" in
    start)
        echo "Tunl port starting"
        ifconfig tunl0 $VIP netmask 255.255.255.0 broadcast $VIP up
        /sbin/route add -host $VIP dev tunl0
        echo "" >/proc/sys/net/ipv4/conf/tunl0/arp_ignore
        echo "" >/proc/sys/net/ipv4/conf/tunl0/arp_announce
        echo "" >/proc/sys/net/ipv4/conf/all/arp_ignore
        echo "" >/proc/sys/net/ipv4/conf/all/arp_announce
        sysctl -p
    ;;
    stop)
        echo "Tunl port closing"
        ifconfig tunl0 down
        echo 1 > /proc/sys/net/ipv4/ip_forward
        echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    ;;
    *)
        echo "Usage: $0 {start|stop}"
        exit 1
esac

4.三种模式的对比

4.1 Virtual server via NAT（VS-NAT）

优点：集群中的物理服务器可以使用任何支持TCP/IP操作系统，物理服务器可以分配Internet的保留私有地址，只有负载均衡器需要一个合法的IP地址。

缺点：扩展性有限。当服务器节点（普通PC服务器）数据增长到20个或更多时,负载均衡器将成为整个系统的瓶颈，因为所有的请求包和应答包都需要经过负载均衡器再生。假使TCP包的平均长度是536字节的话，平均包再生延迟时间大约为60us（在Pentium处理器上计算的，采用更快的处理器将使得这个延迟时间变短），负载均衡器的最大容许能力为8.93M/s，假定每台物理服务器的平台容许能力为400K/s来计算，负责均衡器能为22台物理服务器计算。

解决办法：即使是是负载均衡器成为整个系统的瓶颈，如果是这样也有两种方法来解决它。一种是混合处理，另一种是采用Virtual Server via IP tunneling或Virtual Server via direct routing。如果采用混合处理的方法，将需要许多同属单一的RR DNS域。你采用Virtual Server via IP tunneling或Virtual Server via direct routing以获得更好的可扩展性。也可以嵌套使用负载均衡器，在最前端的是VS-Tunneling或VS-Drouting的负载均衡器，然后后面采用VS-NAT的负载均衡器。

4.2 Virtual server via IP tunneling（VS-TUN）

我们发现，许多Internet服务（例如WEB服务器）的请求包很短小，而应答包通常很大。

优点：负载均衡器只负责将请求包分发给物理服务器，而物理服务器将应答包直接发给用户。所以，负载均衡器能处理很巨大的请求量，这种方式，一台负载均衡能为超过100台的物理服务器服务，负载均衡器不再是系统的瓶颈。使用VS-TUN方式，如果你的负载均衡器拥有100M的全双工网卡的话，就能使得整个Virtual Server能达到1G的吞吐量。

不足：但是，这种方式需要所有的服务器支持"IP Tunneling"(IP Encapsulation)协议，我仅在Linux系统上实现了这个，如果你能让其它操作系统支持，还在探索之中。

4.3 Virtual Server via Direct Routing（VS-DR）

优点：和VS－TUN一样，负载均衡器也只是分发请求，应答包通过单独的路由方法返回给客户端。与VS-TUN相比，VS-DR这种实现方式不需要隧道结构，因此可以使用大多数操作系统做为物理服务器，其中包括：Linux 2.0.36、2.2.9、2.2.10、2.2.12；Solaris 2.5.1、2.6、2.7；FreeBSD 3.1、3.2、3.3；NT4.0无需打补丁；IRIX 6.5；HPUX11等。

不足：要求负载均衡器的网卡必须与物理网卡在一个物理段上

官方三种负载均衡技术比较总结表：
工作模式	VS/NAT	VS/TUN	VS/DR
Real server（节点服务器）	Config dr gw	Tunneling	Non-arp device/tie vip
Server Network	Private	LAN/WAN	LAN
Server number（节点数量）	Low 10-20	High 100	High 100
Real server gateway	Load balance	Own router	Own router
优点	地址和端口转换	Wan环境加密数据	性能最高，使用最多
缺点	效率低	需要隧道支持(可以跨网段)	不能跨域LAN

来源地址：http://www.uml.org.cn/zjjs/201211124.asp

来自为知笔记(Wiz)