LVS负载均衡器DR模型的实现

概述：

在大规模互联网应用中，负载均衡设备是必不可少的一个节点，源于互联网应用的高并发和大流量的冲击压力，我们通常会在服务端部署多个无状态的应用服务器和若干有状态的存储服务器（数据库、缓存等等）

一、负载均衡的作用

负载均衡设备的任务就是作为应用服务器流量的入口，首先挑选最合适的一台服务器，然后将客户端的请求转发给这台服务器处理，实现客户端到真实服务端 的透明转发。最近几年很火的「云计算」以及分布式架构，本质上也是将后端服务器作为计算资源、存储资源，由某台管理服务器封装成一个服务对外提供，客户端 不需要关心真正提供服务的是哪台机器，在它看来，就好像它面对的是一台拥有近乎无限能力的服务器，而本质上，真正提供服务的，是后端的集群。





一个典型的互联网应用的拓扑结构是这样的：

二、负载均衡的类型

负载均衡可以采用硬件设备，也可以采用软件负载。





商用硬件负载设备成本通常较高（一台几十万上百万很正常），所以在条件允许的情况下我们会采用软负载，软负载解决的两个核心问题是：选谁、转发，其中最著名的是LVS（Linux Virtual Server）。

三、软负载——LVS

LVS是四层负载均衡，也就是说建立在OSI模型的第四层——传输层之上，传输层上有我们熟悉的TCP/UDP，LVS支持TCP/UDP的负载均衡。





LVS的转发主要通过修改IP地址（NAT模式，分为源地址修改SNAT和目标地址修改DNAT）、修改目标MAC（DR模式）来实现。





LVS的工作模式主要有4种：





DR





NAT





TUNNEL





Full-NAT





这里挑选常用的DR简单介绍一下：









请求由LVS接收，由真实提供服务的服务器（RealServer, RS）直接返回给用户，返回的时候不经过LVS





DR模式下需要LVS和绑定同一个VIP（RS通过将VIP绑定在loopback实现）





一个请求过来时，LVS只需要将网络帧的MAC地址修改为某一台RS的MAC，该包就会被转发到相应的RS处理，注意此时的源IP和目标IP都没变，LVS只是做了一下移花接木





RS收到LVS转发来的包，链路层发现MAC是自己的，到上面的网络层，发现IP也是自己的，于是这个包被合法地接受，RS感知不到前面有LVS的存在。而当RS返回响应时，只要直接向源IP（即用户的IP）返回即可，不再经过LVS，DR模式是性能最好的一种模式

四、根据ipvsadm工具来实战配置DR模型的实现

命令的主要配置步骤：



Director:

# iptables -t filter -F 

# ifconfig eth0:0 VIP  up

# route add -host VIP dev eth0:0





RSs:

# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore

# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore

# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce

# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce





# ifconfig lo:0 VIP netmask 255.255.255.255 broadcast VIP up

# route add -host VIP dev lo:0









Director：

# ipvsadm -A -t IP:PORT -s SCHEDULER

# ipvsadm -a -t IP:PORT -r RS1 -g -w WEIGHT

虚拟环境vmware对DR模型的实现

网络拓扑

1.LVS负载均衡器，即VIP和DR的机器





清空防火墙设置(避免和lvs控制器冲突)：

# iptables -t filter -F 





安装ipvsadm管理工具

# yum install -y ipvsadm





添加两块网卡





DR:





DIP:192.168.8.100





DEVICE=eth0

IPADDR=192.168.8.100

BROADCAST=192.168.8.255

NETMASK=255.255.255.0

GATEWAY=192.168.8.254

NETWORK=192.168.8.0





VIP:192.168.8.40





# cd /etc/sysconfig/network-scripts/

# cp ifcfg-eth0 ifcfg-eth1

# vim ifcfg-eth1





DEVICE=eth1

IPADDR=192.168.8.40

BROADCAST=192.168.8.255

NETMASK=255.255.255.0

GATEWAY=192.168.8.254

NETWORK=192.168.8.0





开启路由转发功能

# vim /etc/sysctl.conf 

# sysctl -p





将访问192.168.8.40的路由转发至eth1

# route add -host 192.168.8.40 dev eth1

清空规则

# ipvsadm -C





2.rs配置





rs1和rs2都安装apache服务，分别当做web1和web2





# yum install -y httpd

# cd /etc/httpd/conf.d/

删除默认页面

# rm welcome.conf -f

# vim /var/www/html/index.html

<h1>meb2 192m168.8.102</h1>

rs1

192.168.8.101

# cd /etc/sysconfig/network-scripts/

# vim ifcfg-eth0





IPADDR=192.168.8.101

NETWORK=192.168.8.0

NETMASK=255.255.255.0

GATEWAY=192.168.8.254

BROADCAST=192.168.8.255





# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 

# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore 

# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce 

# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce





# cd /etc/sysconfig/network-scripts/





# cp ifcfg-lo ifcfg-lo:0





# vim ifcfg-lo:0





DEVICE=lo:0

IPADDR=192.168.8.40

NETMASK=255.255.255.255

BROADCAST=192.168.8.40

ONBOOT=yes

NAME=loopback





# service network restart

将访问192.168.8.40的数据转发到lo:0回环口上

# route add -host 192.168.8.40 dev lo:0





并验证配置是否生效





rs2

192.168.8.102

# cd /etc/sysconfig/network-scripts/

# vim ifcfg-eth0

IPADDR=192.168.8.101

NETWORK=192.168.8.0

NETMASK=255.255.255.0

GATEWAY=192.168.8.254

BROADCAST=192.168.8.255





# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 

# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore 

# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce 

# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce





# cp ifcfg-lo ifcfg-lo:0





# vim ifcfg-lo:0





DEVICE=lo:0

IPADDR=192.168.8.40

NETMASK=255.255.255.255

BROADCAST=192.168.8.40

ONBOOT=yes

NAME=loopback





# service network restart





# route add -host 192.168.8.40 dev lo:0





3.对dr进行配置





# ipvsadm -A -t 192.168.8.40:80 -s rr

# ipvsadm -a -t 192.168.8.40:80 -r 192.168.8.101 -g

# ipvsadm -a -t 192.168.8.40:80 -r 192.168.8.102 -g





# ipvsadm -L -n

IP Virtual Server version 1.2.1 (size=4096)

Prot LocalAddress:Port Scheduler Flags

  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

TCP  192.168.8.40:80 rr

  -> 192.168.8.101:80             Route   1      0          0

-> 192.168.8.102:80             Route   1      0          0

通过同网段的访问可以看到已经实现了负载轮询访问

真实服务器环境实现DR模型

可以看到外网映射是成功的，记得关闭tomcat服务

1.DR和VIP配置





清空防火墙设置(避免和lvs控制器冲突)：

# iptables -t filter -F 





安装ipvsadm管理工具

# yum install -y ipvsadm





机器为dell r720的服务器，有4块网卡，此处我们使用其中的EM1和EM2两块网卡





DR:





DIP:192.168.8.70





DEVICE=em1

IPADDR=192.168.8.70

BORADCAST=192.168.8.255

GATEWAY=192.168.8.254

NETMAST=255.255.255.0







VIP:192.168.8.68





DEVICE=em2

IPADDR=192.168.8.68

BROADCAST=192.168.8.255

GATEWAY=192.168.8.254

NETMASK=255.255.255.0





开启路由转发功能

# vim /etc/sysctl.conf 

配置 net.ipv4.ip_forward = 1

# sysctl -p





将访问192.168.8.68的路由转发至EM1

# route add -host 192.168.8.68 dev em2





清空规则

# ipvsadm -C





2.rs配置





rs1和rs2都安装apache服务，分别当做web1和web2





# yum install -y httpd

# cd /etc/httpd/conf.d/

删除默认页面

# rm welcome.conf -f

# vim /var/www/html/index.html

<h1>meb2 192m168.8.102</h1>





修改默认apache访问端口为8888

默认yum方式安装apache配置文件的位置# vim /etc/httpd/conf/httpd.conf





# vim /etc/httpd/httpd.conf





Listen 8888





重启使配置生效

# service httpd restart





rs1

192.168.8.101

# cd /etc/sysconfig/network-scripts/

# vim ifcfg-eth0





IPADDR=192.168.8.101

NETWORK=192.168.8.0

NETMASK=255.255.255.0

GATEWAY=192.168.8.254

BROADCAST=192.168.8.255





# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 

# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore 

# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce 

# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce





# cd /etc/sysconfig/network-scripts/





# cp ifcfg-lo ifcfg-lo:0





# vim ifcfg-lo:0





DEVICE=lo:0

IPADDR=192.168.8.68

NETMASK=255.255.255.255

BROADCAST=192.168.8.68

ONBOOT=yes

NAME=loopback





# service network restart

将访问192.168.8.68的数据转发到lo:0回环口上

# route add -host 192.168.8.68 dev lo:0





并验证配置是否生效





rs2

192.168.8.102

# cd /etc/sysconfig/network-scripts/

# vim ifcfg-eth0

IPADDR=192.168.8.101

NETWORK=192.168.8.0

NETMASK=255.255.255.0

GATEWAY=192.168.8.254

BROADCAST=192.168.8.255





# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 

# echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore 

# echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce 

# echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce





# cp ifcfg-lo ifcfg-lo:0





# vim ifcfg-lo:0





DEVICE=lo:0

IPADDR=192.168.8.68

NETMASK=255.255.255.255

BROADCAST=192.168.8.68

ONBOOT=yes

NAME=loopback





# service network restart





# route add -host 192.168.8.68 dev lo:0





3.对dr进行配置





# ipvsadm -A -t 192.168.8.68:8888 -s rr

# ipvsadm -a -t 192.168.8.68:8888 -r 192.168.8.101 -g

# ipvsadm -a -t 192.168.8.68:8888 -r 192.168.8.102 -g

# ipvsadm -L -n

注意：

1.无论是在vmware虚拟环境中，还是在真实机器中，必须将dip设置在第一块网卡上，而VIP必须设置在第二块网卡上，否则无法进行负载均衡

如dip分别要配置在vmware的eth0和真实dell服务器的em1网卡中

2.在真实环境中，内网地址很快就能负载均衡成功，如直接访问http://192.168.8.68:8888没有问题

而192.168.8.68映射到外网地址的 193.239.143.212等了差不多半个小时后才生效