LB集群

LB集群

 

1. LB、LVS介绍
LB集群是load balance 集群的简写，翻译成中文就是负载均衡集群
LVS是一个实现负载均衡集群的开源软件项目 
LVS架构从逻辑上可分为调度层(Director)、server集群层(Real server)和共享存储层
LVS可分为三种工作模式: NAT(调度器将请求的目标ip即vip地址改为Real server的ip, 返回的数据包也经过调度器，调度器再把源地址修改为vip), TUN(调度器将请求来的数据包封装加密通过ip隧道转发到后端的real server上，而real server会直接把数据返回给客户端，而不再经过调度器), DR(调度器将请求来的数据包的目标mac地址改为real server的mac地址，返回的时候也不经过调度器，直接返回给客户端)
三种IP：DIP(driector ip), VIP(virtual ip), RIP(Real IP). 其中DIP, RIP 为同一个网段，并且为私网IP, vip为对外提供服务的ip，Director, Real server上都设置vip
LVS的调度算法：轮叫调度(Round Robin)(简称rr) ,加权轮叫(Weighted Round Robin)(简称wrr),最少链接(least connection)(LC),加权最少链接(Weighted Least Connections)(WLC) 等等    

2. LVS/NAT 配置
三台服务器一台作为director, 两台作为real server
Director 有一个外网ip (192.168.0.11) 和一个内网ip(192.168.200.11), 两个real server上只有内网ip(192.168.200.128)和(192.168.200.129) 并且需要把两个real server的内网网关设置为director的内网ip(192.168.200.11)
两个real server 上都安装httpd: yum install -y httpd
Director上安装ipvsadm  yum install -y  ipvsadm
Direcotr 上 vim /usr/local/sbin/lvs_nat.sh //增加:
#! /bin/bash
# director 服务器上开启路由转发功能: 
echo 1 > /proc/sys/net/ipv4/ip_forward
echo 0 > /proc/sys/net/ipv4/conf/all/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/default/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth0/send_redirects
echo 0 > /proc/sys/net/ipv4/conf/eth1/send_redirects

# director 设置nat防火墙
iptables -t nat -F
iptables -t nat -X
iptables -t nat -A POSTROUTING -s 192.168.200.0/24  -j MASQUERADE
# director设置ipvsadm
IPVSADM='/sbin/ipvsadm'
$IPVSADM -C
$IPVSADM -A -t 192.168.0.11:80 -s lc -p 300
$IPVSADM -a -t 192.168.0.11:80 -r 192.168.200.128:80 -m -w 1
$IPVSADM -a -t 192.168.0.11:80 -r 192.168.200.129:80 -m -w 1
直接运行这个脚本就可以完成lvs/nat的配置了: 
/bin/bash /usr/local/sbin/lvs_nat.sh 
通过浏览器测试两台机器上的httpd内容

3. LVS/DR 配置
三台机器:
director(eth0192.168.0.11, vip eth0:0: 192.168.0.100)
real server1(eth0 rip: 192.168. 0.21, vip lo:0: 192.168.0.100)
real server2(eth0 rip: 192.168.0.22, vip lo:0: 192.168.0.100)
Director 上 vim /usr/local/sbin/lvs_dr.sh //增加
#! /bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipv=/sbin/ipvsadm
vip=192.168.0.100
rs1=192.168.0.21
rs2=192.168.0.22
ifconfig eth0:0 $vip broadcast $vip netmask 255.255.255.255 up
route add -host $vip dev eth0:0
$ipv -C
$ipv -A -t $vip:80 -s rr 
$ipv -a -t $vip:80 -r $rs1:80 -g -w 1
$ipv -a -t $vip:80 -r $rs2:80 -g -w 1
两台rs上：vim /usr/local/sbin/lvs_dr_rs.sh
#! /bin/bash
vip=192.168.0.100
ifconfig lo:0 $vip broadcast $vip netmask 255.255.255.255 up 
route add -host $vip lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p
然后director上执行: bash /usr/local/sbin/lvs_dr.sh
两台rs上执行: bash /usr/local/sbin/lvs_dr_rs.sh
Windows下浏览器测试访问

4. LVS/DR + keepalived配置
前面的lvs虽然已经配置成功也实现了负载均衡，但是我们测试的时候发现，当某台real server把httpd进程停掉，那么director照样会把请求转发过去，这样就造成了某些请求不正常。所以需要有一种机制用来检测real server的状态，这就是keepalived。它的作用除了可以检测rs状态外，还可以检测备用director的状态，也就是说keepalived可以实现ha集群的功能，当然了也需要一台备用director.
备用director也需要配置主director上的那个lvs_dr.sh脚本，两个direcotr上需要安装一下keepalived软件 
yum install -y keepalived
安装好后，编辑配置文件  
vim /etc/keepalived/keepalived.conf   //加入如下：
vrrp_instance VI_1 {
    state MASTER   #备用服务器上为 BACKUP
    interface eth0
    virtual_router_id 51
    priority 100  #备用服务器上为90
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.0.100
    }
}
virtual_server 192.168.0.100 80 {
    delay_loop 6                  #(每隔10秒查询realserver状态)
    lb_algo wlc                  #(lvs 算法)
    lb_kind DR                  #(Direct Route)
    persistence_timeout 60        #(同一IP的连接60秒内被分配到同一台realserver)
    protocol TCP                #(用TCP协议检查realserver状态)

    real_server 192.168.0.21 80 {
        weight 100               #(权重)
        TCP_CHECK {
        connect_timeout 10       #(10秒无响应超时)
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
    }
real_server 192.168.0.22 80 {
        weight 100
        TCP_CHECK {
        connect_timeout 10
        nb_get_retry 3
        delay_before_retry 3
        connect_port 80
        }
     }
}
以上为主director的配置文件，从director的配置文件只需要修改
state MASTER  -> state BACKUP
priority 100 -> priority 90
另外，需要注意的是，一定要先执行脚本，再启动keepalived服务，启动命令/etc/init.d/keepalived start

5. 使用nginx实现lb集群
Nginx调度器(外网ip:192.68.0.11, 内网ip: 192.168.200.11)
Web1(内网ip: 192.168.200.128)
Web2(内网ip: 192.168.200.129) 
Centos 6下如果安装过epel的yum源可以直接yum安装nginx  yum install -y nginx 
或者源码包编译nginx, 官网地址http://nginx.org/  下载合适版本（最好不要最新）
下载后解压编译安装:
./configure --prefix=/usr/local/nginx; make; make install
源码包cd /usr/local/nginx/conf; yum安装 cd /etc/nginx
vim nginx.conf // 增加
include lb.conf;
vim lb.conf  //增加如下
upstream abc.com {
    server 192.168.200.128;
    server 192.168.200.129;
}
server {
    listen 80;
    server_name www.abc.com;
    location / {
        proxy_pass      http://abc.com/;
        proxy_set_header Host   $host;
        proxy_set_header X-Real-IP      $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}
启动nginx：  service nginx start
测试：curl -x192.168.0.11:80 www.abc.com/1.html