架构设计:负载均衡层设计方案(5)——LVS单节点安装
1、概述
上篇文章《架构设计:负载均衡层设计方案(4)——LVS原理》(http://blog.csdn.net/yinwenjie/article/details/46845997),我们介绍了LVS的工作模式,和每一种模式的具体工作过程。这篇文章中,我们将介绍单一LVS节点的安装方式。比起上一篇文章,这一片要提到的安装和配置就是非常简单的了,只要您了解原理,实践就是从容的事情。
您可以在您的电脑上使用VMware虚拟机,按照下面介绍的过程一步一步实践。我们将采用两台虚拟机,一台作为LVS节点,另外一台安装了Nginx的服务器作为Real Server节点。
2、LVS-NAT 模式安装
2.1、准备工作——LVS Server:
LVS Server:LSV Server有两张网卡。
- eth0:192.168.100.10:这张网卡对应一个封闭的内网,不能访问外网资源,外网也不能直接通过这个IP访问这台主机
eth1:192.168.220.100:这张网卡设置的IP可以访问外网,也可以被外网访问。eth1的网关:192.168.220.1。
以下是设置的eth0 ip信息,
[root@lvs1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0C:29:3E:4A:4F"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR="192.168.100.10"
NETMASK="255.255.255.0"
====================================
以下是设置的eth1 ip信息
[root@lvs1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE="eth1"
BOOTPROTO="static"
HWADDR="00:0C:29:3E:4A:59"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR="192.168.220.100"
NETMASK="255.255.255.0"
GATEWAY="192.168.220.1"
记得设置完成后,要重启network服务:
[root@lvs1 ~]# service network restart
ping ping更健康(说明到外网的网管工作是正常的):
[root@lvs1 ~]# ping 192.168.220.1
PING 192.168.220.1 (192.168.220.1) 56(84) bytes of data.
64 bytes from 192.168.220.1: icmp_seq=1 ttl=128 time=0.447 ms
64 bytes from 192.168.220.1: icmp_seq=2 ttl=128 time=0.154 ms
另外还可以通过route命令检查:
[root@lvs1 ~]# route
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
192.168.100.0 * 255.255.255.0 U 1 0 0 eth0
192.168.220.0 * 255.255.255.0 U 1 0 0 eth1
default 192.168.220.1 0.0.0.0 UG 0 0 0 eth1
注意,route表中有一项eth1的default的信息,指向192.168.220.1。说明路由配置是正确的。
2.2、准备工作——Real Server:
Real Server:Real Server有一张网卡,在一个封闭的内网环境中。
eth0:192.168.100.11:这样LVS Server和Real Server就组成了一个相对封闭的局域网络。注意按照我们介绍的NAT原理,Real Server的eth0的默认网关要设置成Lvs Server:192.168.100.10.
在Real Server上运行了一个Nginx程序,在80端口上。这样以便在后续的过程中,测试LVS-NAT的工作是否正常。
以下是设置的Real Server eth0 的IP信息:
[root@vm1 ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
HWADDR="00:0C:29:45:04:32"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR=192.168.100.11
NETMASK=255.255.255.0
GATEWAY="192.168.100.10"
一定注意Real Server的网管要设置到LVS的IP:192.168.100.10。接着,看看Nginx是不是工作正常的:
当然,同样的ping ping更健康:
[root@vm1 ~]# ping 192.168.100.10
PING 192.168.100.10 (192.168.100.10) 56(84) bytes of data.
64 bytes from 192.168.100.10: icmp_seq=1 ttl=64 time=0.259 ms
64 bytes from 192.168.100.10: icmp_seq=2 ttl=64 time=0.215 ms
64 bytes from 192.168.100.10: icmp_seq=3 ttl=64 time=0.227 ms
另外一个检查方式,也可以通过route命令:
[root@vm1 ~]# route
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
192.168.100.0 * 255.255.255.0 U 1 0 0 eth0
default 192.168.100.10 0.0.0.0 UG 0 0 0 eth0
注意,默认的路由指向192.168.100.10。
完成准备工作后,我们可以开始安装和配置LVS了。
2.3、开始安装和配置LVS-NAT模式:
ipvsadm是一个LVS的管理程序。我们队LVS的配置都是通过这个管理程序进行实现的。首先我们要安装ipvsadm:
yum -y install ipvsadm
然后开始配置。首先我们要设置LVS机器支持IP转发功能。注意默认IP转发功能是关闭的,重启机器后,又会关闭:
[root@lvs1 ~]# echo 1 >> /proc/sys/net/ipv4/ip_forward
然后我们查看一下,是否改写成功:
[root@lvs1 ~]# cat /proc/sys/net/ipv4/ip_forward
1
注意,如果您使用vim或者vi命令,改写文件,是不会成功的。因为这个文件存在于内存。不在硬盘上。所以只能通过echo这样的命令改写。
接下来执行如下的命令:
[root@lvs1 ~]# ipvsadm -At 192.168.220.100:80 -s rr
[root@lvs1 ~]# ipvsadm -at 192.168.220.100:80 -r 192.168.100.11 -m
我们来解释一下其中的参数:
-A --add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。
-t --tcp-service service-address 说明虚拟服务器提供的是tcp 的服务。
-s --scheduler scheduler 使用的调度算法,可选项包括:rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq(关于调度算法我们在上篇文章中已经详细介绍了)
-r --real-server server-address 真实的服务器[Real-Server:port]。
-m --masquerading 指定LVS 的工作模式为NAT 模式。
当然ipvsadm还包括很多参数,后面慢慢讲,然后再本文章的最后部分,会给出一个比较完整的参数汇总。最后我们测试一下:
我们在相对于Real Server的外网,通过192.168.220.100的LVS Server IP访问到了Real Server上的Nginx服务。安装和配置成功。
2.4、关于iptables和重启服务的说明
在配置LVA-NAT过程中,建议关闭LVS和Real Server的防火墙服务。这样可以避免不必要的错误发生,增加一次配置成功的几率。但是正常生产环境中,LVS的防火墙根据实际情况最好还是要打开。
请注意,刚才使用ipvsadm配置的信息,在LVS服务器重启后,就会失效。包括ip_forward的配置。所以,最好制作一个脚本文件,并加入到/etc/profile中:
vim /usr/lvsshell.sh
#!/bin/bash
echo 1 > /proc/sys/net/ipv4/ip_forward
ipvsadm -C
ipvsadm -At 192.168.220.100:80 -s rr
ipvsadm -at 192.168.220.100:80 -r 192.168.100.11 -m
3、LVS-DR 模式安装
3.1、准备工作——LVS Server
为了让您了解LVS的另外设置方式,本次我们使用VIP的方式,而不是两张网卡的方式(当然您也可以用两张网卡的方式)。VIP的方式是后面我们将讲到的LVS + Keepalived组合工作模式的常用方式。所谓VIP就死虚拟IP,是指这个IP不会固定捆绑到某一个网卡设备,而是通过ifconfig命令绑定,并在“适当时候”这种绑定关系会随之变化:
DIP:192.168.220.137
VIP:192.168.220.100
首先我们看看在没有设置VIP之前,LVS主机上的IP信息:
[root@lvs1 ~]# ifconfig
eth1 Link encap:Ethernet HWaddr 00:0C:29:3E:4A:59
inet addr:192.168.220.137 Bcast:192.168.220.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fe3e:4a59/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:2612 errors:0 dropped:0 overruns:0 frame:0
TX packets:117 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:159165 (155.4 KiB) TX bytes:8761 (8.5 KiB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:16436 Metric:1
RX packets:210 errors:0 dropped:0 overruns:0 frame:0
TX packets:210 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:16944 (16.5 KiB) TX bytes:16944 (16.5 KiB)
然后我们来设置VIP信息:
[root@lvs1 ~]# ifconfig eth1:0 192.168.220.100 broadcast 192.168.220.100 netmask 255.255.255.255 up
[root@lvs1 ~]# route add -host 192.168.220.100 dev eth1:0
路由表会有新的路由信息:
[root@lvs1 ~]# route
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
192.168.220.100 * 255.255.255.255 UH 0 0 0 eth1
192.168.100.0 * 255.255.255.0 U 1 0 0 eth0
192.168.220.0 * 255.255.255.0 U 1 0 0 eth1
default 192.168.220.1 0.0.0.0 UG 0 0 0 eth1
这时,通过一个外网IP,可以ping通这个VIP(下面这个DOS系统是VM的母机):
C:\Users\yinwenjie> ping 192.168.220.100
正在 Ping 192.168.220.100 具有 32 字节的数据:
来自 192.168.220.100 的回复: 字节=32 时间<1ms TTL=64
来自 192.168.220.100 的回复: 字节=32 时间<1ms TTL=64
以上,我们完成了LVS主机设置LVS-DR工作模式的准备工作。注意:
- 在您设置过程中,防火前最好关闭,但在正式生产环境中,LVS的防火强最好打开。
- VIP信息在LVS主机重启后,会消失。所以您最好将设置VIP的命令做成一个脚本。
3.2、准备工作——Real Server
RIP:192.168.220.132
真实服务器的准备工作,需要保证真实服务器能够访问外网网关,并且保证由LVS改写的报文能够被Real Server处理(请参见我的上一篇介绍LVS原理的博文),这就需要做一个回环IP。首先我们看看没有开始设置之前的IP信息:
[root@localhost ~]# ifconfig
eth0 Link encap:Ethernet HWaddr 00:0C:29:FC:91:FC
inet addr:192.168.220.132 Bcast:192.168.220.255 Mask:255.255.255.0
inet6 addr: fe80::20c:29ff:fefc:91fc/64 Scope:Link
UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1
RX packets:2384 errors:0 dropped:0 overruns:0 frame:0
TX packets:1564 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:1551652 (1.4 MiB) TX bytes:144642 (141.2 KiB)
lo Link encap:Local Loopback
inet addr:127.0.0.1 Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING MTU:65536 Metric:1
RX packets:44 errors:0 dropped:0 overruns:0 frame:0
TX packets:44 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:3361 (3.2 KiB) TX bytes:3361 (3.2 KiB)
使用route命令,查看原始route信息:
[root@localhost ~]# route
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
192.168.220.0 * 255.255.255.0 U 1 0 0 eth0
default 192.168.220.1 0.0.0.0 UG 0 0 0 eth0
另外,这台Real Server上有一个Nginx,以保证我们观测LVS-DR的运行情况。我们在外网使用192.168.220.132这个IP,能够访问到Nginx的页面:
接下来,我们开始设置Real Server上的回环IP,首先关闭这台机器进行ARP查询的功能,否则,Real Server会在路由器或者交换机上去查询192.168.220.100这个IP对应的MAC地址(注意,以下的信息都会被还原):
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
然后可以设置回环IP了:
[root@vm3 ~]# ifconfig lo:0 192.168.220.100 broadcast 192.168.220.100 netmask 255.255.255.255 up
[root@vm3 ~]# route add -host 192.168.220.100 dev lo:0
检查新的路由信息:
[root@vm3 ~]# route
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
192.168.220.100 * 255.255.255.255 UH 0 0 0 lo
192.168.220.0 * 255.255.255.0 U 1 0 0 eth0
default 192.168.220.1 0.0.0.0 UG 0 0 0 eth0
以上设置完成。完成后,您需要通过ping命令,检查一下网关是否可用(最好可以瓶ping一下外网的某个地址,例如163.com)。LVS-DR模式下,Real Server是直接向请求方返回结果,所以一定要保证网关时可用的。
3.3、开始安装和配置LVS-DR模式
在验证了LVS Server和Real Server都准备好以后,就可以进行LVS-DR模式的设置了。LVS管理软件ipvsadm的安装我们就不敷述了,在LVS-NAT的小结中有关于LVS管理软件安装的介绍。
[root@lvs1 ~]# echo 1 > /proc/sys/net/ipv4/ip_forward
[root@lvs1 ~]# cat /proc/sys/net/ipv4/ip_forward
1
[root@lvs1 ~]# ipvsadm -C
[root@lvs1 ~]# ipvsadm -At 192.168.220.100:81 -s rr
[root@lvs1 ~]# ipvsadm -at 192.168.220.100:81 -r 192.168.220.132 -g
介绍一下新出现的参数:
- -g –gatewaying 指定LVS 的工作模式为直接路由模式DR模式(也是LVS默认的模式)
配置完成,是不是很简单。接下来,我们就可以在外网,通过192.168.220.100这个IP访问132这台Real Server上的Nginx服务了:
4、LVS-TUN 模式安装
LVS-TUN模式的安装我不打算再花很大的篇幅讲了,在您通过上一篇文章了解了DR和TUN的不同以后,其配置的过程都是差不多的,只不过一个可以跨越子网,一个不能。所以LVS-TUN模式的安装和配置请首先参考LVS-DR模式。
5、IPVSADM参数汇总
-A –add-service 在内核的虚拟服务器表中添加一条新的虚拟服务器记录。也就是增加一台新的虚拟服务器。
-E –edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D –delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。
-C –clear 清除内核虚拟服务器表中的所有记录。
-R –restore 恢复虚拟服务器规则
-S –save 保存虚拟服务器规则,输出为-R 选项可读的格式
-a –add-server 在内核虚拟服务器表的一条记录里添加一条新的真实服务器记录。也就是在一个虚拟服务器中增加一台新的真实服务器
-e –edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录
-d –delete-server 删除一条虚拟服务器记录中的某条真实服务器记录
-L –list 显示内核虚拟服务器表
-Z –zero 虚拟服务表计数器清零(清空当前的连接数量等)
–set tcp tcpfin udp 设置连接超时值
–start-daemon 启动同步守护进程。他后面可以是master 或backup,用来说明LVS Router 是master 或是backup。在这个功能上也可以采用keepalived 的VRRP 功能。
–stop-daemon 停止同步守护进程
-t –tcp-service service-address 说明虚拟服务器提供的是tcp 的服务[vip:port] or [real-server-ip:port]
-u –udp-service service-address 说明虚拟服务器提供的是udp 的服务[vip:port] or [real-server-ip:port]
-f –fwmark-service fwmark 说明是经过iptables 标记过的服务类型。
-s –scheduler scheduler 使用的调度算法,选项:rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq, 默认的调度算法是: wlc.
-p –persistent [timeout] 持久稳固的服务。这个选项的意思是来自同一个客户的多次请求,将被同一台真实的服务器处理。timeout 的默认值为300 秒。
-M –netmask netmask persistent granularity mask
-r –real-server server-address 真实的服务器[Real-Server:port]
-g –gatewaying 指定LVS 的工作模式为直接路由模式DR模式(也是LVS默认的模式)
-i –ipip 指定LVS 的工作模式为隧道模式
-m –masquerading 指定LVS 的工作模式为NAT 模式
-w –weight weight 真实服务器的权值
–mcast-interface interface 指定组播的同步接口
-c
–connection 显示LVS 目前的连接 如:ipvsadm -L -c
–timeout 显示tcp tcpfin udp 的timeout 值 如:ipvsadm -L –timeout
–daemon 显示同步守护进程状态
–stats 显示统计信息
–rate 显示速率信息
–sort 对虚拟服务器和真实服务器排序输出
–numeric -n 输出IP 地址和端口的数字形式
好吧,这个就是我网上抄的。
6、后文介绍
LVS的设置实际上没有什么难度,充其量是一个高级玩意儿,是解决特定问题的特定方法。您需要的基础知识涉及到IP协议、子网分割、IP映射、Linux脚本等基本知识。打通任督二脉才是您的根本。
LVS的设置过程中肯定会遇到实际问题,特别是您头几次配置。别慌,别怕,透过现象猜测本质,一个一个的解决问题。就我的经验总结,无非几种问题分类:
- 网关不通
- 回环IP设置问题
- 防火墙问题
- VIP设置问题
- 网段或者子网问题
通过包括这篇博客在内的这几篇文章,您已经分别了解了Nginx、LVS的功能、原理、特 点和工作模式。后面一篇文章,我们将把这些负载层的技术混合在一起,介绍Nginx + Keepalived、LVS + Keepalived、LVS + Keepalived + Nginx的安装和配置方式。
(本人这个月“持之以恒”奖已经拿到了,笑一个:哈哈哈)
补充一下:由于工作的原因,期间可能还会推出一篇关于Apache Camel的文章,就算提前进入业务通信层的讨论吧。不过这个看当时的时间安排。目前情况下还是以负载均衡层的讨论为主线。
http://blog.csdn.net/yinwenjie/article/details/47010569
架构设计:负载均衡层设计方案(5)——LVS单节点安装的更多相关文章
- 架构设计:负载均衡层设计方案(2)——Nginx安装
来源:http://blog.csdn.net/yinwenjie(未经允许严禁用于商业用途!) 目录(?)[-] Nginx重要算法介绍 1一致性Hash算法 2轮询与加权轮询 Nginx的安装 1 ...
- 架构设计:负载均衡层设计方案(7)——LVS + Keepalived + Nginx安装及配置
1.概述 上篇文章<架构设计:负载均衡层设计方案(6)——Nginx + Keepalived构建高可用的负载层>(http://blog.csdn.net/yinwenjie/artic ...
- 架构设计:负载均衡层设计方案(4)——LVS原理
之前我们花了两篇文章的篇幅,详细讲解了Nginx的原理.安装和特性组件.请参看<负载均衡层设计方案(2)——Nginx安装>(http://blog.csdn.net/yinwenjie/ ...
- 架构设计:负载均衡层设计方案(3)——Nginx进阶
版权声明:欢迎转载,但是看在我辛勤劳动的份上,请注明来源:http://blog.csdn.net/yinwenjie(未经允许严禁用于商业用途!) 目录(?)[-] Nginx继续进阶 1gzip ...
- 架构设计:负载均衡层设计方案(6)——Nginx + Keepalived构建高可用的负载层
1.概述 前两遍文章中,我们一直在说后文要介绍Nginx + Keepalived的搭建方式.这篇文章开始,我们就来兑现前文的承诺,后续的两篇文章我们将介绍Nginx + Keepalived和 LV ...
- 系统架构之负载均衡【F5\nginx\LVS\DNS轮询\】
在做系统架构规划的时候,负载均衡,HA(高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点,当活动节点出现故障的时候,由备用节点接管)都是经常需要考虑的 ...
- LB(Load balance)负载均衡集群--{LVS-[NAT+DR]单实例实验+LVS+keeplived实验} 菜鸟入门级
LB(Load balance)负载均衡集群 LVS-[NAT+DR]单实例实验 LVS+keeplived实验 LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一 ...
- Windows平台分布式架构实践负载均衡
Windows平台分布式架构实践 - 负载均衡 概述 最近.NET的世界开始闹腾了,微软官方终于加入到了对.NET跨平台的支持,并且在不久的将来,我们在VS里面写的代码可能就可以通过Mono直接在Li ...
- Windows平台分布式架构实践 - 负载均衡(转载)
Windows平台分布式架构实践 - 负载均衡 概述 最近.NET的世界开始闹腾了,微软官方终于加入到了对.NET跨平台的支持,并且在不久的将来,我们在VS里面写的代码可能就可以通过Mono直接在Li ...
随机推荐
- 《Java数据结构与算法》笔记-CH5-链表-1单链表
/** * Link节点 * 有数据项和next指向下一个Link引用 */ class Link { private int iData;//数据 private double dData;//数据 ...
- Apache Spark的部署环境的小记
Spark的单机版便于测试,同时通过SSH用Spark的内置部署脚本搭建Spark集群,使用Mesos.Yarn或者Chef来部署Spark.对于Spark在云环境中的部署,比如在EC2(基本环境和E ...
- 【转】Eclipse去除js(JavaScript)验证错误
这篇文章主要是对Eclipse去除js(JavaScript)验证错误进行了介绍.在Eclipse中,js文件常常会报错.可以通过如下几个步骤解决 第一步:去除eclipse的JS验证:将window ...
- css斜线
斜线 .demo{ display: inline-block; width: 400px; height: 100px; resize: both; overflow: auto; margin-t ...
- [原创]Devexpress XtraReports 系列 5 创建交叉报表
昨天我们已经介绍了如何创建多栏报表,详见:[原创]Devexpress XtraReports 系列 4 创建多栏报表 今天我们继续我们的XtraReports系列.Demo和数据库文件最后会附上. ...
- 经典CSS实现三角形图标原理解析
前言: 在写这篇文章之前,我也看过很多前端大神写的代码,But,都只是粘贴代码和给出显示效果,对于初学者来说大家都喜欢刨根问底,为什么要这样做呢? 接下来就让我给大家分享一下我对CSS实现三角形的理解 ...
- hdoj 5327 Olmpiad
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=5327 #include<stdio.h> #include<cstring> ...
- android ListView中的Item有Button时候点击异常处理
1.当ListView中有Button的时候往往会遇到很多问题,比较常见的一个问题是: 假设:在ListView中有N个Item当点击其中某个Item中的Button的时候,需要改变当前Button的 ...
- OC:属性的内部实现原理、dealloc内释放实例变量、便利构造器方法的实现原理、collection的内存管理
代码: // // main.m #import <Foundation/Foundation.h> #import "Person.h" #import " ...
- c++常见输入方法[持续更新]
字符串输入 cin>> 使用空格确认字符串结束位置,保留换行符在输入队列当中 单个字符读取 cin.get(), cin.get(char) 每次读取一行: cin.getline(cha ...