ipvs和ipvsadm

ipvs和ipvsadm

ipvs：内核中的协议栈上实现

	ipvs是LVS软件核心，是运行在LB上的，这是个基于ip层的负载均衡。
	ipvs的总体结构主要有ip包处理，负载均衡算法，系统配置和管理三个模块以及虚拟服务器与真实服务器链表组成。
	ipvs管理集群服务管理服务上的RS。
	一个ipvs主机可以同时定义多个cluster server，但可能会影响调度性格。
	一个ipvs服务至少应该有一个RS。
	grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64
	支持的协议：TCP，UDP，AH，ESP，AH_ESP，SCTP
	ipvs 规则： /proc/net/ip_vs
	ipvs 连接：/proc/net/ip_vs_conn

ipvsadm：用户空间的集群服务管理工具

	1）程序包：ipvsadm
		rpm -ql ipvsadm
		/etc/sysconfig/ipvsadm-config
		/usr/lib/systemd/system/ipvsadm.service
		/usr/sbin/ipvsadm
		/usr/sbin/ipvsadm-restore
		/usr/sbin/ipvsadm-save
		/usr/share/doc/ipvsadm-1.27
		/usr/share/doc/ipvsadm-1.27/README

		Unit File: ipvsadm.service
		主程序：/usr/sbin/ipvsadm
		规则保存工具：/usr/sbin/ipvsadm-save
		规则重载工具：/usr/sbin/ipvsadm-restore
		配置文件：/etc/sysconfig/ipvsadm-config
	2）命令：ipvsadm
		ipvsadm - Linux Virtual Server administration
		  ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [--pe persistence_engine] [-b sched-flags]
		  ipvsadm -D -t|u|f service-address
		  ipvsadm -C
		  ipvsadm -R
		  ipvsadm -S [-n]
		  ipvsadm -a|e -t|u|f service-address -r server-address [options]
		  ipvsadm -d -t|u|f service-address -r server-address
		  ipvsadm -L|l [options]
		  ipvsadm -Z [-t|u|f service-address]
		  ipvsadm --set tcp tcpfin udp
		  ipvsadm --start-daemon state [--mcast-interface interface] [--syncid sid]
		  ipvsadm --stop-daemon state
			-A   ，--add-service      	添加一个集群服务
			-E   ，--edit-service     	修改已添加的集群服务
			-D   ，--delete-service   	删除虚拟服务
			-C   ，--clear            	清空整个表
			-R   ，--restore          	从标准输入重载
			-S   ，--save             	保存值到标准输出。
			-a   ，--add-server       	向指定的Client Server中添加Real Server.
			-e   ，--edit-server      	修改RS
			-d   ，--delete-server    	删除真实服务
			-L|-l，--list             	列出表
			-Z   ，--zero             	清空计数器
			--set tcp tcpfin udp      	设置连接超时值
			--start-daemon            	开启连接同步后台进程
			--stop-daemon             	停止连接同步后台进程
			-t service-address，--tcp-service     	服务地址是 host[:port]，tcp协议
			-u service-address，--udp-service     	服务地址是host[:port]，udp协议
			-f fwmark，--fwmark-service           	防火墙标记
			-6          ，--ipv6             	fwmark 项使用 IPv6
			-s scheduler，--scheduler        	rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,调度方法其中之一，默认为wlc。
			--pe engine        	备用持久性引擎可能是 sip,默认情况下不设置
			-p [timeout]      ，--persistent       	持续连接
			-M netmask        ，--netmask          	持久粒度掩码
			-r server-address ，--real-server      	服务地址主机和端口，只有支持端口映射的LVS类型才允许此处使用和集群服务中不同的端口
			-g                ，--gatewaying       	gatewaying (direct routing) (default)，dr模式
			-i                ，--ipip             	ipip encapsulation (tunneling)，tun模式
			-m                ，--masquerading     	masquerading (NAT)，nat模式
			-w weight         ，--weight           	实际服务器容量，指定权重
			-x uthreshold     ，--u-threshold      	连接的高等门限
			-y lthreshold     ，--l-threshold      	连接的低等门限
			--mcast-interface interface         	连接同步的多播接口
			--syncid sid                        	syncid 同步连接(default=255)
			-c，--connection                      	显示ipvs连接
			--timeout                           	超时时间输出(tcp tcpfin udp)
			--daemon                            	后台进程信息输出
			--stats                             	统计数据
			--rate                              	速率
			--exact                             	精确值
			--thresholds                        	线程信息输出
			--persistent-conn                   	当前连接信息输出
			--nosort                            	禁用对服务器/服务的排序输出
			--sort                              	不做任何事情，因为后台兼容性
			-o       ，--ops                      	单包调度
			-n       ，--numeric                  	数字格式显示ip和port，注意-n只能写在-L之后。
			-b flags ，--sched-flags              	调度标志(comma-separated)

		3）核心功能：
			集群服务管理：增、删、改
			集群服务的RS管理：增、删、改
			查看

		4）管理集群服务：增、改、删
			增、改：
				ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]
			删除：
				ipvsadm -D -t|u|f service-address
				service-address：
					-t|u|f：
						-t: TCP 协议的端口，VIP:TCP_PORT
						-u: TCP 协议的端口，VIP:UDP_PORT
						-f ：firewall MARK ，标记，一个数字
				[-s scheduler] ：指定集群的调度算法，默认为wl

		5）管理集群上的RS ：增、改、删
			增、改：
				ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
			删：
				ipvsadm -d -t|u|f service-address -r server-address
				server-address：
					rip[:port] 如省略port ，不作端口映射
			选项：
				lvs类型：
					-g: gateway, dr 类型，默认
					-i: ipip, tun 类型
					-m: masquerade, nat 类型
					-w weight：指定权重
		6）清空定义的所有内容：ipvsadm –C

		7）清空计数器：ipvsadm -Z [-t|u|f service-address]

		8）查看：
			ipvsadm -L|l [options]
				--numeric, -n ：以数字形式输出地址和端口号
				--exact ：扩展信息，精确值
				--connection ，-c ：当前IPVS 连接输出
				--stats ：统计信息
				--rate  ：输出速率信息
		9）保存：
			建议保存至/etc/sysconfig/ipvsadm
			ipvsadm-save > /PATH/TO/IPVSADM_FILE
			ipvsadm -S > /PATH/TO/IPVSADM_FILE
			systemctl stop ipvsadm.service
		10）重载：
			ipvsadm-restore < /PATH/FROM/IPVSADM_FILE
			ipvsadm -R < /PATH/FROM/IPVSADM_FILE
			systemctl restart ipvsadm.service

FireWall Mark：FWM

	1）MARK target 可用于给特定的报文打标记，在netfilter上给报文打标记，mangle表
		--set-mark value
		其中：value 为十六进制数字

	2）借助于防火墙标记来分类报文，而后基于标记定义集群服务。
		可将多个不同的应用使用同一个集群服务进行调度。
		也就是将http和https统一调度，可以实现无论你访问http和https都给你调度到后面的真实的服务器，不用每一个服务都单独的创建一个集群服务。
		打标记实现方法：
			在Director 主机打标记：
				iptables -t mangle -A PREROUTING -d $vip -p $proto –m multiport --dports $port1,$port2,… -j MARK --set-mark NUMBER
			在Director 主机基于标记定义集群服务：
				ipvsadm -A -f NUMBER [options]++++
		定义集群服务：
			ipvsadm -A -f MARK -s rr -p
			ipvsadm  -a  -f   MARK  -r  ip  -g  -w 1
		查看
			ipvsadm -Ln
			ipvsadm -Ln --rate
				Forward：转发方法
				Weight：权重
				ActiveConn：活动连接数
				InActiveConn：非活动连接数
				CPS:connections per seconds
				InnPPS：Input packets per seconds
				OutPPS：output packets per seconds
				InBPS：input bytes per seconds
				OutBPS：Output bytes per seconds
	3）作用：
		同一服务不同端口使用一个设置搞定

	4）具体实现
		在VS上进行如下设置
			iptables -t mangle -A PREROUTING -d 192.168.74.88 -p tcp -m multiport --dports 80,443 -j MARK --set-mark 12
				##无论访问VIP的80还是443端口统一打标签为12
			iptables -t mangle -vnL
			ipvsadm -A -f 12 -s wrr   -
				##创建一个集群服务，只要标签是12的调度算法都是wrr
			ipvsadm -a -f 12 -r 192.168.74.129 -g -w 3
				##将RS添加到集群服务里
			ipvsadm -a -f 12 -r 192.168.74.133 -g
			ipvsadm -Ln
		在客户端进行测试
			curl 192.168.74.88
			curl -k https://192.168.74.88/
				##k表示忽略证书访问