Nginx负载均衡高可用
1. Nginx负载均衡高可用
首先介绍一下Keepalived,它是一个高性能的服务器高可用或热备解决方案,Keepalived主要来防止服务器单点故障的发生问题,可以通过其与Nginx的配合实现web服务端的高可用。
Keepalived以VRRP协议为实现基础,用VRRP协议来实现高可用性(HA).VRRP (Virtual Router Redundancy Protocol)协议是用于实现路由器冗余的协议,VRRP协议将两台或多台路由器设备虚拟成一个设备,对外提供虚拟路由器IP(一个或多个),如下图所示:
这张图的意思是,我们使用keepalived来管理两台设备的Nginx,并虚拟出一个IP,我们现在两台装有Nginx的设备分别是192.168.101.3和192.168.101.4,那么我们可以虚拟出一个192.168.156.xx的IP,外界请求直接访问虚拟IP而不是真正的Nginx,让虚拟IP去访问提供服务的Nginx(注意:高可用是指同一时间提供服务的只有一台设备,提供服务的设备挂掉之后,备份服务器便开始提供服务),然后再由Nginx去访问tomcat。
要实现nginx的高可用,需要实现备份机。
我们拿两台虚拟机来搭建nginx高可用环境,这两台设备分别是192.168.101.3(主机名是nginx1)和192.168.101.4(主机名是nginx2)。
1.1. 什么是负载均衡高可用
nginx作为负载均衡器,所有请求都到了nginx(对外服务的唯一入口,唯一公网IP),可见nginx处于非常重点的位置,如果nginx服务器宕机后端web服务将无法提供服务,影响严重。
为了屏蔽负载均衡服务器的宕机,需要建立一个备份机。主服务器和备份机上都运行高可用(High Availability)监控程序,通过传送诸如“I am alive”这样的信息来监控对方的运行状况。当备份机不能在一定的时间内收到这样的信息时,它就接管主服务器的服务IP并继续提供负载均衡服务;当备份管理器又从主管理器收到“I am alive”这样的信息时,它就释放服务IP地址,这样的主服务器就开始再次提供负载均衡服务。
1.2. keepalived+nginx实现主备
通常说的双机热备是指两台机器都在运行,但并不是两台机器都同时在提供服务。
当提供服务的一台出现故障的时候,另外一台会马上自动接管并且提供服务,而且切换的时间非常短。
1.2.1. 什么是keepalived
keepalived是集群管理中保证集群高可用的一个服务软件,用来防止单点故障。
Keepalived的作用是检测web服务器的状态(健康监测),如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的web服务器。
1.2.2. keepalived工作原理
keepalived是以VRRP协议为实现基础的,VRRP全称Virtual Router Redundancy Protocol,即虚拟路由冗余协议。
虚拟路由冗余协议,可以认为是实现路由器高可用的协议,即将N台提供相同功能的路由器组成一个路由器组,这个组里面有一个master和多个backup,master上面有一个对外提供服务的vip(VIP = Virtual IP Address,虚拟IP地址,该路由器所在局域网内其他机器的默认路由为该vip),master会发组播,当backup收不到VRRP包时就认为master宕掉了,这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。
keepalived主要有三个模块,分别是core、check和VRRP。core模块为keepalived的核心,负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查,包括常见的各种检查方式。VRRP模块是来实现VRRP协议的。
详细参考:Keepalived权威指南中文.pdf
1.2.3. keepalived+nginx实现主备过程
nginx和keepalived实现nginx高可用:
https://blog.csdn.net/u012453843/article/details/69668663
1.2.3.1. 初始状态:
初始时候,nginx主服务器正常,将vip绑定到自身,对外提供服务,从服务器始终与主服务器保持通信,监测主服务器的健康状态。
1.2.3.2. 主机宕机:
当nginx主服务器宕机或发生异常,总之以任何理由造成服务器上的健康监测程序发生异常,无法和从服务器上的健康监测程序通信,此时从服务器上的健康监测机制就会认为主服务器挂了,从而将vip绑定到自身,成功上位,充当主服务器的角色。
1.2.3.3. 主机恢复:
在keepalive机制中,主服务器终究是主服务器,一旦主服务器恢复,边从新绑定vip,继续充当主服务器,而从服务器又成为了热备。
1.2.4. 高可用环境
两台nginx,一主一备:192.168.101.3和192.168.101.4
两台tomcat服务器:192.168.101.5、192.168.101.6
1.2.5. 安装keepalived
1、分别在主备nginx上安装keepalived,参考“安装笔记”进行安装:
2、Keepalived安装与配置:
https://blog.csdn.net/xyang81/article/details/52554398
1.2.6. 配置keepalived
修改主和备nginx服务器上的keepalived 配置文件 /etc/keepalived/keepalived.conf 文件
1.2.6.1. 主nginx
修改主nginx下/etc/keepalived/keepalived.conf文件
- ! Configuration File for keepalived
- #全局配置
- global_defs {
- notification_email { #指定keepalived在发生切换时需要发送email到的对象,一行一个
- XXX@XXX.com
- }
- notification_email_from XXX@XXX.com #指定发件人
- #smtp_server XXX.smtp.com #指定smtp服务器地址
- #smtp_connect_timeout 30 #指定smtp连接超时时间
- router_id LVS_DEVEL #运行keepalived机器的一个标识
- }
- vrrp_instance VI_1 {
- state MASTER #标示状态为MASTER 备份机为BACKUP
- interface eth0 #设置实例绑定的网卡
- virtual_router_id #同一实例下virtual_router_id必须相同
- priority #MASTER权重要高于BACKUP 比如BACKUP为99
- advert_int #MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
- authentication { #设置认证
- auth_type PASS #主从服务器验证方式
- auth_pass
- }
- virtual_ipaddress { #设置vip
- 192.168.101.100 #可以多个虚拟IP,换行即可
- }
- }
1.2.6.2. 备nginx
修改备nginx下/etc/keepalived/keepalived.conf文件
配置备nginx时需要注意:需要修改state为BACKUP , priority比MASTER低,virtual_router_id和master的值一致
- ! Configuration File for keepalived
- #全局配置
- global_defs {
- notification_email { #指定keepalived在发生切换时需要发送email到的对象,一行一个
- XXX@XXX.com
- }
- notification_email_from XXX@XXX.com #指定发件人
- #smtp_server XXX.smtp.com #指定smtp服务器地址
- #smtp_connect_timeout 30 #指定smtp连接超时时间
- router_id LVS_DEVEL #运行keepalived机器的一个标识
- }
- vrrp_instance VI_1 {
- state BACKUP #标示状态为MASTER 备份机为BACKUP
- interface eth0 #设置实例绑定的网卡
- virtual_router_id #同一实例下virtual_router_id必须相同
- priority #MASTER权重要高于BACKUP 比如BACKUP为99
- advert_int #MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
- authentication { #设置认证
- auth_type PASS #主从服务器验证方式
- auth_pass
- }
- virtual_ipaddress { #设置vip
- 192.168.101.100 #可以多个虚拟IP,换行即可
- }
- }
1.2.7. 测试
主备nginx都启动keepalived及nginx。
service keepalived start
./nginx
1.2.7.1. 初始状态
查看主nginx的eth0设置:
vip绑定在主nginx的eth0上。
查看备nginx的eth0设置:
vip没有绑定在备nginx的eth0上。
访问ccc.test.com,可以访问。
1.2.7.2. 主机宕机
将主nginx的keepalived停止或将主nginx关机(相当于模拟宕机),查看主nginx的eth0:
eth0没有绑定vip
注意这里模拟的是停止 keepalived进程没有模拟宕机,所以还要将nginx进程也停止表示主nginx服务无法提供。
查看备nginx的eth0:
vip已经漂移到备nginx。
访问ccc.test.com,可以访问。
1.2.7.3. 主机恢复
将主nginx的keepalived和nginx都启动。
查看主nginx的eth0:
查看备nginx的eth0:
vip漂移到主nginx。
查看备nginx的eth0:
eth0没有绑定vip
访问:ccc.test.com,正常访问。
注意:主nginx恢复时一定要将nginx也启动(通常nginx启动要加在开机启动中),否则即使vip漂移到主nginx也无法访问。
1.2.8. 解决nginx进程和keepalived不同时存在问题
1.2.8.1. 问题描述
keepalived是通过检测keepalived进程是否存在判断服务器是否宕机,如果keepalived进程在但是nginx进程不在了那么keepalived是不会做主备切换,所以我们需要写个脚本来监控nginx进程是否存在,如果nginx不存在就将keepalived进程杀掉。
1.2.1.2. nginx进程检测脚本
在主nginx上需要编写nginx进程检测脚本(check_nginx.sh),判断nginx进程是否存在,如果nginx不存在尝试重启nginx,若无法启动,就将keepalived进程杀掉,check_nginx.sh内容如下:
- #!/bin/sh
- # 如果进程中没有nginx,尝试重启nginx进程,若还是没有,则将keepalived进程kill掉、
- A=`ps -C nginx --no-header |wc -l` ## 查看是否有nginx进程 把值赋给变量A
- if [ $A -eq ];then
- /usr/local/nginx/sbin/nginx ## 重启nginx进程
- sleep ## 等待时间
- if [ `ps -C nginx --no-header |wc -l` -eq ];then ## 还是没有nginx进程
- killall keepalived ## 杀掉keepalived
- fi
- fi
将check_nginx.sh拷贝至/etc/keepalived下,
脚本测试:
将nginx停止,将keepalived启动,执行脚本:sh /etc/keepalived/check_nginx.sh
从执行可以看出自动将keepalived进程kill掉了。
1.2.8.3. 修改keepalived.conf
修改主nginx的keepalived.conf,添加脚本定义检测:参考keepalived之vrrp_script详解;
注意下边红色标识地方:
- #全局配置
- global_defs {
- notification_email { #指定keepalived在发生切换时需要发送email到的对象,一行一个
- XXX@XXX.com
- }
- notification_email_from miaoruntu@itcast.cn #指定发件人
- #smtp_server XXX.smtp.com #指定smtp服务器地址
- #smtp_connect_timeout 30 #指定smtp连接超时时间
- router_id LVS_DEVEL #运行keepalived机器的一个标识
- }
- ## keepalived会定时执行脚本并对脚本执行的结果进行分析,动态调整vrrp_instance的优先级。
##如果脚本执行结果为0,并且weight配置的值大于0,则优先级相应的增加。如果脚本执行结果非0,
##并且weight配置的值小于 0,则优先级相应的减少。其他情况,维持原本配置的优先级,即配置文件中priority对应的值。- vrrp_script check_nginx {
- script "/etc/keepalived/check_nginx.sh" ##监控脚本
- interval 2 ##时间间隔,2秒
- weight -20 ##权重
- }
- vrrp_instance VI_1 {
- state MASTER #标示状态为MASTER 备份机为BACKUP
- interface eth0 #设置实例绑定的网卡
- virtual_router_id 51 #同一实例下virtual_router_id必须相同
- priority #MASTER权重要高于BACKUP 比如BACKUP为80
- advert_int #MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒
- authentication { #设置认证
- auth_type PASS #主从服务器验证方式
- auth_pass
- }
- track_script {
- check_nginx #监控脚本
- }
- virtual_ipaddress { #设置vip
- 192.168.101.100 #可以多个虚拟IP,换行即可
- }
- }
修改后重启keepalived
接着看下面这段配置,这段配置的意思是,每隔2秒中去执行/etc/keepalived/nginx_check.sh脚本一次,这项检查从开始便一直进行,interval表示间隔时间,weight -20的意思是,脚本执行成功后把当前节点的优先级降低20。
- vrrp_script chk_nginx {
- script "/etc/keepalived/nginx_check.sh"
- interval
- weight -
- }
state MASTER表示该节点角色定义为MASTER,interface eth0是指虚拟机的网卡是eth0。virtual_router_id 51这项配置非常重要,两个节点的这项配置的值必须一样,否则会出现乱七八糟的问题,这里我把virtual_router_id的值设置为51。mcast_src_ip 192.168.101.3这项配置是指定当前节点的真实IP。priority 100的意思是优先级,这里暂且设置为100,当然也可以是其它值。优先级在keepalived实现高可用方面起着至关重要的作用,keepalived服务器就是根据优先级来选择当前提供服务的设备的,192.168.101.3刚开始设置的优先级是100,192.168.101.4刚开始设置的优先级是90,这样keepalived一开始去检查优先级,发现192.168.101.3这台设备的优先级高,于是便让该设备对外提供服务,当192.168.101.3这台设备的nginx挂掉后,由于nginx_check.sh脚本每两秒执行一次,发现192.168.101.3这个节点没有nginx进程后便尝试进行重新启动nginx,如果重新启动还是不行的话,就杀掉所有的keepalived进程,并告诉keepalived服务器192.168.101.3这个节点的nginx挂掉了同时会把这个节点的优先级减20,从而优先级变为了80,这样下次keepalived来检查优先级发现192.168.101.4这个节点的优先级比较高(90),于是便让192.168.101.4这个节点对外提供服务,同理,这个节点发生故障的话,也会再去让另外一个节点来提供服务,这就实现了高可用。
Keepalived中Master和Backup角色选举策略:https://www.linuxidc.com/Linux/2014-08/105884.htm
1.2.8.4. Keepalived中Master和Backup角色选举策略
在Keepalived集群中,其实并没有严格意义上的主、备节点,虽然可以在Keepalived配置文件中设置“state”选项为“MASTER”状态,但是这并不意味着此节点一直就是Master角色。控制节点角色的是Keepalived配置文件中的“priority”值,但并它并不控制所有节点的角色,另一个能改变节点角色的是在vrrp_script模块中设置的“weight”值,这两个选项对应的都是一个整数值,其中“weight”值可以是个负整数,一个节点在集群中的角色就是通过这两个值的大小决定的。
在一个一主多备的Keepalived集群中,“priority”值最大的将成为集群中的Master节点,而其他都是Backup节点。在Master节点发生故障后,Backup节点之间将进行“民主选举”,通过对节点优先级值“priority”和““weight”的计算,选出新的Master节点接管集群服务。
在vrrp_script模块中,如果不设置“weight”选项值,那么集群优先级的选择将由Keepalived配置文件中的“priority”值决定,而在需要对集群中优先级进行灵活控制时,可以通过在vrrp_script模块中设置“weight”值来实现。下面列举一个实例来具体说明。
假定有A和B两节点组成的Keepalived集群,在A节点keepalived.conf文件中,设置“priority”值为100,而在B节点keepalived.conf文件中,设置“priority”值为80,并且A、B两个节点都使用了“vrrp_script”模块来监控nginx服务,同时都设置“weight”值为10,那么将会发生如下情况:
在两节点都启动Keepalived服务后,正常情况是A节点将成为集群中的Master节点,而B自动成为Backup节点,此时将A节点的nginx服务关闭,通过查看日志发现,并没有出现B节点接管A节点的日志,B节点仍然处于Backup状态,而A节点依旧是Master状态,在这种情况下整个HA集群将失去意义。
1. “weight”值为正数时
2. “weight”值为负数时
以上两种情况的更新策略参考博文:keepalived之vrrp_script详解
1.2.8.5 测试
回到负载均衡高可用的初始状态,保证主、备上的keepalived、nginx全部启动。
停止主nginx服务
观察keepalived日志:
tail -f /var/log/keepalived.log
查看keepalived进程已经不存在。
查看eth0已经没有绑定vip。
Nginx负载均衡高可用的更多相关文章
- JAVAEE——宜立方商城03:Nginx负载均衡高可用、Keepalived+Nginx实现主备
1 nginx负载均衡高可用 1.1 什么是负载均衡高可用 nginx作为负载均衡器,所有请求都到了nginx,可见nginx处于非常重点的位置,如果nginx服务器宕机后端web服务将无法提供服务, ...
- Nginx负载均衡高可用---架构
1. Nginx负载均衡高可用 首先介绍一下Keepalived,它是一个高性能的服务器高可用或热备解决方案,Keepalived主要来防止服务器单点故障的发生问题,可以通过其与Nginx的配合实现w ...
- nginx负载均衡高可用部署和代理配置
nginx负载均衡高可用配置 服务器A:172.16.100.2 服务器B:172.16.100.3 首先先在两台服务器上分别安装好nginx和keepalived后,再进行下面的操作 配置keepa ...
- 解决nginx负载均衡高可用keepalived只针对物理机的问题
在高可用keepalived软件,在默认的情况下仅仅在对方机器宕机或keepalived停掉的时候才会接管业务. 但是在实际工作过程中,例如在nginx负载均衡工作实例中,nginx服务已停止,而ke ...
- Keepalived实现Nginx负载均衡高可用
第一章:keepalived介绍 VRRP协议 目的就是为了解决静态路由单点故障问题的 第二章: keepalived工作原理 2.1 作为系统网络服务的高可用功能(failover) keepali ...
- Nginx+Keepalived负载均衡高可用
Nginx+Keepalived负载均衡高可用方案: Nginx 使用平台:unix.linux.windows. 功能: A.www web服务 http 80 b.负载均衡(方向代理proxy) ...
- Keepalived+Nginx实现负载均衡高可用
一.负载均衡高可用 Nginx作为负载均衡器,所有请求都到了Nginx,可见Nginx处于非常重点的位置,如果Nginx服务器宕机后端web服务将无法提供服务,影响严重. 为了避免负载均衡服务器的宕机 ...
- Nginx+keepalived实现负载均衡高可用配置
1. 什么是负载均衡高可用 nginx作为负载均衡器,所有请求都到了nginx,可见nginx处于非常重点的位置,如果nginx服务器宕机后端web服务将无法提供服务,影响严重. 为了屏蔽负载均衡服务 ...
- 23.Nginx+keepalived负载均衡高可用
Nginx+keepalived负载均衡高可用 结构图 环境: 主 服务器:192.168.239.10 备 服务器:192.168.239.20 Web 服务器1:192.168.239.40 We ...
随机推荐
- 《selenium2 python 自动化测试实战》(15)——调用js控制滚动条等操作
看代码: # coding=utf-8 from time import sleepfrom selenium import webdriver driver = webdriver.Firefox( ...
- Sprint第一个冲刺(第七天)
今天休息. 燃尽图:
- 随机生成国内ip
function rand_ip(){ $ip_long = array( array('607649792', '608174079'), //36.56.0.0-36.63.255.255 arr ...
- ballerina 学习九 Client endpoints
说白了就是连接外部服务的,可以是http jms websocket .... 简单例子 代码 import ballerina/http; import ballerina/log; endpoin ...
- elixir mix开发入门
备注: 简单使用mix 进行项目的生成,同时添加docker 构建支持 1. 生成项目 mix new mydemoproject 输出信息如下: * creating README.md * cre ...
- Linux之 手动释放内存
我们在进程中要怎样去描述一个文件呢?我们用目录项(dentry)和索引节点(inode).它们的定义如下: 所谓"文件", 就是按一定的形式存储在介质上的信息,所以一个文件其实包含 ...
- Window下SVN使用总结
1 地址:http://subversion.apache.org/packages.html#windows 找到windows下的svn客户端工具.选择Win32Svn 进行安装. 一般环境变量会 ...
- caffe读取多标签的lmdb数据
问题描述: lmdb文件支持数据+标签的形式,但是却只能写入一个标签,引入多标签的解决方法有很多,这儿详细说一下我的办法:制作多个data数据,分别加入一个标签.我的方法只适用于标签数量较少的情况,标 ...
- windows环境vagrant修改静态资源文件,centos虚拟机中nginx的web环境下不生效
最近上手krpano,本地修改了krpano.html文件或者xml文件,在虚拟机环境打开文件是修改过来了,在nginx中就是不生效. 修改nginx.conf中http{}中的 sendfile ...
- PES包格式
PES是Packetized Elementary Stream的简称,是将原始ES流打包后形成的,再将PES经过不同的打包方式可以组成MPEG program stream 和 MPEG trans ...