【Nginx】基于Consul+Upsync+Nginx实现动态负载均衡

• 一、Http动态负载均衡
  • 什么是动态负载均衡
  • 动态负载均衡实现方案
  • 常用服务器注册与发现框架
• 二、Consul快速入门
  • Consul环境搭建
• 三、nginx-upsync-module
  • nginx-upsync-module简介
  • nginx-upsync-module安装及配置整个流程

一、Http动态负载均衡

什么是动态负载均衡

传统的负载均衡，如果Upstream参数发生变化，每次都需要重新加载nginx.conf文件,
因此扩展性不是很高，所以我们可以采用动态负载均衡，实现Upstream可配置化、动态化，无需人工重新加载nginx.conf。这类似分布式的配置中心

动态负载均衡实现方案

1. Consul+Consul-template 每次发现配置更改需要raload nginx，重启Nginx。
2. Consul+OpenResty 实现无需raload动态负载均衡
3. Consul+upsync+Nginx 实现无需raload动态负载均衡

常用服务器注册与发现框架

1. 常见服务发现框架 Consul、Eureka、 ZooKeeper以及Etcd ZooKeeper是这种类型的项目中历史最悠久的之一，它起源于Hadoop。它非常成熟、可靠，被许多大公（YouTube、eBay、雅虎等）使用。
2. etcd是一个采用HTTP协议的健/值对存储系统，它是一个分布式和功能层次配置系统，可用于构建服务发现系统。其很容易部署、安装和使用，提供了可靠的数据持久化特性。它是安全的并且文档也十分齐全。

二、Consul快速入门

　　Consul是一款开源的分布式服务注册与发现系统，通过HTTP API可以使得服务注册、发现实现起来非常简单，它支持如下特性。

1. 服务注册：服务实现者可以通过HTTP API或DNS方式，将服务注册到Consul。
2. 服务发现：服务消费者可以通过HTTP API或DNS方式，从Consul获取服务的IP和PORT。故障检测：支持如TCP、HTTP等方式的健康检查机制，从而当服务有故障时自动摘除。
3. K/V存储：使用K/V存储实现动态配置中心，其使用HTTP长轮询实现变更触发和配置更改。
4. 多数据中心：支持多数据中心，可以按照数据中心注册和发现服务，即支持只消费本地机房服务，使用多数据中心集群还可以避免单数据中心的单点故障。
5. Raft算法：Consul使用Raft算法实现集群数据一致性。
6. 通过Consul可以管理服务注册与发现，接下来需要有一个与Nginx部署在同一台机器的Agent来实现Nginx配置更改和Nginx重启功能。我们有Confd或者Consul-template两个选择，而Consul-template是Consul官方提供的，我们就选择它了。其使用HTTP长轮询实现变更触发和配置更改（使用Consul的watch命令实现）。也就是说，我们使用Consul-template实现配置模板，然后拉取Consul配置渲染模板来生成Nginx实际配置。

Consul环境搭建

• 1.下载consul_0.7.5_linux_amd64.zip

  wget https://releases.hashicorp.com/consul/0.7.5/consul_0.7.5_linux_amd64.zip
  

• 2.解压consul_0.7.5_linux_amd64.zip

  unzip consul_0.7.5_linux_amd64.zip
  #如果解压出现该错误
  -bash: unzip: #未找到命令
  #解决办法
  yum -y install unzip
  

• 3.执行以下 ./consul 出现以下信息就说明安装成功

  

  

• 4.启动consul ,我的linux Ip地址192.168.140.133

   ./consul agent -dev -ui -node=consul-dev -client=192.168.140.133
  

• 5.临时关闭防火墙 systemctl stop firewalld

• 6.浏览器访问192.168.140.133:8500,会出现如下页面

  

  

• 7.使用PostMan 注册Http服务

//此处ip地址为ConsulServer所在服务器的地址
//http://192.168.140.133:8500/v1/catalog/register /
//参数1
{
    "Datacenter": "dc1",
    "Node": "tomcat",
    "Address": "192.168.0.104", //本地地址
    "Service": {
        "Id": "192.168.0.104:8080", # 8080
        "Service": "haoworld",
        "tags": [
            "dev"
        ],
        "Port": 8080
    }
}
//参数2
{
    "Datacenter": "dc1",
    "Node": "tomcat",
    "Address": "192.168.0.104",
    "Service": {
        "Id": "192.168.0.104:8081",//8081
        "Service": "haoworld",
        "tags": [
            "dev"
        ],
        "Port": 8080
    }
}

Datacenter指定数据中心，Address指定服务IP，Service.Id指定服务唯一标识，Service.Service指定服务分组，Service.tags指定服务标签（如测试环境、预发环境等），Service.Port指定服务端口。

• 8.发现Http服务
  http://192.168.140.133:8500/v1/catalog/service/item_jd_tomcat

三、nginx-upsync-module

　　注意：清除之前Nginx环境，重新安装。

nginx-upsync-module简介

　　Upsync是新浪微博开源的基于Nginx实现动态配置的三方模块。Nginx-Upsync-Module的功能是拉取Consul的后端server的列表，并动态更新Nginx的路由信息。此模块不依赖于任何第三方模块。Consul作为Nginx的DB，利用Consul的KV服务，每个Nginx Work进程独立的去拉取各个upstream的配置，并更新各自的路由。

nginx-upsync-module安装及配置整个流程

1. 安装Nginx

   wget http://nginx.org/download/nginx-1.9.10.tar.gz
   #作用:实现反向代理、负载负载库
   

2. 安装consul

   wget https://releases.hashicorp.com/consul/0.7.1/consul_0.7.1_linux_amd64.zip
   #作用:对动态负载均衡均配置实现注册
   

3. 安装nginx-upsync-module

   wget https://github.com/weibocom/nginx-upsync-module/archive/master.zip
   #作用:nginx动态获取最新upstream信息
   #解压安装
   unzip master.zip
   unzip consul_0.7.1_linux_amd64.zip
   #如果解压出现该错误
   -bash: unzip: 未找到命令
   #解决办法
   yum -y install unzip
   #安装Nginx
   #解压Nginx
   tar -zxvf nginx-1.9.10.tar.gz
   #配置Nginx
   groupadd nginx
   useradd -g nginx -s /sbin/nologin nginx
   mkdir -p /var/tmp/nginx/client/
   mkdir -p /usr/local/nginx
   #编译Nginx
   

4. 编译Nginx

   cd nginx-1.9.0
   ./configure   --prefix=/usr/local/nginx   --user=nginx   --group=nginx   --with-http_ssl_module   --with-http_flv_module   --with-http_stub_status_module   --with-http_gzip_static_module   --with-http_realip_module   --http-client-body-temp-path=/var/tmp/nginx/client/   --http-proxy-temp-path=/var/tmp/nginx/proxy/   --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/   --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi   --http-scgi-temp-path=/var/tmp/nginx/scgi   --with-pcre --add-module=../nginx-upsync-module-master
   make && make install
   

   编译的是报错
   ./configure: error: SSL modules require the OpenSSL library.
   解决办法
   yum -y install openssl openssl-devel
   

5. 创建upsync_dump_path

   mkdir /usr/local/nginx/conf/servers/
   #upsync_dump_path指定从consul拉取的上游服务器后持久化到的位置，这样即使consul服务器出问题了，本地还有一个备份。
   

6. Upstream 动态配置

   http {
       upstream haoworld{
           server 127.0.0.1:11111;
           #连接Consul Server 动态获取 配置负载均衡信息，间隔0.5s获取信息
           upsync 192.168.140.133:8500/v1/kv/upstreams/haoworld upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
           #动态的拉去ConsulServer 相关负载均衡信息持久化到硬盘上
           upsync_dump_path /usr/local/nginx/conf/servers/servers_test.conf;
       }
       server {
           listen       80;
           server_name  localhost;
           location / {
               proxy_pass http://haoworld;
               index  index.html index.htm;
           }
       }
   }
   

   • upsync指令指定从consul哪个路径拉取上游服务器配置；upsync_timeout配置从consul拉取上游服务器配置的超时时间；upsync_interval配置从consul拉取上游服务器配置的间隔时间；upsync_type指定使用consul配置服务器；strong_dependency配置nginx在启动时是否强制依赖配置服务器，如果配置为on，则拉取配置失败时nginx启动同样失败。upsync_dump_path指定从consul拉取的上游服务器后持久化到的位置，这样即使consul服务器出问题了，本地还有一个备份。
   • 注意:替换 consul 注册中心地址

7. 启动consul

   临时关闭防火墙systemctl stop firewalld
   我的linux Ip地址192.168.140.133
       ./consul agent -dev -ui -node=consul-dev -client=192.168.140.133
   

8. 添加nginx Upstream服务

   1.使用linux命令方式发送put请求
   curl -X PUT http://192.168.212.134:8500/v1/kv/upstreams/haoworld/192.168.212.1:8081
   curl -X PUT http://192.168.212.134:8500/v1/kv/upstreams/haoworld/192.168.212.1:8081
   2.使用postmen 发送put请求
   http://192.168.212.134:8500/v1/kv/upstreams/haoworld/192.168.212.1:8081 http://192.168.212.134:8500/v1/kv/upstreams/haoworld/192.168.212.1:8081
   负载均衡信息参数
   {"weight":1, "max_fails":2, "fail_timeout":10, "down":0}
   

9. 启动Nginx