mqtt 分布集群搭建

haproxy 安装配置

解压

安装

配置haproxy.cfg

mqtt 分布集群搭建

详情请参照emqtt 分布集群及节点桥接搭建

haproxy 安装配置

解压

cd /home/hylink/

tar zxvf haproxy-1.8.12.tar.gz

cd zxvf haproxy-1.8.12

安装

make TARGET=linux2628 ARCH=x86_64 PREFIX=/home/hylink/haproxy

make install PREFIX=/home/hylink/haproxy

#参数说明

TARGET=linux26 #内核版本，使用uname -r查看内核，如：2.6.18-371.el5，此时该参数就为linux26；kernel 大于2.6.28的用：TARGET=linux2628

ARCH=x86_64 #系统位数

PREFIX=/home/hylink/haproxy /home/hylink/haproxy为haprpxy安装路径

配置haproxy.cfg

sudo gedit /home/hylink/haproxy/sbin/haproxy.cfg

添加以下内容

global

    log 127.0.0.1 local0

    log 127.0.0.1 local1 notice

    daemon

    nbproc 2

    maxconn 51200

    pidfile /home/hylink/haproxy/sbin/haproxy.pid  

defaults

    log global

    mode http

    option httplog

    option dontlognull

    retries 3

    option abortonclose

    timeout connect 5000ms

    timeout client 30000ms

    timeout server 60000ms

    balance roundrobin

listen stats

    bind *:9080

    mode http

    option httplog

    maxconn 10

    stats refresh 30s

    stats uri /stats

    stats realm Haproxy Manager

    stats hide-version

    stats admin if TRUE

启动haproxy

/home/hylink/haproxy/sbin/haproxy  -f  /home/hylink/haproxy/sbin/haproxy.cfg

出现以下异常

[WARNING] 227/155234 (4947) : Proxy 'stats': in multi-process mode, stats will be limited to process assigned to the current request.

[WARNING] 227/155234 (4947) : Proxy 'stats': stats admin will not work correctly in multi-process mode.

[WARNING] 227/155234 (4947) : [/home/hylink/haproxy/sbin/haproxy.main()] Cannot raise FD limit to 102411, limit is 4096.

[WARNING] 227/155234 (4947) : [/home/hylink/haproxy/sbin/haproxy.main()] FD limit (4096) too low for maxconn=51200/maxsock=102411. Please raise 'ulimit-n' to 102411 or more to avoid any trouble.

解决方案：系统里的能打开的文件描述符太小，程序里的比较大，只要将系统里的FD重新调大就好

1、修改/etc/security/limits.conf，通过

vi /etc/security/limits.conf

修改其内容，在文件最后加入（数值也可以自己定义）：

* soft  nofile = 32768

* hard  nofile = 65536

2、修改/etc/profile，通过

vi /etc/profile

修改，在最后加入以下内容

ulimit -n 32768

3、切换用户

su - root

source /etc/profile

在root用户下继续执行

/home/hylink/haproxy/sbin/haproxy  -f  /home/hylink/haproxy/sbin/haproxy.cfg

启动haproxy，访问:http://172.19.12.231:9080/stats 进入统计页面，至此haproxy搭建完毕。

配置mqtt

执行

./bin/emqttd_ctl cluster status

查看集群信息

执行

vim /home/hylink/haproxy/sbin/haproxy.cfg

添加以下内容

listen mqtt

    bind *:1890

    mode tcp

    maxconn 50000

    option clitcpka # For TCP keep-alive

    timeout client 3h #By default TCP keep-alive interval is 2hours in OS kernal, 'cat /proc/sys/net/ipv4/tcp_keepalive_time'

    timeout server 3h #By default TCP keep-alive interval is 2hours in OS kernal

    option tcplog

    balance leastconn

    server emq1 172.19.12.231:1883 check inter 10000 fall 2 rise 5 weight 1

    server emq2 172.19.12.207:1883 check inter 10000 fall 2 rise 5 weight 1

重启haproxy

访问:http://172.19.12.231:9080/stats

测试

分别用两台机器的客户端连接代理机器的1890端口。

这个客户端分别被分配到不同的机器上

接收消息效果

负载配置说明

负载均衡算法

一、roundrobin，表示简单的轮询，每个服务器根据权重轮流使用，在服务器的处理时间平均分配的情况下这是最流畅和公平的算法。该算法是动态的，对于实例启动慢的服务器权重会在运行中调整。

二、static-rr，表示根据权重，建议关注；每个服务器根据权重轮流使用，类似roundrobin，但它是静态的，意味着运行时修改权限是无效的。另外，它对服务器的数量没有限制。

三、leastconn，表示最少连接者先处理，建议关注；leastconn建议用于长会话服务，例如LDAP、SQL、TSE等，而不适合短会话协议。如HTTP.该算法是动态的，对于实例启动慢的服务器权重会在运行中调整。

四、source，表示根据请求源IP，建议关注；对请求源IP地址进行哈希，用可用服务器的权重总数除以哈希值，根据结果进行分配。

只要服务器正常，同一个客户端IP地址总是访问同一个服务器。如果哈希的结果随可用服务器数量而变化，那么客户端会定向到不同的服务器；

该算法一般用于不能插入cookie的Tcp模式。它还可以用于广域网上为拒绝使用会话cookie的客户端提供最有效的粘连；