高性能消息队列NSQ

前言

最近我再网上寻找使用golang实现的mq，因为我知道golang一般实现的应用部署起来很方便，所以我就找到了一个叫做nsq的mq，其实它并不能完全称为队列，但是它的轻量和性能的高效，让我真的大开眼界。

如果你有兴趣，我觉得也可以了解一下：
网上有人翻译了国外的一篇文章：
我们是如何使用NSQ处理7500亿消息的

安装和部署

官网提供

如果你有能力的话直接阅读官方的说明进行操作就可以了
https://nsq.io/overview/quick_start.html

如果看不懂我还找到了中文翻译过的：

http://wiki.jikexueyuan.com/project/nsq-guide/

简单部署

下面是我使用的最快部署测试方式，使用服务器环境centos7.4，防火墙开放端口4160，4161，4151
4171
1、在下载页面下载对应版本(可能有的时候需要科学上网)
https://nsq.io/deployment/installing.html
这里使用linux版本
nsq-1.1.0.linux-amd64.go1.10.3.tar.gz

2、将包上传至服务器后解压；
tar xvf nsq-1.1.0.linux-amd64.go1.10.3.tar.gz

3、进入bin目录 cd nsq-1.1.0.linux-amd64.go1.10.3/bin

4、后台启动三个服务
nohup ./nsqlookupd > /dev/null 2>&1 &
nohup ./nsqd --lookupd-tcp-address=127.0.0.1:4160 > /dev/null 2>&1 &
nohup ./nsqadmin --lookupd-http-address=127.0.0.1:4161 > /dev/null 2>&1 &

简单使用

1、使用
curl -d 'hello world' 'http://127.0.0.1:4151/pub?topic=test'
会创建一个test主题，并发送一个hello world消息

2、外部通过：http://127.0.0.1:4171/
进行访问可以看到NSQ的管理界面，非常的简洁
其中127.0.0.1为服务器IP


3、使用
./nsq_to_file --topic=test --output-dir=/tmp --lookupd-http-address=127.0.0.1:4161
消费test中刚才的消息，并输出到服务器/tmp目录中

特性

官方给出的文档给出了很多特性的说明，针对于一个MQ来说，我认为下面几个特性是你必须知道的：

• 默认一开始消息不是持久化的
  nsq采用的方式时内存+硬盘的模式，当内存到达一定程度时就会将数据持久化到硬盘
  1、如果将 --mem-queue-size 设置为 0，所有的消息将会存储到磁盘。
  2、但是即使服务器重启也会将当时在内存中的消息持久化

• 消息是没有顺序的
  这一点很关键，由于nsq使用内存+磁盘的模式，而且还有requeue的操作，所以发送消息的顺序和接收的顺序可能不一样

• 官方不推荐使用客户端发消息
  官方提供相应的客户端发送消息，但是HTTP可能更方便一些

• 没有复制
  nsq节点相对独立，节点与节点之间没有复制或者集群的关系。

• 没有鉴权相关模块
  当前release版本的nsq没有鉴权模块，只有版本v0.2.29+高于这个的才有

• 几个小点
  topic名称有长度限制，命名建议用下划线连接；
  消息体大小有限制；

优缺点

优点：
1、部署极其方便，没有任何环境依赖，直接启动就行
2、轻量没有过多的配置参数，只需要简单的配置就可以直接使用
3、性能高
4、消息不存在丢失的情况

缺点：
1、消息无顺序
2、节点之间没有消息复制
3、没有鉴权

多节点部署

基本概念

nsqd：基本的节点
nsqlookupd：汇总节点信息，提供查询和管理topic等服务
nsqadmin：管理端展示UI界面，能有一个web页面去查看和操作

结构


最简单的多节点部署可以是这样的一个结构

部署步骤和命令

PS：后台启动使用nohup即可，下面只是为了说明启动方式和命令参数

第一步需要启动nsqlookupd
./nsqlookupd
默认占用4161和4160两个端口
使用-http-address和-tcp-address可以修改

第二步启动两个nsqd
./nsqd -lookupd-tcp-address=192.168.1.102:4160 -broadcast-address=192.168.1.103 -data-path="/temp/nsq"
其中
-lookupd-tcp-address为上面nsqlookupd的IP和tcp的端口4160
-broadcast-address我填写的是自己的IP，这个IP官网上写的是会注册到nsqlookupd
-data-path为消息持久化的位置

第三步启动nsqadmin
./nsqadmin -lookupd-http-address=192.168.4.102:4161
同样需要指定-lookupd-http-address但是这次是http的端口也就是4161因为admin通过http请求来查询相关信息

后续扩展

上面只是最简单的两个节点的部署，如果后续想扩展就会如下


其中nginx是可以不需要的，你可以果断选择同时向多个节点发送消息，或者当消息没有处理的时候重新进行发送，因为这样也是nsq设计之初的考虑。你也可以根据自己的需要设计你自己的架构。

客户端

官方提供了很多语言接入的客户端 https://nsq.io/clients/client_libraries.html
针对消息生产者的客户端，官方还推荐直接使用post请求发送消息，如：
curl -d 'hello world' 'http://127.0.0.1:4151/pub?topic=test'
表示向test主题发送hello world这个消息

下面介绍两种客户端，一种是golang的客户端，一种是java的客户端

Golang的客户端

其中192.168.4.102:4150为发送消息的地址，消费者里面写的也是相同的地址就可以了。

生产者：

package main

import (
    "github.com/nsqio/go-nsq"
    "time"
)

func main() {
    for i := 0 ; i < 10; i++  {
        sendMessage()
    }
    time.Sleep(time.Second * 10)
}

func sendMessage() {
    url := "192.168.4.102:4150"
    producer, err := nsq.NewProducer(url, nsq.NewConfig())
    if err != nil {
        panic(err)
    }
    err = producer.Publish("test", []byte("hello world"))
    if err != nil {
        panic(err)
    }
    producer.Stop()
}

消费者：

package main

import (
    "fmt"
    "github.com/nsqio/go-nsq"
    "sync"
)

func main() {
    testNSQ()
}

type NSQHandler struct {
}

func (this *NSQHandler) HandleMessage(msg *nsq.Message) error {
    fmt.Println("receive", msg.NSQDAddress, "message:", string(msg.Body))
    return nil
}

func testNSQ() {
    url := "192.168.4.102:4150"

    waiter := sync.WaitGroup{}
    waiter.Add(1)

    go func() {
        defer waiter.Done()
        config:=nsq.NewConfig()
        config.MaxInFlight=9

        for i := 0; i<10; i++ {
            consumer, err := nsq.NewConsumer("test", "struggle", config)
            if nil != err {
                fmt.Println("err", err)
                return
            }

            consumer.AddHandler(&NSQHandler{})
            err = consumer.ConnectToNSQD(url)
            if nil != err {
                fmt.Println("err", err)
                return
            }
        }
        select{}
    }()

    waiter.Wait()
}

Java的客户端

说实话java的客户端确实用的人比较少，因为我看到实际在github上面的星星和关注就比较少，所以客户端多多少少都存在一些问题。nsq-j和JavaNSQClient是官方排的考前的客户端。
这里说一下nsq-j
https://github.com/sproutsocial/nsq-j

生产者

Publisher publisher = new Publisher("192.168.4.102:4150");
System.out.print(publisher);

byte[] data = "Hello nsq".getBytes();
publisher.publish("example_topic", data);
publisher.publish("example_topic", data);

// 注意这里需要这样关闭，不然的话就阻塞住了
publisher.getClient().stop();

消费者

public class PubExample {

    public static void handleData(byte[] data) {
        System.out.println("Received:" + new String(data));
    }

    public static void main(String[] args) {
        Subscriber subscriber = new Subscriber("192.168.4.102:4161");
        subscriber.subscribe("test", "struggle", PubExample::handleData);
    }
}

需要注意的是其中192.168.4.102:4161这个是nsqlookupd的http地址和端口和生产者是不一样的

java客户端是根据nsqlookupd来找到对应消费端口

所以启动nsqlookupd的时候需要注意，启动nsqd需要加上参数--broadcast-address
如：./nsqd --lookupd-tcp-address=127.0.0.1:4160 --broadcast-address=192.168.4.102

这样java消费者才能找到对应的地址否则会出现
ERROR com.sproutsocial.nsq.Subscription - error connecting to:localhost.localdomain:4150
java.net.UnknownHostException: localhost.localdomain
这样类似的错误

我建议的客户端

官方也说了，发送消息其实不建议使用客户端，而建议使用http请求，所以我自己是使用okhttp进行消息的发送，案例如下:

OkHttpClient client = new OkHttpClient();

MediaType mediaType = MediaType.parse("application/json");
RequestBody body = RequestBody.create(mediaType, "{"code": 1}");

Request request = new Request.Builder()
.url("http://192.168.4.102:4151/pub?topic=test")
.post(body)
.addHeader("Content-Type", "application/json")
.build();

Response response = client.newCall(request).execute();
System.out.println(response);

当然这里没有对client进行配置，这就涉及okhttp了，这里不再赘述

至于消费端还是使用nsq-j的

总结

使用下来我们可以看到，nsq为了提供性能在一些方面是做出了妥协的，我们可以总结出下面几个方面供大家参考：
1、暂时nsq的鉴权功能在高版本才支持，但是高版本没有release所以建议nsq在内网环境下使用，或者在一些安全的端口使用，避免被攻击
2、部署节点在3个以上，nsq已经对于消息丢失做了很多的考虑，基本上不会出现丢失的情况，在你考虑幂等性的情况下，同时部署多个节点有利于消息进行处理
3、如果对消息顺序有要求的情况下，nsq是不能使用的，因为nsq不能保证消息的顺序
4、节点之间没有消息复制，所以即使多个节点部署，万一节点出现问题，还是有一段时间会出现消息无法接收到的情况，所以向多个节点同时发送消息也是一种解决方式
5、因为nsq抛弃了一些东西，那么所带来的自然是方便，整体使用下来主要感受就是轻量，部署和配置都很方便，而且对于节点的监控能有界面

希望后续nsq能在几个版本更新之后能给我们带来更加牛逼的表现。