RocketMQ-事务消费

理论部分在https://www.jianshu.com/p/453c6e7ff81c中的 “三、事务消息”。下面从代码层面看一下rockemq的事务消息

一、事务消费端。

　　从代码中看到跟其他模式的消费端没有什么两样。

package org.hope.lee.consumer.transaction;

import com.alibaba.rocketmq.client.consumer.DefaultMQPushConsumer;
import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
import com.alibaba.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import com.alibaba.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import com.alibaba.rocketmq.client.exception.MQClientException;
import com.alibaba.rocketmq.common.message.MessageExt;

import java.io.UnsupportedEncodingException;
import java.util.List;

public class ConsumerTransaction {
    public ConsumerTransaction() {
        String group_name = "transaction_consumer";
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(group_name);
        consumer.setNamesrvAddr("192.168.31.xxx:9876;192.168.31.xxx:9876");
        try {
            consumer.subscribe("TopicTransaction", "*");
            consumer.registerMessageListener(new Listener());
            consumer.start();
        } catch (MQClientException e) {
            e.printStackTrace();
        }

    }

    class Listener implements MessageListenerConcurrently{

        public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> list, ConsumeConcurrentlyContext consumeConcurrentlyContext) {

                try {
                    for(MessageExt msg : list) {
                        String topic = msg.getTopic();
                        String msgBody = new String(msg.getBody(), "utf-8");
                        String tags = msg.getTags();
                        System.out.println("收到消息:" + "topic:" + topic + ", tags:" + tags + ",msg:" + msgBody);
                        msg.getTags();
                    }
                } catch (UnsupportedEncodingException e) {
                    e.printStackTrace();
                    return ConsumeConcurrentlyStatus.RECONSUME_LATER;
                }

            return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
        }
    }
    public static void main(String[] args) {
        ConsumerTransaction c = new ConsumerTransaction();
        System.out.println("transaction consumer start......");
    }
}

二、本地事务的执行器，实现 LocalTransactionExecuter。

package org.hope.lee.producer.transaction;

import com.alibaba.rocketmq.client.producer.LocalTransactionExecuter;
import com.alibaba.rocketmq.client.producer.LocalTransactionState;
import com.alibaba.rocketmq.common.message.Message;

import java.util.concurrent.atomic.AtomicInteger;

public class TransactionExecuterImpl implements LocalTransactionExecuter{
    private AtomicInteger transactionIndex = new AtomicInteger(1);
    public LocalTransactionState executeLocalTransactionBranch(Message message, Object o) {
        System.out.println("msg = " + new String(message.getBody()));
        System.out.println("o = " + o);
        String tag = message.getTags();
        if(tag.equals("Transaction3")) {
            //这里有一个分阶段提交任务的概念
            System.out.println("这里处理业务逻辑，比如操作数据库，失败情况下进行ROLLBACK");

            return LocalTransactionState.ROLLBACK_MESSAGE;
        }
        return LocalTransactionState.COMMIT_MESSAGE;
//        return LocalTransactionState.ROLLBACK_MESSAGE;
//        return LocalTransactionState.COMMIT_MESSAGE.UNKNOW;
    }
}

三、事务Producer端

　　在这里可以看到我们用了new TransactionMQProducer()。并且在发送消息的时候添加了事务执行器producer.sendMessageInTransaction(msg, transactionExecuter, "tq")

package org.hope.lee.producer.transaction;

import com.alibaba.rocketmq.client.exception.MQClientException;
import com.alibaba.rocketmq.client.producer.*;
import com.alibaba.rocketmq.common.message.Message;
import com.alibaba.rocketmq.common.message.MessageExt;

import java.util.concurrent.TimeUnit;

public class ProducerTransaction {
    public static void main(String[] args) throws MQClientException {
        String group_name = "transaction_producer";
        //这里使用TransactionMQProducer
        final TransactionMQProducer producer = new TransactionMQProducer(group_name);
        producer.setNamesrvAddr("192.168.xx.xxx:9876;192.168.xx.xxx:9876");
        //事务最小并法数
        producer.setCheckThreadPoolMinSize(5);
        //事务最大并发数
        producer.setCheckThreadPoolMaxSize(20);
        //队列数
        producer.setCheckRequestHoldMax(2000);
        /**
         * Producer对象在使用之前必须要调用start()初始化，初始化一次即可
         * 注意：切记不可以在每次发送消息时，都调用start()
         */
        producer.start();
        //服务器回调Producer,检查本地事务分支成功还是失败
        //rocketmq会定时的调用这个checklistener,
        //在这里，我们可以根据由MQ回传的key去数据库查询，
        //判断这条数据到底是成功了还是失败了。
        //就是在这个定时check，rocketmq把这个功能在开源的代码中去除掉了。
        producer.setTransactionCheckListener(new TransactionCheckListener() {
            public LocalTransactionState checkLocalTransactionState(MessageExt messageExt) {
                System.out.println("key: " + messageExt.getKeys());
                System.out.println("state--" + new String(messageExt.getBody()));
                // return LocalTransactionState.ROLLBACK_MESSAGE;
                return LocalTransactionState.COMMIT_MESSAGE;
                // return LocalTransactionState.UNKNOW;
            }
        });
        /**
         * 下面这段代码表明一个Producer对象可以发送多个topic, 多个tag的消息
         * 注意：send方法是同步调用，只要不抛异常就标识成功。但是发送成功也可会有多种状态
         * 例如消息写入Master成功，但是Slave不成功，这种情况消息属于成功，但是对于个别应用
         * 如果对消息可靠性要求很高需要对这种情况做处理。另外，消息可能会存在发送失败的情况
         * 失败重试由应用来处理
         */
        TransactionExecuterImpl transactionExecuter = new TransactionExecuterImpl();
        for(int i = 1; i <= 3; i++) {
            Message msg = new Message("TopicTransaction", "Transaction" + i, "key",
                    ("Hello Rocket" + i).getBytes());
            SendResult result = producer.sendMessageInTransaction(msg, transactionExecuter, "tq");
            System.out.println(result);

            try {
                TimeUnit.MICROSECONDS.sleep(1000);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }

        /**
         * 应用退出时，要调用shutdown来清理资源，关闭网络连接，从MetaQ服务器上注销自己
         * 注意：我们建议应用在JBOSS,Tomcat等容器的退出钩子里调用shutdown 方法
         */
        Runtime.getRuntime().addShutdownHook(new Thread(new Runnable() {
            public void run() {
                producer.shutdown();
            }
        }));

        System.exit(0);
    }
}

https://gitee.com/huayicompany/RocketMQ-learn/tree/master/rocketmq-api

实验步骤：

1、先运行Consumer端

2、运行Producer端，然后看Consumer端和Produer端的控制台输出。

Consumer端Console

收到消息:topic:TopicTransaction, tags:Transaction1,msg:Hello Rocket1
收到消息:topic:TopicTransaction, tags:Transaction2,msg:Hello Rocket2

Producer端Console

msg = Hello Rocket1
o = tq
SendResult [sendStatus=SEND_OK, msgId=C0A81FB000002A9F0000000000003CDC, messageQueue=MessageQueue [topic=TopicTransaction, brokerName=broker-a, queueId=0], queueOffset=0]
msg = Hello Rocket2
o = tq
SendResult [sendStatus=SEND_OK, msgId=C0A81FB000002A9F0000000000003DA3, messageQueue=MessageQueue [topic=TopicTransaction, brokerName=broker-a, queueId=1], queueOffset=0]
msg = Hello Rocket3
o = tq
这里处理业务逻辑，比如操作数据库，失败情况下进行ROLLBACK
SendResult [sendStatus=SEND_OK, msgId=C0A81FB000002A9F0000000000003FF8, messageQueue=MessageQueue [topic=TopicTransaction, brokerName=broker-a, queueId=2], queueOffset=0]

从输出结果来看，第三条消息并没有被Consumer端消费，被回滚了。

四、RocketMQ完整版事务

　　虽然rocketmq 3.2.6版本把事务部分给阉割了。但是我们还是可以了解一下其原理的。

1.0、 Producer发送消息到RocketMQ，这条消息我们暂且称之为message1 并且是transaction状态的事务消息。

1.1、MQ把message1存入数据库，并且是状态是prepared。

1.2、RocketMQ回调Producer中的本地事务。（本地事务由三个状态COMMIT_MESSAGE、ROLLBACK_MESSAGE、UNKNOW）。

1.2.1 、本地事务处理完成后，无论成功还是失败都会有一个状态，如果成功的话，Producer就会发送COMMIT_MESSAGE状态表示确认消息到RocketMQ上。

1.2.2、然后把message1这个消息存储到consumer queue中，并在数据库中把这条prepared的消息标记为commited。

1.2.3、这条消息就被Consumer消费了。

1.3.1、如果Producer的事务处理返回了一个UNKNOW状态。因为broker会定时的去扫描数据库，如果数据库中的数据状态是commited的，那么就清除这条数据。

1.4、如果数据库中数据的状态还是prepared的。那MQ就会主动的去调用Producer中的check方法。

1.5.1、check方法再去查本地的数据库看有没有减钱，如果没减钱的话就rollback，

1.6.1、rollback后Producer又发了一条ROLLBACK_MESSAGE给MQ。

1.7.1、MQ收到这条消息后，就会把MQ的数据库中对应的prepared数据给清除掉。那么这条数据也就不会被Consumer端消费了

1.5.2、check方法查本地数据库看有没有减钱，如果减钱了。

1.6.2、会给MQ发送一个COMMIT_MESSAGE。

1.7.2、MQ还会去查自己的数据库，然后把数据库中对应的数据给清除掉