TCC 分布式事务解决方案

更多内容，前往 IT-BLOG

一、什么是 TCC事务

---

TCC 是Try、Confirm、Cancel三个词语的缩写，TCC要求每个分支事务实现三个操作：预处理Try、确认Confirm、撤销Cancel。Try操作做业务检查及资源预留，Confirm做业务确认操作，Cancel实现一个与 Try或者 Commit相反的操作即回滚操作。TM首先发起所有的分支事务的 try操作，任何一个分支事务的 try操作执行失败，TM将会发起所有分支事务的 Cancel操作，若 Try操作全部成功，TM将会发起所有分支事务的 Confirm操作，其中 Confirm/Cancel 操作若执行失败，TM会进行重试。

执行成功流程：
​
分支事务失败的情况：
​
TCC分为三个阶段：
【1】Try 阶段是做业务检查(一致性)及资源预留(隔离)，此阶段仅是一个初步操作，它和后续的Confirm 一起才能真正构成一个完整的业务逻辑。
【2】Confirm 阶段是做确认提交，Try阶段所有分支事务执行成功后开始执行 Confirm。通常情况下，采用 TCC则认为 Confirm阶段是不会出错的。即：只要 Try成功，Confirm一定成功。若 Confirm阶段真的出错了，需引入重试机制或人工处理。
【3】Cancel阶段是在业务执行错误需要回滚的状态下执行分支事务的业务取消，预留资源释放。通常情况下，采用 TCC则认为 Cancel阶段也是一定成功的。若 Cancel阶段真的出错了，需引入重试机制或人工处理。
【4】TM事务管理器 TM事务管理器可以实现为独立的服务，也可以让全局事务发起方充当 TM的角色，TM独立出来是为了成为公用组件，是为了考虑系统结构和软件复用。TM在发起全局事务时生成全局事务记录，全局事务ID贯穿整个分布式事务调用链条，用来记录事务上下文，追踪和记录状态，由于Confirm 和 Cancel失败需进行重试，因此需要实现为幂等，幂等性是指同一个操作无论请求多少次，其结果都相同。

二、TCC 解决方案

---

目前市面上的 TCC框架众多比如下面这几种：

框架名称	Gitbub地址	star数量
tcc-transaction	https://github.com/changmingxie/tcc-transaction	4351
Hmily	https://github.com/yu199195/hmily	2788
ByteTCC	https://github.com/liuyangming/ByteTCC	2156
EasyTransaction	https://github.com/QNJR-GROUP/EasyTransaction	1907

Seata也支持TCC，但 Seata的 TCC模式对 Spring Cloud并没有提供支持。因此更请倾向于轻量级易于理解的框架Hmily，来理解 TCC的原理以及事务协调运作的过程。Hmily是一个高性能分布式事务 TCC开源框架。基于Java语言来开发，支持Dubbo，Spring Cloud等。RPC框架进行分布式事务。它目前支持以下特性：
  ■ 支持嵌套事务(Nested transaction support)；
  ■ 采用 disruptor框架进行事务日志的异步读写，与 RPC框架的性能毫无差别；
  ■ 支持 SpringBoot-starter 项目启动，使用简单；
  ■ RPC框架支持 : dubbo,motan,springcloud；
  ■ 本地事务存储支持 : redis,mongodb,zookeeper,fifile,mysql；
  ■ 事务日志序列化支持 ：java，hessian，kryo，protostuff；
  ■ 采用 Aspect AOP 切面思想与 Spring无缝集成，天然支持集群；
  ■ RPC事务恢复，超时异常恢复等；

Hmily利用 AOP对参与分布式事务的本地方法与远程方法进行拦截处理，通过多方拦截，事务参与者能透明的调用到另一方的Try、Confirm、Cancel方法；传递事务上下文；并记录事务日志，酌情进行补偿，重试等。Hmily不需要事务协调服务，但需要提供一个数据库(mysql/mongodb/zookeeper/redis/fifile)来进行日志存储。Hmily实现的 TCC服务与普通的服务一样，只需要暴露一个接口，也就是它的 Try业务。Confirm/Cancel业务逻辑，全局事务提交/回滚需要时才提供，因此Confirm/Cancel业务只需要被 Hmily TCC事务框架发现即可，不需要被调用它的其他业务服务所感知。官网介绍

TCC需要注意三种异常处理分别是空回滚、幂等、悬挂:
【1】空回滚：在没有调用 TCC 资源 Try 方法的情况下，调用了二阶段的 Cancel 方法，Cancel 方法需要识别出这是一个空回滚，然后直接返回成功。出现原因是当一个分支事务所在服务宕机或网络异常，分支事务调用记录为失败，这个时候其实是没有执行 Try阶段，当故障恢复后，分布式事务进行回滚则会调用二阶段的 Cancel方法，从而形成空回滚。
【解决思路】：关键是要识别出这个空回滚。思路很简单就是需要知道一阶段是否执行，如果执行了，那就是正常回滚；如果没执行，那就是空回滚。前面已经说过 TM在发起全局事务时生成全局事务记录，全局事务ID贯穿整个分布式事务调用链条。再额外增加一张分支事务记录表，其中有全局事务 ID 和分支事务 ID，第一阶段 Try 方法里会插入一条记录，表示一阶段执行了。Cancel 接口里读取该记录，如果该记录存在，则正常回滚；如果该记录不存在，则是空回滚。
【2】幂等：通过前面介绍已经了解到，为了保证 TCC二阶段提交重试机制不会引发数据不一致，要求 TCC 的二阶段 Try、Confirm 和 Cancel 接口保证幂等，这样不会重复使用或者释放资源。如果幂等控制没有做好，很有可能导致数据不一致等严重问题。
【解决思路】：在上述“分支事务记录”中增加执行状态“事务ID”，每次执行前都查询该状态。
【3】悬挂：悬挂就是对于一个分布式事务，其二阶段 Cancel 接口比 Try 接口先执行。出现原因是在 RPC 调用分支事务 Try时，先注册分支事务，再执行 RPC调用，如果此时 RPC 调用的网络发生拥堵，通常 RPC 调用是有超时时间的，RPC 超时以后，TM就会通知 RM回滚该分布式事务，可能回滚完成后，RPC 请求才到达参与者真正执行，而一个 Try 方法预留的业务资源，只有该分布式事务才能使用，该分布式事务第一阶段预留的业务资源就再也没有人能够处理了，对于这种情况，我们就称为悬挂，即业务资源预留后没法继续处理。
【解决思路】：如果二阶段执行完成，那一阶段就不能再继续执行。在执行一阶段事务时判断在该全局事务下，“分支事务记录”表中是否已经有二阶段事务记录，如果有则不执行Try。

举例：场景为 A 转账 30 元给 B，A和B账户在不同的服务

 1 账户Atry：
 2 检查余额是否够30元
 3 扣减30元
 4 confirm：
 5 空
 6 cancel：
 7 增加30元
 8 账户B
 9 try：
10 增加30元
11 confirm：
12 空
13 cancel：
14 减少30元 

方案说明：
【1】账户A，这里的余额就是所谓的业务资源，按照前面提到的原则，在第一阶段需要检查并预留业务资源，因此，我们在扣钱 TCC 资源的 Try 接口里先检查 A 账户余额是否足够，如果足够则扣除 30 元。 Confirm 接口表示正式提交，由于业务资源已经在 Try 接口里扣除掉了，那么在第二阶段的 Confirm 接口里可以什么都不用做。Cancel接口的执行表示整个事务回滚，账户A回滚则需要把 Try 接口里扣除掉的 30 元还给账户。
【2】账号B，在第一阶段 Try 接口里实现给账户B加钱，Cancel 接口的执行表示整个事务回滚，账户B回滚则需要把Try 接口里加的 30 元再减去。

方案的问题分析：
【1】如果账户A的 Try没有执行在 Cancel则就多加了30元；
【2】由于Try，Cancel、Confirm都是由单独的线程去调用，且会出现重复调用，所以都需要实现幂等；
【3】账号B在 Try中增加30元，当 Try执行完成后可能会其它线程给消费了；
【4】如果账户B的 Try没有执行在 Cancel则就多减了30元；
问题解决：
【1】账户A的 Cancel方法需要判断 Try方法是否执行，正常执行 Try后方可执行 Cancel；
【2】Try，Cancel、Confirm方法实现幂等；
【3】账号B在 Try方法中不允许更新账户金额，在 Confirm中更新账户金额；
【4】账户B的 Cancel方法需要判断 Try方法是否执行，正常执行 Try后方可执行 Cancel；

优化方案：【账户A】

 1 try：
 2     try幂等校验
 3     try悬挂处理
 4     检查余额是否够30元
 5     扣减30元
 6
 7 confirm：
 8     空
 9
10 cancel：
11     cancel幂等校验
12     cancel空回滚处理
13     增加可用余额30元

【账户B】

1 try：
2     空
3
4 confirm：
5     confirm幂等校验
6     正式增加30元
7
8 cancel：
9     空

三、Hmily 实现 TCC事务

---

【1】业务说明：本实例通过 Hmily实现 TCC分布式事务，模拟两个账户的转账交易过程。两个账户分别在不同的银行(张三在bank1、李四在bank2)，bank1、bank2是两个微服务。交易过程是，张三给李四转账指定金额。上述交易步骤，要么一起成功，要么一起失败，必须是一个整体性的事务。
​
【2】数据库：每个数据库都创建 try、confirm、cancel三张日志表：用来记录全局事务ID。

 1 CREATE TABLE `local_try_log` (
 2                 `tx_no` varchar(64) NOT NULL COMMENT '事务id', `create_time` datetime DEFAULT NULL, PRIMARY KEY (`tx_no`)
 3 ) ENGINE=InnoDB DEFAULT CHARSET=utf8
 4
 5 CREATE TABLE `local_confirm_log` (
 6                  `tx_no` varchar(64) NOT NULL COMMENT '事务id', `create_time` datetime DEFAULT NULL
 7 ) ENGINE=InnoDB DEFAULT CHARSET=utf8
 8
 9 CREATE TABLE `local_cancel_log` (
10                 `tx_no` varchar(64) NOT NULL COMMENT '事务id', `create_time` datetime DEFAULT NULL, PRIMARY KEY (`tx_no`)
11 ) ENGINE=InnoDB DEFAULT CHARSET=utf

【3】引入maven依赖

1 <dependency>
2     <groupId>org.dromara</groupId>
3     <artifactId>hmily‐springcloud</artifactId>
4     <version>2.0.4‐RELEASE</version>
5 </dependency>

【4】application.yml 中配置hmily：配置数据库地址，因为会创建分支事务表

 1 org:
 2     dromara:
 3         hmily:
 4         serializer : kryo
 5         recoverDelayTime : 128
 6         retryMax : 30
 7         scheduledDelay : 128
 8         scheduledThreadMax : 10
 9         repositorySupport : db
10         started: true
11         hmilyDbConfig :
12         driverClassName : com.mysql.jdbc.Driver
13         url : jdbc:mysql://localhost:3306/bank?useUnicode=true
14         username : root
15         password : root

【5】创建配置类：配置类中接收 application.yml中的 Hmily配置信息，并创建 HmilyTransactionBootstrap Bean 和添加 @EnableAspectJAutoProxy(proxyTargetClass=true) 切面注解。

 1 @Configuration
 2 @EnableAspectJAutoProxy(proxyTargetClass=true)
 3 public class DatabaseConfiguration {
 4     @Bean
 5     public HmilyTransactionBootstrap hmilyTransactionBootstrap(HmilyInitService hmilyInitService){
 6         HmilyTransactionBootstrap hmilyTransactionBootstrap = new HmilyTransactionBootstrap(hmilyInitService);
 7         hmilyTransactionBootstrap.setSerializer(env.getProperty("org.dromara.hmily.serializer"));
 8         hmilyTransactionBootstrap.setRecoverDelayTime(Integer.parseInt(env.getProperty("org.dromara.hmily.recoverDelayTime")));
 9         hmilyTransactionBootstrap.setRetryMax(Integer.parseInt(env.getProperty("org.dromara.hmily.retryMax")));
10         hmilyTransactionBootstrap.setScheduledDelay(Integer.parseInt(env.getProperty("org.dromara.hmily.scheduledDelay")));
11         hmilyTransactionBootstrap.setScheduledThreadMax(Integer.parseInt(env.getProperty("org.dromara.hmily.scheduledThreadMax")));
12         hmilyTransactionBootstrap.setRepositorySupport(env.getProperty("org.dromara.hmily.repositorySupport"));
13         hmilyTransactionBootstrap.setStarted(Boolean.parseBoolean(env.getProperty("org.dromara.hmily.started")));
14         HmilyDbConfig hmilyDbConfig = new HmilyDbConfig();
15         hmilyDbConfig.setDriverClassName(env.getProperty("org.dromara.hmily.hmilyDbConfig.driverClassName"));
16         hmilyDbConfig.setUrl(env.getProperty("org.dromara.hmily.hmilyDbConfig.url"));
17         hmilyDbConfig.setUsername(env.getProperty("org.dromara.hmily.hmilyDbConfig.username"));
18         hmilyDbConfig.setPassword(env.getProperty("org.dromara.hmily.hmilyDbConfig.password"));
19         hmilyTransactionBootstrap.setHmilyDbConfig(hmilyDbConfig);
20         return hmilyTransactionBootstrap;
21     }
22 }

【6】启动类修改：增加 org.dromara.hmily的扫描项：

 1 @SpringBootApplication
 2 @EnableDiscoveryClient
 3 @EnableHystrix
 4 @EnableFeignClients(basePackages = {"cn.itcast.dtx.tccdemo.bank1.spring"})
 5 @ComponentScan({"cn.itcast.dtx.tccdemo.bank1","org.dromara.hmily"})
 6 public class Bank1HmilyServer {
 7     public static void main(String[] args) {
 8         SpringApplication.run(Bank1HmilyServer.class, args);
 9     }
10 }

【7】dtx-tcc-demo-bank1 （张三）实现 Try、Commit和 Cancel方法，如下：

 1 try：
 2     try幂等校验
 3     try悬挂处理
 4     检查余额是够扣减金额
 5     扣减金额
 6
 7 confirm：
 8     空
 9
10 cancel：
11     cancel幂等校验
12     cancel空回滚处理
13     增加可用余额

【8】张三服务层：实现 Try、Commit 和 Cancel方法。Try 方法上添加@Hmily 注解表示开启TCC，并配置 Commit提交方法和 Cancel回滚方法。注意：三个方法的入参和返回值必须相同。

 1 @Service
 2 @Slf4j
 3 public class AccountInfoServiceImpl implements AccountInfoService {
 4
 5     @Autowired
 6     AccountInfoDao accountInfoDao;
 7
 8     @Autowired
 9     Bank2Client bank2Client;
10
11     // 账户扣款，就是tcc的try方法
12
13     /**
14      *     try幂等校验
15      *     try悬挂处理
16      *     检查余额是够扣减金额
17      *     扣减金额
18      * @param accountNo
19      * @param amount
20      */
21     @Override
22     @Transactional
23     //只要标记@Hmily就是try方法，在注解中指定confirm、cancel两个方法的名字
24     @Hmily(confirmMethod="commit",cancelMethod="rollback")
25     public void updateAccountBalance(String accountNo, Double amount) {
26         //获取全局事务id
27         String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
28         log.info("bank1 try begin 开始执行...xid:{}",transId);
29         //幂等判断 判断local_try_log表中是否有try日志记录，如果有则不再执行
30         if(accountInfoDao.isExistTry(transId)>0){
31             log.info("bank1 try 已经执行，无需重复执行,xid:{}",transId);
32             return ;
33         }
34
35         //try悬挂处理，如果cancel、confirm有一个已经执行了，try不再执行
36         if(accountInfoDao.isExistConfirm(transId)>0 || accountInfoDao.isExistCancel(transId)>0){
37             log.info("bank1 try悬挂处理  cancel或confirm已经执行，不允许执行try,xid:{}",transId);
38             return ;
39         }
40
41         //扣减金额
42         if(accountInfoDao.subtractAccountBalance(accountNo, amount)<=0){
43             //扣减失败
44             throw new RuntimeException("bank1 try 扣减金额失败,xid:{}"+transId);
45         }
46         //插入try执行记录,用于幂等判断
47         accountInfoDao.addTry(transId);
48
49         //远程调用李四，转账
50         if(!bank2Client.transfer(amount)){
51             throw new RuntimeException("bank1 远程调用李四微服务失败,xid:{}"+transId);
52         }
53         if(amount == 2){
54             throw new RuntimeException("人为制造异常,xid:{}"+transId);
55         }
56         log.info("bank1 try end 结束执行...xid:{}",transId);
57     }
58
59     //confirm方法
60     @Transactional
61     public void commit(String accountNo, Double amount){
62         //获取全局事务id
63         String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
64         log.info("bank1 confirm begin 开始执行...xid:{},accountNo:{},amount:{}",transId,accountNo,amount);
65     }
66
67     /** cancel方法
68      *     cancel幂等校验
69      *     cancel空回滚处理
70      *     增加可用余额
71      * @param accountNo
72      * @param amount
73      */
74     @Transactional
75     public void rollback(String accountNo, Double amount){
76         //获取全局事务id
77         String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
78         log.info("bank1 cancel begin 开始执行...xid:{}",transId);
79         //    cancel幂等校验
80         if(accountInfoDao.isExistCancel(transId)>0){
81             log.info("bank1 cancel 已经执行，无需重复执行,xid:{}",transId);
82             return ;
83         }
84         //cancel空回滚处理，如果try没有执行，cancel不允许执行
85         if(accountInfoDao.isExistTry(transId)<=0){
86             log.info("bank1 空回滚处理，try没有执行，不允许cancel执行,xid:{}",transId);
87             return ;
88         }
89         //    增加可用余额
90         accountInfoDao.addAccountBalance(accountNo,amount);
91         //插入一条cancel的执行记录
92         accountInfoDao.addCancel(transId);
93         log.info("bank1 cancel end 结束执行...xid:{}",transId);
94     }
95 }

【9】李四在张三项目中的接口定义：需要添加 @Hmily 注解，将全局事务ID传输给李四

1 @FeignClient(value="tcc-demo-bank2",fallback=Bank2ClientFallback.class)
2 public interface Bank2Client {
3     //远程调用李四的微服务
4     @GetMapping("/bank2/transfer")
5     @Hmily
6     public  Boolean transfer(@RequestParam("amount") Double amount);
7 }

【10】dtx-tcc-demo-bank2 李四项目：实现如下功能

1 try：
2     空
3 confirm：
4     confirm幂等校验
5     正式增加金额
6 cancel：
7     空

【11】李四服务层：与张三的服务格式相同

 1 @Service
 2 @Slf4j
 3 public class AccountInfoServiceImpl implements AccountInfoService {
 4
 5     @Autowired
 6     AccountInfoDao accountInfoDao;
 7
 8     @Override
 9     @Hmily(confirmMethod="confirmMethod", cancelMethod="cancelMethod")
10     public void updateAccountBalance(String accountNo, Double amount) {
11         //获取全局事务id
12         String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
13         log.info("bank2 try begin 开始执行...xid:{}",transId);
14     }
15
16     /**
17      * confirm方法
18      *     confirm幂等校验
19      *     正式增加金额
20      * @param accountNo
21      * @param amount
22      */
23     @Transactional
24     public void confirmMethod(String accountNo, Double amount){
25         //获取全局事务id
26         String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
27         log.info("bank2 confirm begin 开始执行...xid:{}",transId);
28         if(accountInfoDao.isExistConfirm(transId)>0){
29             log.info("bank2 confirm 已经执行，无需重复执行...xid:{}",transId);
30             return ;
31         }
32         //增加金额
33         accountInfoDao.addAccountBalance(accountNo,amount);
34         //增加一条confirm日志，用于幂等
35         accountInfoDao.addConfirm(transId);
36         log.info("bank2 confirm end 结束执行...xid:{}",transId);
37     }
38
39     /**
40      * @param accountNo
41      * @param amount
42      */
43     public void cancelMethod(String accountNo, Double amount){
44         //获取全局事务id
45         String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
46         log.info("bank2 cancel begin 开始执行...xid:{}",transId);
47
48     }
49 }

四、小结

---

如果拿 TCC事务的处理流程与 2PC两阶段提交做比较，2PC通常都是在跨库的 DB层面，而 TCC则在应用层面的处理，需要通过业务逻辑来实现。这种分布式事务的实现方式的优势在于，可以让应用自己定义数据操作的粒度，使得降低锁冲突、提高吞吐量成为可能。而不足之处则在于对应用的侵入性非常强，业务逻辑的每个分支都需要实现Try、Confirm、Cancel三个操作。此外，其实现难度也比较大，需要按照网络状态、系统故障等不同的失败原因实现不同的回滚策略。