使用dubbo分布式框架进行微服务的开发,一个大系统往往会被拆分成很多不同的子系统,并且子系统还会部署多台机器,当其中一个系统出问题了,查看日志十分麻烦。

所以需要一个固定的流程ID和机器ip地址等来把所有的日志进行染色处理,当然可以通过调用其他接口时参数进行传递,但是这样子对代码的耦合性太强,对代码有侵入性。

我们可以通过dubbo的filter 结合slf4j的MDC或者log4j2的ThreadContext的进行参数的注入,可以直接在日志文件中配置被注入的参数,这样就对系统和日志id打印进行了解耦。

其中当用logback日志的时候是需要调用MDC的方法,而log4j2则需要调用ThreadContext的方法。

下面的例子是使用slf4j的日志模式:

1.上游系统调用下游系统和下游系统接收上游系统定义两个filter

ProviderRpcTraceFilter(生产者)

  1. import com.alibaba.dubbo.common.Constants;
  2. import com.alibaba.dubbo.common.extension.Activate;
  3. import com.alibaba.dubbo.rpc.*;
  4. import org.apache.commons.lang3.StringUtils;
  5. import org.slf4j.MDC;
  6.  
  7. /**
  8. * 日志染色
  9. * @author phpdragon
  10. */
  11. @Activate(group = {Constants.PROVIDER},order = 1)
  12. public class ProviderRpcTraceFilter implements Filter {
  13.  
  14. /**
  15. *
  16. * @param invoker
  17. * @param invocation
  18. * @return
  19. * @throws RpcException
  20. */
  21. @Override
  22. public Result invoke(Invoker<?> invoker, Invocation invocation) throws RpcException {
  23. String traceId = RpcContext.getContext().getAttachment("trace_id");
  24. if (StringUtils.isBlank(traceId)) {
  25. traceId = this.getUUID() ;
  26. }
  27.  
  28. //设置日志traceId变量
  29. MDC.put("traceId", traceId);
  30.  
  31. RpcContext.getContext().setAttachment("trace_id", traceId);
  32.  
  33. try{
  34. return invoker.invoke(invocation);
  35. }finally {
  36. MDC.remove("traceId");
  37. }
  38. }
  39.  
  40. /**
  41. * 获取UUID
  42. * @return String UUID
  43. */
  44. public String getUUID(){
  45. String uuid = UUID.randomUUID().toString();
  46. //替换-字符
  47. return uuid.replaceAll("-", "");
  48. }
  49.  
  50. }

ConsumerRpcTraceFilter(消费者)

  1. import com.alibaba.dubbo.common.Constants;
  2. import com.alibaba.dubbo.common.extension.Activate;
  3. import com.alibaba.dubbo.rpc.*;
  4. import org.apache.commons.lang3.StringUtils;
  5. import org.slf4j.MDC;
  6.  
  7. /**
  8. * 日志染色ProviderRpcTraceFilter
  9. * @author phpdragon
  10. */
  11. @Activate(group = {Constants.CONSUMER})
  12. public class ConsumerRpcTraceFilter implements Filter {
  13.  
  14. /**
  15. *
  16. * @param invoker
  17. * @param invocation
  18. * @return
  19. * @throws RpcException
  20. */
  21. @Override
  22. public Result invoke(Invoker<?> invoker, Invocation invocation) throws RpcException {
  23. String traceId = MDC.get("traceId");
  24. if (StringUtils.isBlank(traceId)) {
  25. traceId = this.getUUID() ;
  26. }
  27.  
  28. RpcContext.getContext().setAttachment("trace_id", traceId);
  29.      return invoker.invoke(invocation);
  30. }
  31.  
  32. /**
  33. * 获取UUID
  34. * @return String UUID
  35. */
  36. public String getUUID(){
  37. String uuid = UUID.randomUUID().toString();
  38. //替换-字符
  39. return uuid.replaceAll("-", "");
  40. }
  41.  
  42. }

2.下游系统被调用的时候可以通过dubbo中RpcContext.getAttachment()方法来获取上游系统传递下来的值

  1. String traceId = RpcContext.getContext().getAttachment("trace_id");

3.使用MDC来设置日志变量 %X{traceId}

  1. MDC.put("traceId", traceId);

4.在方法调用完成后移除该ID

  1. try{
  2. return invoker.invoke(invocation);
  3. }finally {
  4. MDC.remove("traceId");
  5. }

5.当上游系统调用下游系统的时候,可以通过dubbo中RpcContext.setAttachment()方法进行参数传递

  1. RpcContext.getContext().setAttachment("trace_id", traceId);

6.然后在/src/main/resources/META-INF/dubbo/com.alibaba.dubbo.rpc.Filter (或者 com.apache.dubbo.rpc.Filter ) 文件中配置filter

  1. providerRpcTraceFilter=com.xxx.xxx.filter.ProviderRpcTraceFilter
  2. consumerRpcTraceFilter=com.xxx.xxx.filter.ConsumerRpcTraceFilter

7.如果要打印服务器ip,使用com.alibaba.dubbo.common.utils.NetUtils工具获取ip,然后put到MDC里面

  1. String serverIp = NetUtils.getLocalHost()
  2. MDC.put("serverId", serverIp);

8.设置logback.xml 的日志输出格式

  1. %d{yyyy-MM-dd HH:mm:ss.SSS} [%X{traceId}] [%X{serverId}] [%X{sessionId}] -%5p ${PID:-} [%15.15t] %-40.40logger{39} : %m%n

注意:

1. dubbo应用同时担任provider、consumer时,RpcTraceFilter 不能合并成一个类,必须分开。

2.多线程的情况下,会取不到这个ID,需要做处理,比如将创建线程的时候将id通过参数传入(见:https://blog.csdn.net/qq_20641565/article/details/78628115

Dubbo分布式日志追踪的更多相关文章

  1. Dubbo 分布式 日志 追踪

    使用dubbo分布式框架进行微服务的开发,一个大系统往往会被拆分成很多不同的子系统,并且子系统还会部署多台机器,当其中一个系统出问题了,查看日志十分麻烦. 所以需要一个固定的流程ID和机器ip地址等来 ...

  2. (Dubbo架构)基于MDC+Filter的跨应用分布式日志追踪解决方案

    在单体应用中,日志追踪通常的解决方案是给日志添加 tranID(追踪ID),生成规则因系统而异,大致效果如下: 查询时只要使用 grep 命令进行追踪id筛选即可查到此次调用链中所有日志,但是在 du ...

  3. 【日志追踪】(微服务应用和单体应用)-logback中的MDC机制

    一.MDC介绍 MDC(Mapped Diagnostic Contexts)映射诊断上下文,该特征是logback提供的一种方便在多线程条件下的记录日志的功能, 某些应用程序采用多线程的方式来处理多 ...

  4. .NET Core 中的日志与分布式链路追踪

    目录 .NET Core 中的日志与分布式链路追踪 .NET Core 中的日志 控制台输出 非侵入式日志 Microsoft.Extensions.Logging ILoggerFactory IL ...

  5. 分布式链路追踪自从用了SkyWalking,睡得真香!

    本篇文章介绍链路追踪的另外一种解决方案Skywalking,文章目录如下: 什么是Skywalking? 上一篇文章介绍了分布式链路追踪的一种方式:Spring Cloud Sleuth+ZipKin ...

  6. 基于zipkin分布式链路追踪系统预研第一篇

    本文为博主原创文章,未经博主允许不得转载. 分布式服务追踪系统起源于Google的论文“Dapper, a Large-Scale Distributed Systems Tracing Infras ...

  7. zipkin分布式链路追踪系统

    基于zipkin分布式链路追踪系统预研第一篇   分布式服务追踪系统起源于Google的论文“Dapper, a Large-Scale Distributed Systems Tracing Inf ...

  8. 循序渐进看Java web日志跟踪(1)-Tomcat 日志追踪与配置

    日志,是软件运行过程中,对各类操作中重要信息的记录. 日志跟踪,不管对于怎么样的项目来说,都是非常重要的一部分,它关系到项目后期的维护和排错,起着举足轻重的作用.项目开发过程中,对日志的记录规则,也将 ...

  9. .NET Core微服务之基于Exceptionless实现分布式日志记录

    Tip: 此篇已加入.NET Core微服务基础系列文章索引 一.Exceptionless极简介绍 Exceptionless 是一个开源的实时的日志收集框架,它可以应用在基于 ASP.NET,AS ...

随机推荐

  1. (multi)set的某些操作

    (multi)set的某些操作 我们可以把multiset当作平衡树用~ 注意,必须定义小于运算符. s.begin() 返回指向第一个元素的迭代器. s.end() 返回指向最后元素的后面那个虚拟元 ...

  2. P4768 [NOI2018]归程

    \(\color{#0066ff}{题目描述}\) 本题的故事发生在魔力之都,在这里我们将为你介绍一些必要的设定. 魔力之都可以抽象成一个 n 个节点.m 条边的无向连通图(节点的编号从 1 至 n) ...

  3. 数据结构14:队列(Queue),“先进先出”的数据结构

    队列是线性表的一种,在操作数据元素时,和栈一样,有自己的规则:使用队列存取数据元素时,数据元素只能从表的一端进入队列,另一端出队列,如图1. 图1 队列示意图 称进入队列的一端为“队尾”:出队列的一端 ...

  4. J.U.C-其他组件

    J.U.C-其他组件 FutureTask   介绍Callable时我们知道它可以有返回值,返回值通过Future进行封装.FutrueTask实现了RunnableFuture接口,该接口继承了R ...

  5. PAT天梯赛L1-054 福到了

    题目链接:点击打开链接 "福"字倒着贴,寓意"福到".不论到底算不算民俗,本题且请你编写程序,把各种汉字倒过来输出.这里要处理的每个汉字是由一个 N x N 的 ...

  6. swift3.0 原生网络请求

    func loadData()  { let urlString = baseURL + NewsListURL + "\(self.page)"+"/20" ...

  7. angularJs获取复选框中id 进行批量删除

    主要思路:我们需要定义一个用于存储选中 ID 的数组,当我们点击复选框后判断是选择还是取消选择,如果是选择就加到数组中,如果是取消选择就从数组中移除.在点击删除按钮时需要用到这个存储了 ID 的数组. ...

  8. springcloud系列九 整合Hystrix Dashboard

    Hystrix Dashboard是Hystrix的仪表盘组件,主要用来实时监控Hystrix的各项指标信息,通过界面反馈的信息可以快速发现系统中存在的问题. 整合快速体验: pom.xml(这个是F ...

  9. element el-tree循环遍历树形结构,并动态赋值disabled属性

    凌晨3点,功夫不负有心人,已经累趴,效果终于出来: 贴上代码: <style scoped> .form { width: 50%; } </style> <templa ...

  10. windows_study_2

    描述:如何确定像%ProgramFiles%这样格式的目录的具体位置? 解决:运行——cmd——echo %ProgramFiles%——回车——界面就显示出目录位置了.