使用dubbo分布式框架进行微服务的开发,一个大系统往往会被拆分成很多不同的子系统,并且子系统还会部署多台机器,当其中一个系统出问题了,查看日志十分麻烦。

所以需要一个固定的流程ID和机器ip地址等来把所有的日志进行染色处理,当然可以通过调用其他接口时参数进行传递,但是这样子对代码的耦合性太强,对代码有侵入性。

我们可以通过dubbo的filter 结合slf4j的MDC或者log4j2的ThreadContext的进行参数的注入,可以直接在日志文件中配置被注入的参数,这样就对系统和日志id打印进行了解耦。

其中当用logback日志的时候是需要调用MDC的方法,而log4j2则需要调用ThreadContext的方法。

下面的例子是使用slf4j的日志模式:

1.上游系统调用下游系统和下游系统接收上游系统定义两个filter

ProviderRpcTraceFilter

import com.alibaba.dubbo.common.Constants;
import com.alibaba.dubbo.common.extension.Activate;
import com.alibaba.dubbo.rpc.*;
import org.apache.commons.lang3.StringUtils;
import org.slf4j.MDC; /**
* 日志染色
* @author phpdragon
*/
@Activate(group = {Constants.PROVIDER},order = 1)
public class ProviderRpcTraceFilter extends Filter { /**
*
* @param invoker
* @param invocation
* @return
* @throws RpcException
*/
@Override
public Result invoke(Invoker<?> invoker, Invocation invocation) throws RpcException {
String traceId = RpcContext.getContext().getAttachment("trace_id");
if (StringUtils.isBlank(traceId)) {
traceId = this.getUUID() ;
} //设置日志traceId变量
MDC.put("traceId", traceId); RpcContext.getContext().setAttachment("trace_id", traceId); try{
return invoker.invoke(invocation);
}finally {
MDC.remove("traceId");
}
} /**
* 获取UUID
* @return String UUID
*/
public String getUUID(){
String uuid = UUID.randomUUID().toString();
//替换-字符
return uuid.replaceAll("-", "");
} }

ConsumerRpcTraceFilter

import com.alibaba.dubbo.common.Constants;
import com.alibaba.dubbo.common.extension.Activate;
import com.alibaba.dubbo.rpc.*;
import org.apache.commons.lang3.StringUtils;
import org.slf4j.MDC; /**
* 日志染色ProviderRpcTraceFilter
* @author phpdragon
*/
@Activate(group = {Constants.CONSUMER})
public class ConsumerRpcTraceFilter extends Filter { /**
*
* @param invoker
* @param invocation
* @return
* @throws RpcException
*/
@Override
public Result invoke(Invoker<?> invoker, Invocation invocation) throws RpcException {
String traceId = MDC.get("traceId");
if (StringUtils.isBlank(traceId)) {
traceId = this.getUUID() ;
} RpcContext.getContext().setAttachment("trace_id", traceId);
     return invoker.invoke(invocation);
} /**
* 获取UUID
* @return String UUID
*/
public String getUUID(){
String uuid = UUID.randomUUID().toString();
//替换-字符
return uuid.replaceAll("-", "");
} }

2.下游系统被调用的时候可以通过dubbo中RpcContext.getAttachment()方法来获取上游系统传递下来的值

String traceId = RpcContext.getContext().getAttachment("trace_id");

3.使用MDC来设置日志变量 %X{traceId}

MDC.put("traceId", traceId);

4.在方法调用完成后移除该ID

try{
return invoker.invoke(invocation);
}finally {
MDC.remove("traceId");
}

5.当上游系统调用下游系统的时候,可以通过dubbo中RpcContext.setAttachment()方法进行参数传递

RpcContext.getContext().setAttachment("trace_id", traceId);

6.然后在/src/main/resources/META-INF/dubbo/com.alibaba.dubbo.rpc.Filter (或者 com.apache.dubbo.rpc.Filter ) 文件中配置filter

providerRpcTraceFilter=com.xxx.xxx.filter.ProviderRpcTraceFilter
consumerRpcTraceFilter=com.xxx.xxx.filter.ConsumerRpcTraceFilter

7.如果要打印服务器ip,使用com.alibaba.dubbo.common.utils.NetUtils工具获取ip,然后put到MDC里面

String serverIp = NetUtils.getLocalHost()
MDC.put("serverId", serverIp);

8.设置logback.xml 的日志输出格式

%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{traceId}] [%X{serverId}] [%X{sessionId}] -%5p ${PID:-} [%15.15t] %-40.40logger{39} : %m%n

9.最后通过Kibana对日志进行收集归总,使用trace_id筛选,快速定位到错误位置。

最终效果如下:

注意:

1. dubbo应用同时担任provider、consumer时,RpcTraceFilter 不能合并成一个类,必须分开。

2.多线程的情况下,会取不到这个ID,需要做处理,比如将创建线程的时候将id通过参数传入(见:Dubbo分布式日志追踪,多线程不能获取窜ID和IP问题

PS:

https://blog.csdn.net/qq_20641565/article/details/78627202

https://blog.csdn.net/qq_20641565/article/details/78628115

https://www.jianshu.com/p/3dca4aeb6edd

https://blog.csdn.net/weixin_39178876/article/details/85088410

https://blog.csdn.net/xiaolyuh123/article/details/80560662

Dubbo 分布式 日志 追踪的更多相关文章

  1. Dubbo分布式日志追踪

    使用dubbo分布式框架进行微服务的开发,一个大系统往往会被拆分成很多不同的子系统,并且子系统还会部署多台机器,当其中一个系统出问题了,查看日志十分麻烦. 所以需要一个固定的流程ID和机器ip地址等来 ...

  2. (Dubbo架构)基于MDC+Filter的跨应用分布式日志追踪解决方案

    在单体应用中,日志追踪通常的解决方案是给日志添加 tranID(追踪ID),生成规则因系统而异,大致效果如下: 查询时只要使用 grep 命令进行追踪id筛选即可查到此次调用链中所有日志,但是在 du ...

  3. 【日志追踪】(微服务应用和单体应用)-logback中的MDC机制

    一.MDC介绍 MDC(Mapped Diagnostic Contexts)映射诊断上下文,该特征是logback提供的一种方便在多线程条件下的记录日志的功能, 某些应用程序采用多线程的方式来处理多 ...

  4. .NET Core 中的日志与分布式链路追踪

    目录 .NET Core 中的日志与分布式链路追踪 .NET Core 中的日志 控制台输出 非侵入式日志 Microsoft.Extensions.Logging ILoggerFactory IL ...

  5. 分布式链路追踪自从用了SkyWalking,睡得真香!

    本篇文章介绍链路追踪的另外一种解决方案Skywalking,文章目录如下: 什么是Skywalking? 上一篇文章介绍了分布式链路追踪的一种方式:Spring Cloud Sleuth+ZipKin ...

  6. 基于zipkin分布式链路追踪系统预研第一篇

    本文为博主原创文章,未经博主允许不得转载. 分布式服务追踪系统起源于Google的论文“Dapper, a Large-Scale Distributed Systems Tracing Infras ...

  7. zipkin分布式链路追踪系统

    基于zipkin分布式链路追踪系统预研第一篇   分布式服务追踪系统起源于Google的论文“Dapper, a Large-Scale Distributed Systems Tracing Inf ...

  8. 循序渐进看Java web日志跟踪(1)-Tomcat 日志追踪与配置

    日志,是软件运行过程中,对各类操作中重要信息的记录. 日志跟踪,不管对于怎么样的项目来说,都是非常重要的一部分,它关系到项目后期的维护和排错,起着举足轻重的作用.项目开发过程中,对日志的记录规则,也将 ...

  9. .NET Core微服务之基于Exceptionless实现分布式日志记录

    Tip: 此篇已加入.NET Core微服务基础系列文章索引 一.Exceptionless极简介绍 Exceptionless 是一个开源的实时的日志收集框架,它可以应用在基于 ASP.NET,AS ...

随机推荐

  1. BZOJ4543[POI2014]Hotel加强版——长链剖分+树形DP

    题意参见BZOJ3522 n<=100000 数据范围增强了,显然之前的转移方程不行了,那么不妨换一种. 因为不能枚举根来换根DP,那么我们描述的DP方程每个点要计算三个点都在这个点的子树内的方 ...

  2. JDBC(11)—数据库连接池

    在实际开发过程中,特别是在web应用系统中,如果程序直接访问数据库中的数据,每一次数据访问请求丢必须经历建立数据库连接.打开数据库.存取数据和关闭数据库连接.而连接并打开数据库是一件既消费资源又费时的 ...

  3. tk.mybatis通用插件updateByPrimaryKeySelective无法自动更新ON UPDATE CURRENT_TIMESTAMP列的解决办法

    tk.mybatis是一个很好用的通用插件,把CRUD这些基本的数据操作全都用动态SQL语句自动生成了,mapper和xml里十分清爽,但是昨天发现有一个小坑,记录在此: 有一张表,结构如下(已经简化 ...

  4. springboot + websocket + spring-messaging实现服务器向浏览器广播式

    目录结构 pom.xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http:// ...

  5. u3d不显示阴影的处理方法

    正常情况下都会显示的,如果没有显示,尝试以下几种方案: 1)缩小模型看一看 2)旋转灯光试试,看是否有阴影 3)检查阴影设置 菜单栏Edit –> Project Settings –> ...

  6. python3 cookie

    最近再次学习python,本来就是一个菜鸟,我按照 Python CGI编程 发现读cookie 读取不了,后来发现它这种写的方式也不怎么靠谱. Python中Cookie模块(python3中为ht ...

  7. (原)tensorflow使用eager在mnist上训练的简单例子

    转载请注明出处: https://www.cnblogs.com/darkknightzh/p/9989586.html 代码网址: https://github.com/darkknightzh/t ...

  8. Git-Book

    关于git的文档https://git-scm.com/book/zh/v2

  9. 分析轮子(八)- List.java 各种遍历方式及遍历时移除元素的方法

    注:玩的是JDK1.7版本 1:先尝栗子,再分析,代码简单,注释清晰,可自玩一下 /** * @description:测试集合遍历和移除元素的方式 * @author:godtrue * @crea ...

  10. C#中IEnumerable、ICollection、IList、List之间的区别

    IEnumerable.ICollection.IList.List之间的区别,本文分别分析了它的实现源码,从而总结出了它们之间的关系和不同之处. 首先我看看 IEnumerable: // 摘要: ...