基于 log4j2 插件实现统一日志脱敏,性能远超正则替换
前言
经过了这两篇文章之后,我们对日志脱敏应该有了一定的理解。
但是实际项目中,我们遇到的情况往往更加复杂:
1)项目的 java bean 定义不规范,大量接口使用 map。
2)历史项目众多,改造成本巨大。
种种原因,导致使用注解的方式耗费大量的时间。但是一般给我们改造的时间是有限的。
那么,有没有一种方法可以统一对敏感信息进行脱敏处理呢?
答案是有的,我们可以基于 log4j2 实现自己的脱敏策略,统一实现日志的脱敏。
log4j2 Rewrite
我们可以基于 log4j2 RewritePolicy 统一使用脱敏策略。
本项目自 V1.2.0 添加对应支持,后续将提升对应的可拓展性。
说明:如果使用 slf4j 接口,实现为 log4j2 时也是支持的。
使用入门
maven 引入
引入核心脱敏包。
<dependency>
<groupId>com.github.houbb</groupId>
<artifactId>sensitive-log4j2</artifactId>
<version>1.2.1</version>
</dependency>
其他的一般项目中也有,如 log4j2 包:
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-api</artifactId>
<version>${log4j2.version}</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>${log4j2.version}</version>
</dependency>
log4j2.xml 配置
例子如下:
<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="WARN" packages = "com.github.houbb.sensitive.log4j2.rewrite">
<Appenders>
<Console name="Console" target="SYSTEM_OUT">
</Console>
<Rewrite name="rewrite">
<AppenderRef ref="Console"/>
<SensitiveRewritePolicy/>
</Rewrite>
</Appenders>
<Loggers>
<Root level="DEBUG">
<AppenderRef ref="rewrite" />
</Root>
</Loggers>
</Configuration>
几个步骤:
指定 package 为
packages = "com.github.houbb.sensitive.log4j2.rewrite"
按照 log4j2 Rewrite 规范,指定重写策略为
SensitiveRewritePolicy
输出时,直接指定为对应的重写之后的结果
<AppenderRef ref="rewrite" />
测试
正常的日志打印:
private static final String TEST_LOG = "mobile:13088887777; bankCard:6217004470007335024, email:mahuateng@qq.com, amount:123.00, " +
"IdNo:340110199801016666, name1:李明, name2:李晓明, name3:李泽明天, name4:山东小栗旬" +
", birthday:20220517, GPS:120.882222, IPV4:127.0.0.1, address:中国上海市徐汇区888号;";
logger.info(TEST_LOG);
自动脱敏效果如下:
mobile:130****7777|9FC4D36D63D2B6DC5AE1297544FBC5A2; bankCard:6217***********5024|444F49289B30944AB8C6C856AEA21180, email:mahu*****@qq.com|897915594C94D981BA86C9E83ADD449C, amount:123.00, IdNo:3****************6|F9F05E4ABB3591FC8EA481E8DE1FA4D6, name1:李*|15095D14367F7F02655030D498A4BA03, name2:李**|035E3C0D1A0410367FE6EB8335B2BFDE, name3:李泽**|B87138E5E80AEC87D2581A25CAA3809D, name4:山东***|6F2178D34BC7DD0A07936B5AFF39A16F, birthday:********|1F88D983FAFC50022651122B42F084A0, GPS:**********|E281A9A52DE915154285148D68872CA2, IPV4:127******|F528764D624DB129B32C21FBCA0CB8D6, address:中国上海市徐******|821A601949B1BD18DCBAAE27F2E27147;
ps: 这里是为了演示各种效果,实际默认对应为 1,2,3,4 这几种策略。
log4j2 配置定制化
为了满足各种用户的场景,在 V1.2.1 引入了 SensitiveRewritePolicy 策略的可配置化。
默认配置
log4j2 配置中,SensitiveRewritePolicy
配置默认等价于
<SensitiveRewritePolicy
prefix=":='""
scanList = "1,2,3,4"
replaceList = "1,2,3,4"
defaultReplace = "12"
replaceHash = "md5"
/>
属性说明
SensitiveRewritePolicy 策略的属性说明。
属性 | 说明 | 默认值 | 备注 |
---|---|---|---|
prefix | 需要脱敏信息的匹配前缀 | :='" |
降低误判率 |
replaceHash | 哈希策略模式 | md5 |
支持 md5/none 两种模式 |
scanList | 敏感扫描策略列表 | 1,2,3,4 |
1~10 内置的10种敏感信息扫描策略,多个用逗号隔开 |
replaceList | 敏感替换策略列表 | 1,2,3,4 |
1~10 内置的10种敏感信息替换策略,多个用逗号隔开 |
defaultReplace | 敏感替换默认策略 | 12 |
1~13 内置的13种敏感信息替换策略,指定一个。当列表没有匹配时,默认使用这个 |
其中 1-13 的内置策略说明如下:
策略标识 | 说明 |
---|---|
1 | 手机号 |
2 | 身份证 |
3 | 银行卡 |
4 | 邮箱 |
5 | 中国人名 |
6 | 出生日期 |
7 | GPS |
8 | IPV4 |
9 | 地址 |
10 | 护照 |
11 | 匹配任意不掩盖 |
12 | 匹配任意半掩盖 |
13 | 匹配任意全掩盖 |
不足之处
这里的策略自定义和 log4j2 的插件化比起来,确实算不上强大,但是可以满足 99% 的脱敏场景。
后续有时间考虑类似 log4j2 的 plugins 思想,实现更加灵活的自定义策略。
性能
正则的替换可能会导致 cpu 飙升等问题,替换的策略也有限制。
实现的底层不是基于正则的,性能要远高于正则,大概是 2 倍左右,符合企业级应用性能。
后续将添加对应的 benchmark。
开源地址
为了便于大家学习,项目已开源
小结
实际项目中,建议二者结合使用。
基于 log4j2 的方式统一处理非常方便,但是是性能和准确性要有一定的折中。
如果是新项目,建议使用注解的方式,通过日志标准规范开发,后续拓展性也更加灵活。
基于 log4j2 插件实现统一日志脱敏,性能远超正则替换的更多相关文章
- [转帖]亚马逊发布自主64核心ARM处理器:单核性能远超铂金至强
亚马逊发布自主64核心ARM处理器:单核性能远超铂金至强 https://news.mydrivers.com/1/660/660383.htm 不知道真假 看样子比华为的鲲鹏920 要牛B . 亚马 ...
- 高性能web服务器(热死你)Resin Linux的安装、配置、部署,性能远超Nginx支持Java、PHP等
高性能web服务器(热死你)Resin Linux的安装.配置.部署,性能远超Nginx支持Java.PHP等 一. 安装resin 1. 下载resin: 下载地址:http://cauch ...
- 基于Mybatis插件方式实现数据脱敏处理
一.项目介绍 1.项目背景 有时候我们数据库中存储一些敏感的信息比如手机号.银行卡号,我们希望我们查询出来的的时候对一些敏感信息做一些脱敏处理. 当面项目是基于自定义Mybatis插件方式实现数据脱敏 ...
- AMQ学习笔记 - 15. 实践方案:基于ActiveMQ的统一日志服务
概述 以ActiveMQ + Log4j + Spring的技术组合,实现基于消息队列的统一日志服务. 参考:Spring+Log4j+ActiveMQ实现远程记录日志——实战+分析 与参考文章的比较 ...
- 基于ActiveMQ的统一日志服务
概述 以ActiveMQ + Log4j + Spring的技术组合,实现基于消息队列的统一日志服务. 参考:Spring+Log4j+ActiveMQ实现远程记录日志——实战+分析 与参考文章的比较 ...
- java 日志脱敏框架 sensitive,优雅的打印脱敏日志
问题 为了保证用户的信息安全,敏感信息需要脱敏. 项目开发过程中,每次处理敏感信息的日志问题感觉很麻烦,大部分都是用工具类单独处理,不利于以后统一管理,很不优雅. 于是,就写了一个基于 java 注解 ...
- 基于Lua插件化的Pcap流量监听代理
1.前言 我们在实际工作中,遇到了一个这样的用例,在每天例行扫描活动中,发现有些应用系统不定期的被扫挂,因为我们不是服务的制造者,没有办法在不同的系统里打印日志,所以我们就想用一个工具来获取特定服务的 ...
- slf4j 与 log4j2 实战讲解与日志分割
这两天搭建项目的时候用到log4j2在这里把自己的问题与了解拿出来与大家分享一下. 1.为什我要用 因为,使用slf4j可以很好的保证我们的日志系统具有良好的兼容性,兼容当前常见几种日志系统,而使用l ...
- Log4j2中的同步日志与异步日志
1.背景 Log4j 2中记录日志的方式有同步日志和异步日志两种方式,其中异步日志又可分为使用AsyncAppender和使用AsyncLogger两种方式. 2.Log4j2中的同步日志 所谓同步日 ...
- ELK统一日志系统的应用
收集和分析日志是应用开发中至关重要的一环,互联网大规模.分布式的特性决定了日志的源头越来越分散, 产生的速度越来越快,传统的手段和工具显得日益力不从心.在规模化场景下,grep.awk 无法快速发挥作 ...
随机推荐
- Shell-循环-for-while
- [转帖]SQL SERVER DBCC命令详解
https://developer.aliyun.com/article/867768 简介: SQL数据库开发 DBCC DROPCLEANBUFFERS:从缓冲池中删除所有缓存,清除缓冲区 在 ...
- [转帖]Jmeter接口测试:${__UUID()}函数
UUID函数返回一个伪随机类型的通用唯一标识符ID. UUID 是 通用唯一识别码(Universally Unique Identifier)的缩写.UUID是基于当前时间戳.随机数和硬件标识(例如 ...
- [转帖]Linux禁用CPU省电状态/Linux系统性能调优
https://www.jianshu.com/p/945168b47487 How to Disable CPU Power Saving States on a Redhat or Suse Li ...
- [转帖]精通awk系列(19):awk流程控制之break、continue、next、nextfile、exit语句
https://www.cnblogs.com/f-ck-need-u/ 回到: Linux系列文章 Shell系列文章 Awk系列文章 break和continue break可退出for.wh ...
- Oracle TNS 异常问题处理
今天下午快下班时同事找我说自己的性能测试Oracle数据库 连不上了. 然后自己连上去简单看了一下. 因为已经是事后了, 所以没有截图,只通过文字说明. 环境说明:Win2012r2 + Oracle ...
- 六个节点三主三从Redis集群最简单搭建方法
背景 一个服务器上面的三主三从的界面太low,容易出问题. 为了验证高可用, 我这边使用六台机器进行了三主三从的搭建. 模仿开源版的一键搭建集群的脚本进行使用,感觉非常简单,这里简单进行一下总结. 环 ...
- ELK搭建简单说明
ELK搭建简单说明 简单说明 周天陪孩子学习,自己简单研究了下如何处理 不是很系统,仅是能够展示部分文件的日志. 需要有很多坑需要进行填充. 搭建模式 自己采取rpm包方式进行搭建 183 机器上面安 ...
- Promise.all()方方详解
1.Promise.all()方方详解 Promise.all,只有所有的Promise成功,才能够算作成功,只要有一个失败了,就直接失败: 它包含一个参数,这个参数是指包含多个Promise的数组: ...
- 【小测试】VictoriaMetrics中如何汇总单个time series上的多个data point?
作者:张富春(ahfuzhang),转载时请注明作者和引用链接,谢谢! cnblogs博客 zhihu Github 公众号:一本正经的瞎扯 问题最终在andy专家的帮助下解决,但是内部的原理还是很迷 ...