一:背景

1. 讲故事

在开始本文之前,真的好想做个问卷调查,到底有多少人和我一样,对 JsonConvert 的认识只局限在 SerializeObjectDeserializeObject 这两个方法上(┬_┬), 这样我也好结伴同行,不再孤单落魄,或许是这两个方法基本上能够解决工作中 80% 的场景,对于我来说确实是这样,但随着编码的延续,终究还是会遇到那剩下的 20% ,所以呀。。。

我的场景是这样的:前段时间写业务代码的时候,我有一个自定义的客户算法类型的Model,这个Model中有这种算法类型下的客户群以及Report统计信息,还用了 HashSet 记录了该类型下的 CustomerID集合,为了方便讲述,我把Model简化如下:


class CustomerAlgorithmModel
{
public string DisplayName { get; set; } public int CustomerType { get; set; } public ReprotModel Report { get; set; } public HashSet<int> CustomerIDHash { get; set; }
} class ReprotModel
{
public int TotalCustomerCount { get; set; } public int TotalTradeCount { get; set; }
}

那有意思的就来了,我个人是有记日志的癖好,就想着以后不会出现死无对证的情况,然后就理所当然的使用 JsonConvert.SerializeObject, 这一下就出问题了,日志送入到了 ElasticSearch ,然后通过 Kibana 查不出来,为啥呢? 看完上面的 Model 我想你也猜到了原因,json体太大了哈,好歹 CustomerIDHash 中也有几十万个撒,这一下全导出成json了,这 size 还能小吗? 要不我写段代码看一看。


static void Main(string[] args)
{
var algorithModel = new CustomerAlgorithmModel()
{
CustomerType = 1,
DisplayName = "",
Report = new ReprotModel()
{
TotalCustomerCount = 1000,
TotalTradeCount = 50
},
CustomerIDHash = new HashSet<int>(Enumerable.Range(1, 500000))
}; var json = JsonConvert.SerializeObject(algorithModel); File.WriteAllText("1.txt", json, Encoding.UTF8); Console.WriteLine("写入完成!");
}

可以看到,仅一个json就 3.3M,这样的记录多来几打后,在 kibana 上一检索,浏览器就卡的要死,其实 CustomerIDHash 这个字段对我来说是可有可无的,就算存下来了也没啥大用,所以需求就来了,如何屏蔽掉 CustomerIDHash

二:寻求解决方案

1. 使用 JsonIgnore

有问题就网上搜啊,这一搜马上就有人告诉你可以使用 JsonIgnoreAttribute 忽略特性,加好这个特性后继续跑一下程序。


[Newtonsoft.Json.JsonIgnore]
public HashSet<int> CustomerIDHash { get; set; }

太好了,终于搞定了,但是静下心来想一想,总感觉心里有那么一点不舒服,为什么这么说,一旦你给这个 CustomerIDHash 套上了 JsonIgnore ,这就意味着它在 JsonConvet 的世界中从此消失,也不管是谁在使用这个Model, 但这并不是我的初衷,我的初衷仅仅是为了在记录日志的时候踢掉 CustomerIDHash,可千万不要影响在其他场景下的使用哈,现在这种做法就会给自己,给别人挖坑,埋下了不可预知的bug,我想你应该明白我的意思,还得继续寻找下一个方案。

2. 使用自定义的 JsonConverter

真的,Newtonsoft 太强大了,我都想写一个专题好好弥补弥补我的知识盲区,其实在这个场景中不就是想把 HashSet<int> 给屏蔽掉嘛,Newtonsoft 中专门提供了一个针对特定类型的自定义处理类,接下来我就写一段:


/// <summary>
/// 自定义一个 针对 HashSet<int> 的转换类
/// </summary>
public class HashSetConverter : Newtonsoft.Json.JsonConverter<HashSet<int>>
{
public override HashSet<int> ReadJson(JsonReader reader, Type objectType, HashSet<int> existingValue, bool hasExistingValue, JsonSerializer serializer)
{
return existingValue;
} public override void WriteJson(JsonWriter writer, HashSet<int> value, JsonSerializer serializer)
{
writer.WriteNull();
}
}

就是这么简单,然后就可以在 SerializeObject 的时候指定下自定义的 HashSetConverter 即可,然后再将程序跑起来看一下。


var json = JsonConvert.SerializeObject(algorithModel, Formatting.Indented, new HashSetConverter());

从图中看,貌似也是解决了,但我突然发现自己要钻牛角尖了,如果我的实体中又来了一个顶级优质客户群的 TopNCustomerIDHash,但因为这个CustomerID 比较少,我希望在 Json 中能保留下来,然后就是踢掉的那个 CustomerIDHash 我要保留 CustomerIDHash.Length ,哈哈,搞事情哈,那接下来怎么解决呢?

  • 修改 Model 实体

class CustomerAlgorithmModel
{
public HashSet<int> CustomerIDHash { get; set; } // topN 优质客户群
public HashSet<int> TopNCustomerIDHash { get; set; }
}
  • HashSetConverter 增加逻辑鉴别是否为保留字段

public override void WriteJson(JsonWriter writer, HashSet<int> value, JsonSerializer serializer)
{
if (writer.Path == "TopNCustomerIDHash")
{
writer.WriteStartArray(); foreach (var item in value)
{
writer.WriteValue(item);
} writer.WriteEndArray();
}
else
{
writer.WriteValue(value.Count);
}
}
  • 最后给 TopNCustomerIDHash 赋值

var algorithModel = new CustomerAlgorithmModel()
{
CustomerType = 1,
DisplayName = "",
Report = new ReprotModel()
{
TotalCustomerCount = 1000,
TotalTradeCount = 50
},
CustomerIDHash = new HashSet<int>(Enumerable.Range(1, 500000)),
TopNCustomerIDHash = new HashSet<int>(Enumerable.Range(1, 10)),
};

三块都搞定后就可以把程序跑起来了,如下图:

貌似钻牛角尖的问题是解决了,既然钻牛角尖肯定要各种鄙视,比如这里的 ReportModel 我是不需要的,CustomerType 我也是不需要的,我仅仅需要看一下 DisplayNameTotalCustomerCount 这两个字段就可以了, 那这个要怎么解决呢?

3. 使用 匿名类型

确实很多时候记日志,就是为了跟踪 Model 中你特别关心的那几个字段,所以掺杂了多余的字段确实也是没必要的,这里可以用匿名来解决,我就来写一段代码:


var json = JsonConvert.SerializeObject(new
{
algorithModel.DisplayName,
algorithModel.Report.TotalCustomerCount
}, Formatting.Indented);

三: 总结

虽然阻击了几个回合,但同时也发现了 Newtonsoft 中还有特别多的未挖掘功能,真的需要好好研究研究,源码已下好,接下来准备做个系列来解剖一下,值得一提的是 .Net中已自带了 System.Text.Json.JsonSerializer 类,目前来看功能还不算太丰富,简单用用还是可以的,本篇就说到这里,希望对您有帮助。


如您有更多问题与我互动,扫描下方进来吧~

对 JsonConvert 的认识太肤浅了,终于还是遇到了问题的更多相关文章

  1. Shader的学习方法总结

    最近网友candycat1992的新书<Unity Shader入门精要>出版了,估计万千的中国unity开发者又要掀起一波学Shader热潮了.我也想把自己这几年学习Shader的一些历 ...

  2. [转]MySQL去除查询结果重复值

    在使用MySQL时,有时需要查询出某个字段不重复的记录,虽然mysql提供有distinct这个关键字来过滤掉多余的重复记录只保留一条,但往往只用它来返回不重复记录的条数,而不是用它来返回不重记录的所 ...

  3. 用distinct在MySQL中查询多条不重复记录值[转]

    在使用mysql时,有时需要查询出某个字段不重复的记录,虽然mysql提供有distinct这个关键字来过滤掉多余的重复记录只保留一条,但往往只用它来返回不重复记录的条数,而不是用它来返回不重记录的所 ...

  4. mysql中函数DISTINCT,group by,CONCAT及GROUP_CONCAT的使用

    一:DISTINCT 在使用mysql时,有时需要查询出某个字段不重复的记录,虽然mysql提供有distinct这个关键字来过滤掉多余的重复记录只保留一条,但往往只用它来返回不重复记录的条数,而不是 ...

  5. cfa,cpa,

    CFA考试内容分为三个不同级别,分别是方式是Level I.Level II和Level III. 考试在全球各个地点统一举行,每个考生必须依次完成三个不同级别的考试.CFA资格考试采用全英文,候选人 ...

  6. 探索 vuex 2.0 以及使用 vuejs 2.0 + vuex 2.0 构建记事本应用

    前言 首先说明这并不是一个教程贴,而记事本应用是网上早有的案例,对于学习 vuex 非常有帮助.我的目的是探索 vuex 2.0 ,然后使用 vue 2.0 + vuex 2.0 重写这个应用,其中最 ...

  7. 自己动手实现XXX系列

    前记: 最近看了rongjun的一片文章:自己动手实现jdk代理类.按照上面的例子敲完才发现,JDK动态代理 实现底层原来如此简单,只是大量的使用了反射,类编译,类加载一些常规的东西 而且本质也是如实 ...

  8. 探索 vuex 2.0 以及使用 vuejs 2.0 + vuex 2.0 构建记事本应用23

    前言 首先说明这并不是一个教程贴,而记事本应用是网上早有的案例,对于学习 vuex 非常有帮助.我的目的是探索 vuex 2.0 ,然后使用 vuejs 2.0 + vuex 2.0 重写这个应用,其 ...

  9. 关于Python json解析过程遇到的TypeError: expected string or buffer

    关于Python json解析过程遇到的问题:(爬取天气json数据所遇到的问题http://tianqi.2345.com/) part.1 url——http://tianqi.2345.com/ ...

随机推荐

  1. StringBuffer & StringBuilder

    java.lang.StringBuffer: ①代表可变的字符序列,可以对字符串内容进行增删.                       ②很多方法与String相同,但StingBuffer是可 ...

  2. 坑爹的PostgreSQL的美元符号(有时需要替换成单引号)

    今天想在PostgeSQL数据库里建一个存储过程(或函数也行),由于对存储过程比较生疏,上网搜了很多教程和源代码例子,照着写,发现怎么都不行,甚至把网上教程包括官方教程的源代码原封不动的复制下来一执行 ...

  3. Win2003远程桌面突然无法连接,有没有解决方法?

    在日常工作中,运维人员除了接触服务器监控工具外,最常用的应该就是远程桌面了吧.iis7远程桌面是一款绿色小巧的服务器管理工具,更加人性化,管理服务器更是不可测量. 可以管理1000台服务器的远程桌面: ...

  4. MySQL不香吗,清华架构师告诉你为什么还要有noSQL?

    强烈推荐观看: 阿里P8架构师谈(数据库系列):NoSQL使用场景和选型比较,以及与SQL的区别_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili​www.bilibili.com noSQL的大概 ...

  5. 【HBase】知识小结+HMaster选举、故障恢复、读写流程

    1:什么是HBase HBase是一个高可靠性,高性能,面向列,可伸缩的分布式数据库,提供海量数据存储功能,一个结构化的分布式存储系统,不同于一般的关系型数据库,它适合半结构化和非结构化数据存储. 2 ...

  6. 【Java Spring Cloud 实战之路】- 使用Nacos和网关中心的创建

    0. 前言 在上一节中,我们创建了一个项目架构,后续的项目都会在那个架构上做补充. 1. Nacos 1.1 简介 Nacos可以用来发现.配置和管理微服务.提供了一组简单易用的特性集,可以快速实现动 ...

  7. Java实现 LeetCode 835 图像重叠(暴力)

    835. 图像重叠 给出两个图像 A 和 B ,A 和 B 为大小相同的二维正方形矩阵.(并且为二进制矩阵,只包含0和1). 我们转换其中一个图像,向左,右,上,或下滑动任何数量的单位,并把它放在另一 ...

  8. Java实现 LeetCode 11 盛最多水的容器

    11. 盛最多水的容器 给定 n 个非负整数 a1,a2,-,an,每个数代表坐标中的一个点 (i, ai) .在坐标内画 n 条垂直线,垂直线 i 的两个端点分别为 (i, ai) 和 (i, 0) ...

  9. Java实现二阶魔方旋转

    魔方可以对它的6个面自由旋转. 我们来操作一个2阶魔方(如图1所示): 为了描述方便,我们为它建立了坐标系. 各个面的初始状态如下: x轴正向:绿 x轴反向:蓝 y轴正向:红 y轴反向:橙 z轴正向: ...

  10. Java实现第九届蓝桥杯方格计数

    方格计数 题目描述 如图p1.png所示,在二维平面上有无数个1x1的小方格. 我们以某个小方格的一个顶点为圆心画一个半径为1000的圆. 你能计算出这个圆里有多少个完整的小方格吗? 注意:需要提交的 ...