前言:kryo是个高效的java序列化/反序列化库,目前Twitter、yahoo、Apache、strom等等在使用该技术,比如Apache的spark、hive等大数据领域用的较多。

为什么使用kryo而不是其他?

因为性能足够好。比kyro更高效的序列化库就只有google的protobuf了(而且两者性能很接近),protobuf有个缺点就是要传输的每一个类的结构都要生成对应的proto文件(也可以都放在同一个proto文件中,如果考虑到扩展性的话,不建议放在一个proto文件中),如果某个类发生修改,还得重新生成该类对应的proto文件;另外考虑到项目中用的全部是java技术栈,不存在不同编程语言间的兼容性问题,因此最终采用了kryo作为序列化库。

使用场景:(数据交换或数据持久化)比如使用kryo把对象序列化成字节数组发送给消息队列或者放到redis等nosql中等等应用场景。

注意:由于kryo不是线程安全的,针对多线程情况下的使用,要对kryo进行一个简单的封装设计,从而可以多线程安全的使用序列化和反序列化

序列化和反序列化接口设计

  1. /**
  2. * 序列化工具(程序调用该接口来实现obj<->byte[]之间的序列化/反序列化)
  3. * @author eguid
  4. *
  5. */
  6. public interface Serializer{
  7.  
  8. /**
  9. * 序列化
  10. * @param t
  11. * @param bytes
  12. */
  13. public void serialize(Object t,byte[] bytes);
  14.  
  15. /**
  16. * 序列化
  17. * @param obj
  18. * @param bytes
  19. * @param offset
  20. * @param count
  21. */
  22. public void serialize(Object obj, byte[] bytes, int offset, int count);
  23.  
  24. /**
  25. * 反序列化
  26. * @param bytes -字节数组
  27. * @return T<T>
  28. */
  29. public <T>T deserialize(byte[] bytes);
  30.  
  31.  
  32. /**
  33. * 反序列化
  34. * @param bytes
  35. * @param offset
  36. * @param count
  37. * @return
  38. */
  39. public <T>T deserialize(byte[] bytes, int offset, int count);
  40.  
  41. }

使用kryo实现上面的接口

  1. /**
  2. * 基于kyro的序列化/反序列化工具
  3. *
  4. * @author eguid
  5. *
  6. */
  7. public class kryoSerializer implements Serializer {
  8.  
  9. // 由于kryo不是线程安全的,所以每个线程都使用独立的kryo
  10. final ThreadLocal<Kryo> kryoLocal = new ThreadLocal<Kryo>() {
  11. @Override
  12. protected Kryo initialValue() {
  13. Kryo kryo = new Kryo();
  14. kryo.register(ct, new BeanSerializer<>(kryo, ct));
  15. return kryo;
  16. }
  17. };
  18. final ThreadLocal<Output> outputLocal = new ThreadLocal<Output>();
  19. final ThreadLocal<Input> inputLocal = new ThreadLocal<Input>();
  20. private Class<?> ct = null;
  21.  
  22. public kryoSerializer(Class<?> ct) {
  23. this.ct = ct;
  24. }
  25.  
  26. public Class<?> getCt() {
  27. return ct;
  28. }
  29.  
  30. public void setCt(Class<?> ct) {
  31. this.ct = ct;
  32. }
  33.  
  34. @Override
  35. public void serialize(Object obj, byte[] bytes) {
  36. Kryo kryo = getKryo();
  37. Output output = getOutput(bytes);
  38. kryo.writeObjectOrNull(output, obj, obj.getClass());
  39. output.flush();
  40. }
  41.  
  42. @Override
  43. public void serialize(Object obj, byte[] bytes, int offset, int count) {
  44. Kryo kryo = getKryo();
  45. Output output = getOutput(bytes, offset, count);
  46. kryo.writeObjectOrNull(output, obj, obj.getClass());
  47. output.flush();
  48. }
  49.  
  50. /**
  51. * 获取kryo
  52. *
  53. * @param t
  54. * @return
  55. */
  56. private Kryo getKryo() {
  57. return kryoLocal.get();
  58. }
  59.  
  60. /**
  61. * 获取Output并设置初始数组
  62. *
  63. * @param bytes
  64. * @return
  65. */
  66. private Output getOutput(byte[] bytes) {
  67. Output output = null;
  68. if ((output = outputLocal.get()) == null) {
  69. output = new Output();
  70. outputLocal.set(output);
  71. }
  72. if (bytes != null) {
  73. output.setBuffer(bytes);
  74. }
  75. return output;
  76. }
  77.  
  78. /**
  79. * 获取Output
  80. *
  81. * @param bytes
  82. * @return
  83. */
  84. private Output getOutput(byte[] bytes, int offset, int count) {
  85. Output output = null;
  86. if ((output = outputLocal.get()) == null) {
  87. output = new Output();
  88. outputLocal.set(output);
  89. }
  90. if (bytes != null) {
  91. output.writeBytes(bytes, offset, count);
  92. }
  93. return output;
  94. }
  95.  
  96. /**
  97. * 获取Input
  98. *
  99. * @param bytes
  100. * @param offset
  101. * @param count
  102. * @return
  103. */
  104. private Input getInput(byte[] bytes, int offset, int count) {
  105. Input input = null;
  106. if ((input = inputLocal.get()) == null) {
  107. input = new Input();
  108. inputLocal.set(input);
  109. }
  110. if (bytes != null) {
  111. input.setBuffer(bytes, offset, count);
  112. }
  113. return input;
  114. }
  115.  
  116. @SuppressWarnings("unchecked")
  117. @Override
  118. public <T> T deserialize(byte[] bytes, int offset, int count) {
  119. Kryo kryo = getKryo();
  120. Input input = getInput(bytes, offset, count);
  121. return (T) kryo.readObjectOrNull(input, ct);
  122. }
  123.  
  124. @Override
  125. public <T> T deserialize(byte[] bytes) {
  126. return deserialize(bytes, 0, bytes.length);
  127. }

测试一下kryo的序列化和反序列化

为什么使用纳秒,而不用毫秒?与java原生的序列化反序列化要耗时几毫秒不同,kryo序列化和反序列化太快了,单个对象的序列化反序列化速度都在0.0x毫秒左右(如果电脑性能更好的话,会更快)

  1. Serializer ser = new kryoSerializer(Msg.class);
  2. for (int i = 0; i < 10; i++) {
  3.  
  4. Msg msg = new Msg();
  5.  
  6. msg.setVersion_flag(new byte[] { 1, 2, 3 });
  7. msg.setCrc_code((short) 1);
  8. msg.setMsg_body(new byte[] { 123, 123, 123, 43, 42, 1, 12, 45, 57, 98 });
  9. byte[] bytes = new byte[300];
  10. long start = System.nanoTime();
  11. ser.serialize(msg, bytes);
  12. System.err.println("序列化耗时:" + (System.nanoTime() - start));
  13. System.out.println(msg);
  14. System.out.println(Arrays.toString(bytes));
  15.  
  16. Msg newmsg = null;
  17. start = System.nanoTime();
  18. newmsg = ser.deserialize(bytes);
  19. System.err.println("反序列化耗时:" + (System.nanoTime() - start));
  20. System.out.println(newmsg);
  21. }

----end----

高性能的序列化与反序列化:kryo的简单使用的更多相关文章

  1. 利用php的序列化和反序列化来做简单的数据本地存储

    利用php的序列化和反序列化来做简单的数据本地存储 如下程序可以做为一个工具类 /** * 利用php的序列化和反序列化来做简单的数据本地存储 */ class objectdb { private ...

  2. XmlSerializer 对象的Xml序列化和反序列化

    http://www.cnblogs.com/yukaizhao/archive/2011/07/22/xml-serialization.html 这篇随笔对应的.Net命名空间是System.Xm ...

  3. XmlSerializer 对象的Xml序列化和反序列化,XMLROOT别名设置

    这篇随笔对应的.Net命名空间是System.Xml.Serialization:文中的示例代码需要引用这个命名空间.   为什么要做序列化和反序列化? .Net程序执行时,对象都驻留在内存中:内存中 ...

  4. Windows phone 之XML序列化与反序列化

    为什么要做序列化和反序列化? 一个回答: 我们都知道对象是不能在网络中直接传输的,不过还有补救的办法.XML(Extensible Markup Language)可扩展标记语言,本身就被设计用来存储 ...

  5. C#操作Xml:XmlSerializer 对象的Xml序列化和反序列化

    这篇随笔对应的.Net命名空间是System.Xml.Serialization:文中的示例代码需要引用这个命名空间. 为什么要做序列化和反序列化? .Net程序执行时,对象都驻留在内存中:内存中的对 ...

  6. XML的序列化和反序列化 详细介绍

    为什么要做序列化和反序列化? 一个回答: 我们都知道对象是不能在网络中直接传输的,不过还有补救的办法.XML(Extensible Markup Language)可扩展标记语言,本身就被设计用来存储 ...

  7. C# Note4:XML序列化和反序列化(含加密解密等)

    前言 在项目中,我们经常用到各种配置文件,比如xml文件.binary文件等等,这里主要根据实践经验介绍下xml文件的序列化和反序列化(毕竟最常用). 实践背景:我要做一个用户管理功能,用户账号信息存 ...

  8. JAVA中序列化和反序列化中的静态成员问题

    关于这个标题的内容是面试笔试中比较常见的考题,大家跟随我的博客一起来学习下这个过程. ? ? JAVA中的序列化和反序列化主要用于: (1)将对象或者异常等写入文件,通过文件交互传输信息: (2)将对 ...

  9. C#序列化与反序列化方式简单总结

    序列化和反序列化 相关类: System.SerializableAttribute特性(或称为属性), System.Runtime.Serialization.ISerializable(自定义序 ...

随机推荐

  1. arcgis水文分析

    前言 1.在开始之前首先需要注意几点: 1.arcgis 需要 python2.7 的支持,并有必要的模块库,请一定注意避免与其他软件冲突,例如tecplot 2009 需要python2.5的支持, ...

  2. Visual Studio Code v1.17

    Visual Studio Code v1.17发布 欢迎来到2017年9月发行的Visual Studio代码.在这个版本中有一些重要的更新,我们希望你会喜欢,一些关键的亮点包括: macOS To ...

  3. MyBatis做动态模糊查询时,like后面要不要加单引号??

    做项目遇到了个奇怪的问题,项目里面要对商品.账户.进行分别的多条件查询,于是我就采用动态多条件分页查询,起初在做账户部分的时候Mybatis是这样写的 <!-- 动态多条件分页查询 --> ...

  4. CPI和GDP有什么关系

    CPI反映消费价格变化情况,是一个相对数.GDP反映国民经济生产总量,是一个绝对数.CPI的变动反映经济运行过程中物价变动情况,是观察通货膨胀程度的重要指标,GDP的变化则反映经济的增长情况.经济增长 ...

  5. Android—— 4.2 Vold挂载管理_NetlinkManager (四)

    在前文Android-- 4.2 Vold挂载管理_主体构建main (一)中有结构图表示,Vold是kernel与用户层的一个交互管理模块. Android-- 4.2 Vold挂载管理_Volum ...

  6. mfc 小程序---在系统菜单中添加菜单项

    1建立一个对话框工程:在dlg类里定义一个菜单指针m_pMenu,在对话框OnInitDialog函数里添加代码: m_pMenu=GetSystemMenu(FALSE);//获取系统菜单的指针 m ...

  7. 在安装ubuntu时,卡在启动画面

    在我安装ubuntu时发生的情况,记录下来希望能帮助到需要帮助的朋友. 我先后尝试16.04与14.05两个版本的Ubuntu系统,方法均为:https://www.ubuntu.com/downlo ...

  8. Makefile注意点总结

    1 "="和":=" "="号赋值时,如果右边的值里面有未展开的变量,要等到整个Makefile的变量处理完之后,再展开,也就是说,如果该未 ...

  9. 中文WebFont探索

    本文主要讲中文webFont的相关知识,包含了业界现状.WebFont优势.实现方案等. 一 业界使用WebFont现状 1.1 英文WebFont使用现状 英文版已使用非常广泛.比较有名的字体库:G ...

  10. 设置sudo的过期时间

    默认sudo的过期时间过短,经常要输入密码 sudo visudo Defaults env_reset找到这行代码 后面加上timestamp_timeout参数,数值是分钟 ,timestamp_ ...