最近研究ehcache同步时发现一个问题:

现有A、B两个服务器,由A服务器向B服务器同步信息,采用RMI方式手动方式进行同步

配置信息如下:

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <ehcache xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  3. xsi:noNamespaceSchemaLocation="ehcache.xsd" updateCheck="false"
  4. monitoring="autodetect" dynamicConfig="true">
  5.  
  6. <cacheManagerPeerListenerFactory
  7. class="net.sf.ehcache.distribution.RMICacheManagerPeerListenerFactory"
  8. properties="hostName = 127.0.0.1,
  9. port = 50001,
  10. socketTimeoutMillis=10000" />
  11.  
  12. <cacheManagerPeerProviderFactory
  13. class="net.sf.ehcache.distribution.RMICacheManagerPeerProviderFactory"
  14. properties="peerDiscovery=manual,
  15. rmiUrls=//127.0.0.1:40001/clusterCache"/>
  16.  
  17. <cache name="clusterCache" maxEntriesLocalHeap="999999999" eternal="false"
  18. timeToIdleSeconds="1800" timeToLiveSeconds="1800" overflowToDisk="false">
  19. <cacheEventListenerFactory
  20. class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"/>
  21. </cache>
  22. </ehcache>

同步的核心代码:

  1. String key = StringUtils.leftPad(Thread.currentThread().getName() + a, 20, "a");
  2. Element element = new Element(key, value);
  3. CacheInstance.cache.put(element);

其中,value全部引用的是同一个静态变量 static final byte[] bytes = new byte[1024*100];

测试发现问题:假设现有单个byte[1024*100],同步16000个,那么同步的数据大小为1.5G左右,但是同步过程中,通过监控B服务器的网卡,发现网卡上实际并没有如此大的数据

后续经过分析得知:

  RMI协议,是有java序列化和HTTP协议构成,同步时会将同步的数据全部序列化,而放入Element的value,实际上都是对静态变量value的引用,而ehcache同步时默认是同步1000个Element,所以这1000个Element实际上经过网卡的数据只有一个byte[1024*100]大小。

Ehcache同步源码:

  1. private void writeReplicationQueue() {
  2. List<EventMessage> eventMessages = extractEventMessages(maximumBatchSize);
  3.  
  4. if (!eventMessages.isEmpty()) {
  5. for (CachePeer cachePeer : listRemoteCachePeers(eventMessages.get(0).getEhcache())) {
  6. try {
  7. cachePeer.send(eventMessages);
  8. } catch (UnmarshalException e) {
  9. String message = e.getMessage();
  10. if (message.contains("Read time out") || message.contains("Read timed out")) {
  11. LOG.warn("Unable to send message to remote peer due to socket read timeout. Consider increasing" +
  12. " the socketTimeoutMillis setting in the cacheManagerPeerListenerFactory. " +
  13. "Message was: " + message);
  14. } else {
  15. LOG.debug("Unable to send message to remote peer. Message was: " + message);
  16. }
  17. } catch (Throwable t) {
  18. LOG.warn("Unable to send message to remote peer. Message was: " + t.getMessage(), t);
  19. }
  20. }
  21. }
  22. }

  其中,maximumBatchSize是本次同步Element的数量,该值可以在如下配置中进行自定义:

  1. <cacheEventListenerFactory
  2. class="net.sf.ehcache.distribution.RMICacheReplicatorFactory"
  3. properties = "asynchronousReplicationMaximumBatchSize=1"/>

  其中,asynchronousReplicationMaximumBatchSize=1表示每次同步一个Element,那么此时经过网卡的流量就跟实际正常。

ehcache同步原理的更多相关文章

  1. rsync 文件校验及同步原理

    rsync 文件校验及同步原理 参考:http://rsync.samba.org/how-rsync-works.html 我们关注的是其发送与接收校验文件的算法,这里附上原文和我老婆(^_^)的翻 ...

  2. 10-openldap同步原理

    openldap同步原理 阅读视图 openldap同步原理 syncrepl.slurpd同步机制优缺点 OpenLDAP同步条件 OpenLDAP同步参数 1. openldap同步原理 Open ...

  3. AlwaysOn的数据同步原理

    摘抄自<SQL Server 2012实施与管理实战指南> 镜像的工作原理: 那么主体数据库和镜像数据库是如何同步数据的呢?SQL数据库中任何的数据变化都会先记录到事务日志中,然后才会真正 ...

  4. Mysql 主从同步原理简析

    在开始讲述原理的情况下,我们先来做个知识汇总,究竟什么是主从,为什么要搞主从,可以怎么实现主从,mysql主从同步的原理1.什么是主从其实主从这个概念非常简单主机就是我们平常主要用来读写的服务,我们称 ...

  5. 架构师必备:MySQL主从同步原理和应用

    日常工作中,MySQL数据库是必不可少的存储,其中读写分离基本是标配,而这背后需要MySQL开启主从同步,形成一主一从.或一主多从的架构,掌握主从同步的原理和知道如何实际应用,是一个架构师的必备技能. ...

  6. MongoDB副本集配置系列十一:MongoDB 数据同步原理和自动故障转移的原理

    1:数据同步的原理: 当Primary节点完成数据操作后,Secondary会做出一系列的动作保证数据的同步: 1:检查自己local库的oplog.rs集合找出最近的时间戳. 2:检查Primary ...

  7. Java的多线程机制系列:(三)synchronized的同步原理

    synchronized关键字是JDK5之实现锁(包括互斥性和可见性)的唯一途径(volatile关键字能保证可见性,但不能保证互斥性,详细参见后文关于vloatile的详述章节),其在字节码上编译为 ...

  8. java 线程同步 原理 sleep和wait区别

    java线程同步的原理java会为每个Object对象分配一个monitor, 当某个对象(实例)的同步方法(synchronized methods)被多个线程调用时,该对象的monitor将负责处 ...

  9. MySQL主从同步原理 部署【转】

    一.主从的作用:1.可以当做一种备份方式2.用来实现读写分离,缓解一个数据库的压力二.MySQL主从备份原理master 上提供binlog ,slave 通过 I/O线程从 master拿取 bin ...

随机推荐

  1. Android9.0 如何区分SDK接口和非 SDK接口

    刚刚有同学问我,不太了解 "非SDK接口" 是什么意思?android9.0有什么限制 ?apache的http也有限制 ? 而且现在的大部分系统都升级上来了,黑名单.灰名单和白名 ...

  2. 设计模式(二十)Flyweight模式

    当使用new关键字生成类的实例时,需要给其分配足够的内存空间.当程序中需要大量对象时,如果都是用new关键字来分配内存,将会消耗大量内存空间.Flyweight模式就是尽量避免new出实例,而是通过尽 ...

  3. egg-middleware 中间件

    Middleware 中间件 Egg 的中间件形式和 Koa 的中间件形式是一样的,都是基于洋葱圈模型.每次我们编写一个中间件,就相当于在洋葱外面包了一层. 编写中间件 写法 我们先来通过编写一个简单 ...

  4. python中“end=”用法

    python中“end=”用法:例如print(“#”,end=" \n"),默认换行,print(“#”,end=" ")则在循环中不换行

  5. CSPS模拟 94

    以后干脆不要在准备提交的代码里放调试信息. 再也不忘删printf可是memset还是看不见... T1 玄学错误,不想研究.skyh帮我研究出来了.HACKDATA:1 1 T2 傻逼做法. 发现一 ...

  6. Docker的centos7容器中如何安装mongodb

    下载安装包: wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.2.12.tgz 解压安装包 tar -zxvf mongodb ...

  7. formdata,ajax提交数据

    var data = document.getElementById("#dataForm"); var formData = new FormData(data); var ac ...

  8. windows备份mysql数据库

    1.编写执行文件mysql_backup.bat rem auther:ELSON ZENGrem date:20191104rem mysql backup! @echo off set mysql ...

  9. [转载]【转】教你如何实现linux和Windows之间的文件共享,samba的安

    原文地址:[转]教你如何实现linux和Windows之间的文件共享,samba的安装与配置作者:铅笔小蜡 本人在虚拟机下装fedora13,已经实现.1. 首先检查os是否安装好了samba. [r ...

  10. php判断是不是https的方法

    php判断是不是https的方法<pre> public function is_https() { if (!empty($_SERVER['HTTPS']) && st ...