Direct Buffer 前言 上篇文章Buffer末尾中谈到堆内Buffer(Heap Buffer)和直接Buffer(Direct Buffer)的概念,但是却一笔带过,并未涉及其细节,这篇文章继续聊聊Buffer--Direct Buffer. Direct Buffer是什么 Direct Buffer和Heap Buffer的区别 用来干什么 Direct Buffer和JVM 另外需要说明的是,为了叙述的方便,和上篇Buffe文章类似,本文中以DirectByteBuffer为例…

在Java的NIO中,我们一般采用ByteBuffer缓冲区来传输数据,一般情况下我们创建Buffer对象是通过ByteBuffer的两个静态方法: ByteBuffer.allocate(int capacity); ByteBuffer.wrap(byte[] array); 查看相关的源码得到 public static ByteBuffer allocate(int capacity) { if (capacity < 0) throw new IllegalArgumentExcept…

Java网络编程与NIO详解8:浅析mmap和Direct Buffer 本系列文章首发于我的个人博客:https://h2pl.github.io/ 欢迎阅览我的CSDN专栏:Java网络编程和NIO https://blog.csdn.net/column/details/21963.html 部分代码会放在我的的Github:https://github.com/h2pl/ Java网络编程与NIO详解8:浅析mmap和Direct Buffer 之前看到一篇文章说epoll中在维护epo…

Tomcat开启了APR模式,而APR模式会使用堆外内存,关于堆内存可从如下链接了解一下:http://blog.csdn.net/zhouhl_cn/article/details/6573213. 完整异常信息如下: Exception in thread "http-apr-8080-Acceptor-0" java.lang.OutOfMemoryError: Direct buffer memory at java.nio.Bits.reserveMemory(Bits.ja…

错误如下 [root@192.168.1.235 conf]# curl "http://192.168.1.235:8983/solr/admin/collections ?action=CREATE&name=tagCollectionHDFS&numShards=3&replicationFactor=3&maxShardsPerNode=3&collection.configName=tagCollectionHDFS" <?xml…

1. 劣势:创建和释放Direct Buffer的代价比Heap Buffer得要高. 2. 差别:Direct Buffer不是分配在堆上的,它不被GC直接管理(但Direct Buffer的JAVA对象是归GC管理的,只要GC回收了它的JAVA对象.操作系统才会释放Direct Buffer所申请的空间).它似乎给人感觉是"内核缓冲区(buffer in kernel)".Heap Buffer则是分配在堆上的,或者我们能够简单理解为Heap Buffer就是byte[]数组的一种…

微信公众号[黄小斜]作者是蚂蚁金服 JAVA 工程师,目前在蚂蚁财富负责后端开发工作,专注于 JAVA 后端技术栈,同时也懂点投资理财,坚持学习和写作,用大厂程序员的视角解读技术与互联网,我的世界里不只有 coding!关注公众号后回复"架构师"即可领取 Java基础.进阶.项目和架构师等免费学习资料,更有数据库.分布式.微服务等热门技术学习视频,内容丰富,兼顾原理和实践,另外也将赠送作者原创的Java学习指南.Java程序员面试指南等干货资源 之前看到一篇文章说epoll中在维护ep…

直接上代码: public class Test001 { public static void main(String[] args) { //java.lang.StackOverflowError 栈溢出错误, 这个是error 不是异常,因为StackOverflowError 是Error的子类 // 栈溢出, 递归方法,调方法 m1(); } public static void m1(){ m1(); } @Test public void test02(){ // java.la…

简介 什么是 Google Protocol Buffer? 假如您在网上搜索,应该会得到类似这样的文字介绍: Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准,目前已经正在使用的有超过 48,162 种报文格式定义和超过 12,183 个 .proto 文件.他们用于 RPC 系统和持续数据存储系统. Protocol Buffers 是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,或者说序列化.它很适合做数据…

public static ByteBuffer allocate (int capacity)       //性能低于下面的Direct,因为是把内存建立在JVM堆上,容易被GC回收,可能需要多次重建public static ByteBuffer allocateDirect (int capacity)  //脱离了JVM和GC,可以长时间驻留,使用的是NATIVE方法分配内存…

一.理论概述0.参考资料入门资料:https://developers.google.com/protocol-buffers/docs/javatutorial更详细的资料:For more detailed reference information, see the Protocol Buffer Language Guide, the Java API Reference, the Java Generated Code Guide, and the Encoding Reference…

NIO 介绍 NIO,可以说是New IO,也可以说是non-blocking IO,具体怎么解释都可以. NIO 1是在JSR51里面定义的,在JDK1.4中引入,因为BolckingIO不支持高并发网络编程,这也是Java1.4以前被人诟病的原因.NIO 2是在JSR203中定义的,在JDK1.7中引入,这是JavaNIO整个的发展历程.NIO 1和NIO 2并不是一个新旧替代的关系,而是一个补充的关系,NIO 2补充了1中缺少的一些东西.我们可以看一下两个的内容: NIO 1(本系列文章只…

Ehcache是现在最流行的纯Java开源缓存框架,配置简单.结构清晰.功能强大,最初知道它,是从hibernate的缓存开始的.网上中文的EhCache材料以简单介绍和配置方法居多,如果你有这方面的问题,请自行google:对于API,官网上介绍已经非常清楚,请参见官网:但是很少见到特性说明和对实现原理的分析,因此在这篇文章里面,我会详细介绍和分析EhCache的特性,加上一些自己的理解和思考,希望对缓存感兴趣的朋友有所收获. 一.特性一览,来自官网,简单翻译一下: 1.快速轻量 过去几年,诸…

Java 自从 JDK1.4 起,对各种 I/O 操作使用了 Buffer 和 Channel 技术.这种更接近于操作系统的的底层操作使得 I/O 操作速度得到大幅度提升,下面引用一段<Java 编程思想>对于 Buffer(缓冲器)和 Channel 的形象化解释. 我们可以将它想象成一个煤矿,Channel(通道)是一个包含煤层(数据)的矿藏,而 Buffer(缓冲器)则是派送到矿藏的卡车.卡车满载煤炭而归,我们再从卡车上获得煤炭.也就是说,我们并没有直接和 Channel 交互:我们只是…

目录 简介 Buffer是什么 Buffer进阶 创建Buffer Direct VS non-Direct Buffer的日常操作 向Buffer写数据 从Buffer读数据 rewind Buffer Compact Buffer duplicate Buffer 总结 简介 小师妹在学习NIO的路上越走越远,唯一能够帮到她的就是在她需要的时候给她以全力的支持.什么都不说了,今天介绍的是NIO的基础Buffer.老铁给我上个Buff. Buffer是什么 小师妹:F师兄,这个Buffer是我…

前言 Javascript是为浏览器而设计的,能很好的处理unicode编码的字符串,但对于二进制或非unicode编码的数据就显得无能为力. Node.js继承Javascript的语言特性,同时又扩展了Javascript语言,为二进制的数据处理提供了Buffer类,让Node.js 可以像其他程序语言一样,能处理各种类型的数据了. 网上有很多讲Buffer的文章,大都讲的是原理,怎么使用几乎找不到,文章将重点介绍Buffer的使用. 目录 Buffer介绍 Buffer的基本使用 Buff…

1.1 NIO Buffers - Class java.nio.Buffer NIO data transfer is through the so-called buffers implemented in java.nio.Buffer class. A Buffer is similar to an array, except that it's implemented much more efficiently by closely coupled with the underlyin…

QC邮件转发工具Mail Direct安装配置手册 2010-06-11 10:00:56| 分类: 软件测试 | 标签: |举报 |字号大中小 订阅 QC邮件转发工具安装配置手册 由于公司没有独立的邮件服务器,导致QC无法通过内部邮件服务器来收发邮件,于是想到用Mail Direct来配置成我们的QC邮件服务器.当然你也可以用别的邮件转发工具. 一.Mail Direct Pro介绍 Mail Direct 可以将您的邮件直接发送到收件人的信箱中,而无需SMTP服务器.Mail Direct为…

Buffer Buffer的类图如下: 除了Boolean,其他基本数据类型都有对应的Buffer,但是只有ByteBuffer才能和Channel交互.只有ByteBuffer才能产生Direct的buffer,其他数据类型的Buffer只能产生Heap类型的Buffer.ByteBuffer可以产生其他数据类型的视图Buffer,如果ByteBuffer本身是Direct的,则产生的各视图Buffer也是Direct的. Direct和Heap类型Buffer的本质 首选说说JVM是怎么进行…

Java NIO 之 Buffer Java NIO (Non Blocking IO 或者 New IO)是一种非阻塞IO的实现.NIO通过Channel.Buffer.Selector几个组件的协同实现提升IO效率的目的.而ByteBuffer是其中最基础的一种Buffer实现. 阻塞 or 非阻塞 阻塞/非阻塞,同步/异步是两组非常容易产生混淆的概念. 同步/异步:是从消息通信机制的划分,如果调用者在没有得到结果前"调用"不返回,则是同步的.而如果调用发出后,调用直接返回,结果由…

1. 缓冲区(Buffer): 介绍 我们知道在BIO(Block IO)中其是使用的流的形式进行读取,可以将数据直接写入或者将数据直接读取到Stream对象中,但是在NIO中所有的数据都是使用的换冲区进行处理的,任何时候访问NIO的数据都是通过缓冲区进行操作的. 实质: 从下面的源码我们可以看到其实这个里面的ByteBuffer其实里面是一个数组,然后提供了一个offset的变量用于对数据进行结构化的访问以及维护读写为位置等信息. public abstract class ByteBuffe…

Netty buffer缓冲区ByteBuf byte 作为网络传输的基本单位,因此数据在网络中进行传输时需要将数据转换成byte进行传输.netty提供了专门的缓冲区byte生成api ByteBuf. Buffer API主要包括: ByteBuf ByteBufHolder Netty 缓冲 API 提供了几个优势: 可以自定义缓冲类型 通过一个内置的复合缓冲类型实现零拷贝 扩展性好,比如 StringBuilder 不需要调用 flip() 来切换读/写模式 读取和写入索引分开 方法链…

Transport 传输API的核心是Channel接口,用于所有的出站操作. 每个Channel都会分配一个ChannelPipeline和ChannelConfig.ChannelConfig负责设置并存储设置,并允许在运行期间更新它们.ChannelPipeline容纳了使用的ChannelHandler实例,这些ChannelHandler将处理通道传递的“入站”和“出站”数据.ChannelHandler允许你改变数据状态和传输数据. ChannelHandler处理以下事情 传输数据…

文章目录 1. 概述 2. 基本属性 3. 创建 Buffer 3.1 关于 Direct Buffer 和 Non-Direct Buffer 的区别 4. 向 Buffer 写入数据 5. 从 Buffer 读取数据 6. rewind() v.s. flip() v.s. clear() 6.1 flip 6.2 rewind 6.3 clear 7. mark() 搭配 reset() 7.1 mark 7.2 reset 8. 其它方法 666. 彩蛋 1. 概述 一个 Buffer…

springboot集成RabbitMQ非常简单,如果只是简单的使用配置非常少,springboot提供了spring-boot-starter-amqp项目对消息各种支持. Direct Exchange介绍 Direct Exchange是RabbitMQ默认的交换机模式,也是最简单的模式,根据key全文匹配去寻找队列. 第一个 X - Q1 就有一个 binding key,名字为 orange: X - Q2 就有 2 个 binding key,名字为 black 和 green.当消…

一.innodb change buffer 介绍: 1.innodb change buffer 是针对oltp场景下磁盘IO的一种优化(我也感觉这个不太像人话,但是它又非常的准确的说明 innodb change buffer 的功能) 二.innodb change buffer 原理: 对于insert ,update ,delete 操作一来要更新数据,二来要更新索引:如果要更新的索引页还没有在内存中,那么innodb 不会急于把索引页调入内存,更新,再写回磁盘:它会先把对索引的更新这…

最近经常有人问我在Java中使用堆外(off heap)内存的好处与用途何在.我想其他面临几样选择的人应该也会对这个答案感兴趣吧. 堆外内存其实并无特别之处.线程栈,应用程序代码,NIO缓存用的都是堆外内存.事实上在C或者C++中,你只能使用未托管内存,因为它们默认是没有托管堆(managed heap)的.在Java中使用托管内存或者“堆”内存是这门语言的一个特性.注意:Java并非唯一这么做的语言. new Object() vs 对象池 vs 堆外内存 1.new Object() 在Ja…

一. 缓冲池(Buffer Pool) 1.1 缓冲池介绍 每次读写数据都是通过 Buffer Pool : 当Buffer Pool 中没有用户所需要的数据时,才去硬盘中获取: 通过 innodb_buffer_pool_size进行设置总容量,该值设置的越大越好: innodb_buffer_pool_instances 设置为多个缓冲池: 总容量还是innodb_buffer_pool_size 设置多个instance 可将热点打散,提高并发性能(建议设置成CPU个数值) Buffer…

ByteBuffer有两种一种是heap ByteBuffer,该类对象分配在JVM的堆内存里面,直接由Java虚拟机负责垃圾回收,一种是direct ByteBuffer是通过jni在虚拟机外内存中分配的.通过jmap无法查看该快内存的使用情况.只能通过top来看它的内存使用情况. JVM堆内存大小可以通过-Xmx来设置,同样的direct ByteBuffer可以通过-XX:MaxDirectMemorySize来设置,此参数的含义是当Direct ByteBuffer分配的堆外内存到达指定…

博客园对MarkDown显示的层次感不是很好,大家可以看这里:Buffeer. 本机环境: Linux 4.4.0-21-generic #37-Ubuntu SMP Mon Apr 18 18:33:37 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux Buffer Buffer的类图如下: 除了Boolean,其他基本数据类型都有对应的Buffer,但是只有ByteBuffer才能和Channel交互.只有ByteBuffer才能产生Direct的buffer…