JAVA NIO 中的 zerocopy 技术提高IO性能

关于一篇更详细更好的介绍 ZeroCopy技术的文章,可参考:JAVA IO 以及 NIO 理解这篇文章介绍了 zerocopy技术来提高Linux平台上的IO密集型的JAVA应用程序的性能. zerocopy技术能够避免中间缓冲区中的冗余数据复制以及减少Linux内核空间和用户空间上下文交换的次数. 适用场景:Many Web applications serve a significant amount of static content, which amounts to reading…

Java NIO中核心组成和IO区别

1.Java NIO核心组件 Java NIO中有很多类和组件,包括Channel,Buffer 和 Selector 构成了核心的API.其它组件如Pipe和FileLock是与三个核心组件共同使用的工具类. Channel 基本上,所有的 IO 在NIO 中都从一个Channel 开始.Channel 有点象流. 数据可以从Channel读到Buffer中,也可以从Buffer 写到Channel中. JAVA NIO中的一些主要Channel的实现: FileChannel(从文件中读写数…

NIO中的ZeroCopy

前文提到网络IO可以使用多路复用技术,而文件IO无法使用多路复用,但是文件IO可以通过减少底层数据拷贝的次数来提升性能,而这个减少底层数据拷贝次数的技术,就叫做ZeroCopy. 操作系统层面的ZeroCopy 这一节,从<Zero Copy I: User-Mode Perspective>而来,这篇文章的链接地址见参考资料. Copying in Two Sample System Calls 传统的操作系统层面的IO操作,简单来看,就是2个系统调用,read()和write(). 其大致…

java NIO中的buffer和channel

缓冲区(Buffer):一,在 Java NIO 中负责数据的存取.缓冲区就是数组.用于存储不同数据类型的数据根据数据类型不同(boolean 除外),提供了相应类型的缓冲区:ByteBufferCharBufferShortBufferIntBufferLongBufferFloatBufferDoubleBuffer 上述缓冲区的管理方式几乎一致,通过 allocate() 获取缓冲区二.缓冲区存取数据的两个核心方法:put() : 存入数据到缓冲区中get() : 获取缓冲区中的数据…

转载Java NIO中的Files类的使用

Java NIO中的Files类(java.nio.file.Files)提供了多种操作文件系统中文件的方法. Files.exists() Files.exits()方法用来检查给定的Path在文件系统中是否存在. 在文件系统中创建一个原本不存在的Payh是可行的.例如,你想新建一个目录,那么闲创建对应的Path实例,然后创建目录. 由于Path实例可能指向文件系统中的不存在的路径,所以需要用Files.exists()来确认. 下面是一个使用Files.exists()的示例: Path p…

Java NIO中的Buffer 详解

Java NIO中的Buffer用于和NIO通道进行交互.如你所知,数据是从通道读入缓冲区,从缓冲区写入到通道中的.缓冲区本质上是一块可以写入数据,然后可以从中读取数据的内存.这块内存被包装成NIO Buffer对象,并提供了一组方法,用来方便的访问该块内存. Buffer的基本用法使用Buffer读写数据一般遵循以下四个步骤: 写入数据到Buffer 调用flip()方法从Buffer中读取数据调用clear()方法或者compact()方法当向buffer写入数据时,…

Java NIO中的缓冲区Buffer（一）缓冲区基础

什么是缓冲区(Buffer) 定义简单地说就是一块存储区域,哈哈哈,可能太简单了,或者可以换种说法,从代码的角度来讲(可以查看JDK中Buffer.ByteBuffer.DoubleBuffer等的源码),Buffer类内部其实就是一个基本数据类型的数组,以及对这个缓冲数组的各种操作: 常见的缓冲区如ByteBuffer.IntBuffer.DoubleBuffer...内部对应的数组依次是byte.int.double... 与通道的关系在Java NIO中,缓冲区主要是跟通道(Chann…

JAVA NIO中的Channels和Buffers

前言 Channels和Buffers是JAVA NIO里面比较重要的两个概念,NIO正是基于Channels和Buffers进行数据操作,且数据总是从Channels读取到Buffers,或者从Buffers写入到Channels. 通道(Channel) NIO中的通道与IO中的流类似,不过流是单向的,而通道是双向的.例如InputStream.OutputStream等都是单向的,一个流只能进行读数据或写数据:而FileChannel.SocketChannel等是双向的,既可以从中读数据…

java NIO中的Reactor相关知识汇总（转）

一.引子 nio是java的IO框架里边十分重要的一部分内容,其最核心的就是提供了非阻塞IO的处理方式,最典型的应用场景就是处理网络连接.很多同学提起nio都能说起一二,但是细究其背后的原理.思想往往就开始背书,说来说去都是那么几句,其中不少人并不见的真的很理解.本人之前就属于此类,看了很多书和博客,但是大多数都只是讲了三件套和怎么使用,很少会很细致的讲背后的思想,那本次我们就来扒一扒吧. 很多博客描述nio都是这么说的:基于Reactor模式实现的多路非阻塞高性能的网络IO.那么我们就…

Java NIO中的通道Channel（一）通道基础

什么是通道Channel 这个说实话挺难定义的,有点抽象,不过我们可以根据它的用途来理解: 通道主要用于传输数据,从缓冲区的一侧传到另一侧的实体(如文件.套接字...),反之亦然: 通道是访问IO服务的导管,通过通道,我们可以以最小的开销来访问操作系统的I/O服务: 顺便说下,缓冲区是通道内部发送数据和接收数据的端点,如下图所示: 另外,关于通道Channel接口的定义,很简单,只有两个方法,判断通道是否打开和关闭通道: public interface Channel extends Clos…

JAVA NIO中selectedKeys返回的键集，对其中的SelectionKey执行操作之后，是否需要在selectedKeys()中对其执行remove 操作

今天一个东西需要用到java nio的东西.在网上查了一下资料,发现有Apache的Mina,Netty等,感觉JDK中带的NIO有点鸡肋啊.之前看过这部分的内容,但好长一段时间没有用,也就忘得七七八八了.如今是温故而知新,但其中遇到了些疑问: 先贴上代码吧: public static void main(String[] args) throws Exception{ Thread sh=new Thread(new Runnable() { public void run(){ try{…

Java NIO中的通道Channel（二）分散/聚集 Scatter/Gather

什么是Scatter/Gather scatter/gather指的在多个缓冲区上实现一个简单的I/O操作,比如从通道中读取数据到多个缓冲区,或从多个缓冲区中写入数据到通道: scatter(分散):指的是从通道中读取数据分散到多个缓冲区Buffer的过程,该过程会将每个缓存区填满,直至通道中无数据或缓冲区没有空间: gather(聚集):指的是将多个缓冲区Buffer聚集起来写入到通道的过程,该过程类似于将多个缓冲区的内容连接起来写入通道: scatter/gather接口如下是Scatte…

Java NIO中的缓冲区Buffer（二）创建/复制缓冲区

创建缓冲区的方式主要有以下两种方式创建缓冲区: 1.调用allocate方法 2.调用wrap方法我们将以charBuffer为例,阐述各个方法的含义: allocate方法创建缓冲区调用allocate方法实际上会返回new HeapCharBuffer(capacity, capacity)对象: 缓存空间存储在CharBuffer类的成员属性char[] hb数组里,即JVM堆里: 如下示例,创建了一个容量大小为10的CharBuffer: CharBuffer bf = CharB…

java 通过内存映射文件来提高IO读取文件性能

MappedByteBuffer out = new RandomAccessFile("src/demo20/test.dat", "rw"). getChannel().map(FileChannel.MapMode.READ_WRITE, 0, length); for (int i = 0; i < length; i++) { out.put((byte)'x'); } System.out.println("end"); for…

Java 8中用法优雅的Stream，性能也"优雅"吗？

之前的文章中我们介绍了Java 8中Stream相关的API,我们提到Stream API可以极大提高Java程序员的生产力,让程序员写出高效率.干净.简洁的代码. 那么,Stream API的性能到底如何呢,代码整洁的背后是否意味着性能的损耗呢?本文我们对Stream API的性能一探究竟. 为保证测试结果真实可信,我们将JVM运行在-server模式下,测试数据在GB量级,测试机器采用常见的商用服务器,配置如下: 一.测试方法与数据性能测试并不是容易的事,Java性能测试更费劲,因为虚拟机…

SQL Server-聚焦存储过程性能优化、数据压缩和页压缩提高IO性能（一）

前言关于SQL Server基础系列尚未结束,还剩下最后一点内容未写,后面会继续.有园友询问我什么时候开始写SQL Server性能系列,估计还得等一段时间,最近工作也比较忙,但是会陆陆续续的更新SQL Server性能系列,本篇作为性能系列的基本引导,让大家尝尝鲜.在涉及到SQL Server性能优化时,我看到的有些文章就是一上来列出SQL Server的性能优化条例,根本没有弄清楚为什么这么做,当然也有可能是自己弄懂了,只是作为备忘录,但是到了我这里,我会遵循不仅仅是备忘录,还要让各位园友…

Linux中的zero-copy技术

本文是对参考文章重要部分的摘录,同时进行简单地总结. 零拷贝技术的相关背景知识传统的 Linux 操作系统的标准 I/O 接口是基于数据拷贝操作的,即 I/O 操作会导致数据在操作系统内核地址空间的缓冲区和应用程序地址空间定义的缓冲区之间进行传输,这样做最大的好处是可以减少实际的物理磁盘 I/O 操作.但是数据传输过程中的数据拷贝操作却导致了极大的 CPU 开销,限制了操作系统有效进行数据传输操作的能力. 简单一点来说,零拷贝就是一种避免 CPU 将数据从一块存储拷贝到另外一块存储的技术. 零…

Java NIO中的读和写

一.概述读和写是I/O的基本过程.从一个通道中读取只需创建一个缓冲区,然后让通道将数据读到这个缓冲区.写入的过程是创建一个缓冲区,用数据填充它,然后让通道用这些数据来执行写入操作. 二.从文件中读取 1.原始I/O读文件如果使用原来的I/O,那么只需要创建一个FileInputStream并从它那里读取,示例代码如下: public class BioTest { public static void main(String[] args) throws IOException { File…

Java NIO中的Channel接口

1. Channel 通道,可以将指定文件的部分或全部直接映射成Buffer. 不能直接读写Channel中的数据,Channel只能与ByteBuffer交互. 读数据时,把Channel中的数据映射到ByteBuffer中取出数据使用. 写数据时,把数据放到Buffer中,再把ByteBuffer中的数据写到Channel中. Channel是一个接口,常用的实现类有: FileChannel 用于文件读写 DatagramChannel 用于UDP通信的Channel Ser…

java nio中，HeapByteBuffer与DirectByteBuffer的区别

HeapByteBuffer,顾名思义,是写在jvm堆上面的一个buffer,底层的本质是一个数组,用类封装维护了很多的索引(limit/position/capacity等) DirectByteBuffer,底层的数据其实是维护在操作系统的内存中,而不是jvm里,DirectByteBuffer里维护了一个引用address指向了数据,从而操作数据 HeapByteBuffer优点:由于内容维护在jvm里,所以把内容写进buffer里速度会快些:并且,可以更容易回收 DirectByteBu…

Java NIO中的Buffer

简介 Buffer缓冲区,首先要弄明白的是,缓冲区是怎样一个概念.它其实是缓存的一种,我们常说的缓存,包括保存在硬盘上的浏览器缓存,保存在内存中的缓存(比如Redis.memcached).Buffer是把数据保存在内存中,它本质上用来保存数据的数据结构是数组,例如ByteBuffer是byte数组,IntBuffer是int数组等,对Buffer读写操作,其实是对该数组进行数据存放.读取.清除操作. Buffer可以理解成是一个容器,可以往容器里写入数据,也可以从容器中读取数据,可以一个字节一…

Java NIO中的FileLock（文件锁）

FileLock,文件锁. 文件锁在OS中很常见,如果多个程序同时访问.修改同一个文件,很容易因为文件数据不同步而出现问题.给文件加一个锁,同一时间,只能有一个程序修改此文件,或者程序都只能读此文件,这就解决了同步问题,保证了线程安全. 文件锁是进程级别的,不是线程级别的.文件锁可以解决多个进程并发访问.修改同一个文件的问题,但不能解决多线程并发访问.修改同一文件的问题. 就是说使用文件锁时,同一进程内(同一个程序中)的多个线程,可以同时访问.修改此文件. 文件锁是当前程序所属的JVM实例持有的…

Java NIO中的Buffer类

Buffer 缓冲,用于批量读写数据 Buffer是一个抽象类,基本数据类型都有实现类:XxxBuffer,比如ByteBuffer.CharBuffer.IntBuffer.DoubleBuffer等,最常用的是ByteBuffer.CharBuffer. Buffer更像一个容器,用于盛装数据,可以从数据源读取数据,放在Buffer里,也可以从Buffer中取出数据来用. Buffer中的4个概念: capacity 容量,此Buffer的大小 limit 界限,l…

CentOS中使用FIO测试磁盘IO性能

$ yum install fio 0x02 命令随机读: $ fio -filename=/dev/sda1 -direct=1 -iodepth 1 -thread -rw=randread -ioengine=psync -bs=4k -size=60G -numjobs=64 -runtime=10 -group_reporting -name=file 顺序读: $ fio -filename=/dev/sda1 -direct=1 -iodepth 1 -thread -rw=re…

提高IO性能

noatime - 不更新文件系统上 inode 访问记录,可以提升性能 [root@ok etc]# cat /etc/fstab |grep noatime /dev/mapper/vg_ok-lv_root / ext4 defaults,noatime /dev/mapper/vg_ok-lv_swap swap swap defaults,noatime atime 是最近访问文件的时间,每当访问文件时,底层文件系统必须记录这个时间戳.因为系统管理员很少使用 atime,禁用它可以减少…

Netty精粹之JAVA NIO开发需要知道的

学习Netty框架以及相关源码也有一小段时间了,恰逢今天除夕,写篇文章总结一下.Netty是个高效的JAVA NIO框架,总体框架基于异步非阻塞的设计,基于网络IO事件驱动,主要贡献在于可以让用户基于Netty提供的API快速开发高性能.高可靠性的网络应用.这篇文章主要是介绍Netty框架的基础技术——JAVA NIO.这时候可能会有同学会有点小疑问,是异步IO(AIO)么?然而并不是,虽然JDK7也提供了异步IO(AIO)的接口,但是Netty曾经尝试过某个小版本,但是效果和NIO相比并没有什…

Java NIO学习系列六：Java中的IO模型

前文中我们总结了linux系统中的5中IO模型,并且着重介绍了其中的4种IO模型: 阻塞I/O(blocking IO) 非阻塞I/O(nonblocking IO) I/O多路复用(IO multiplexing) 异步I/O(asynchronous IO) 但是前面总结的IO模型只是限定在linux下,更偏向于操作系统底层的概念,并没有涉及到Java应用层面,其实Java中也提供了和前面操作系统层面的IO模型相对应的概念,这是本文接下来要讲的重点. 同样本文会围绕如下几点进行展开: I/O…