目录 1. 概述 2. 缓冲区的设计 2.1 缓冲区头部 2.2 缓冲区的结构 2.3 缓冲区的检索算法 2.3. 申请一个缓冲区算法 getblk 2.3.2 释放一个缓冲区算法 brelse 2.3.3 读一个磁盘块 bread 2.3.4 读一个磁盘并预读另一个磁盘块 breada 2.3.5 写餐盘块 bwrite 3. 总结 Reference 1. 概述 操作系统对文件系统的一切存取操作,内核都能通过每次直接从磁盘上读或往磁盘上写来实现.磁盘和 RAM 的速度之间差别很大.由于两者速…

很多时候为了应对数据IO的"慢"或者其他原因都需要使用数据缓冲区.对于数据缓冲,我们不陌生,但是对于如何实现这个缓冲区,相信很多时候大家都没有考虑过.今天就通过分析libevent的buffer.c源码,看看libevent是如何实现这个缓冲区的. 数据缓冲区buffer是libevent中网络IO操作中最先接触数据的容器. 1. 缓冲区evbuffer结构 1 struct evbuffer { 2 //存放数据起始位置 3 u_char *buffer; 4 5 //buffer起…

引自:http://blog.csdn.net/mzyang272/article/details/7655464 在许多OpenGL操作中,我们都向OpenGL发送一大块数据,例如向它传递需要处理的顶点数组数据.传输这种数据可能非常简单,例如把数据从系统的内存中复制到图形卡.但是,由于OpenGL是按照客户机-服务器模式设计的,在OpenGL需要数据的任何时候,都必须把数据从客户机内存传输到服务器.如果数据并没有修改,或者客户机和服务器位于不同的计算机(分布式渲染),数据的传输可能会比较缓慢,…

对mysql的优化不在行,搞过几次优化,但是都不是很理想,还是浪费资源太多.一直发现我的mysql的缓存命中率极差,情况良好的时候到达过60-70%,但是运行时间一长,只有10-20%.查了一些资料,关于缓存的一些参数记录 mysql> SHOW VARIABLES LIKE '%query_cache%';+----------+----+| Variable_name                | Value    |+----------+----+| have_query_cache…

在unix中可用的文件I/O函数包含打开文件,读文件,写文件等. Unix系统中的大多数文件I/O须要用到5个函数:open,read,write,lseek,close. 这里要说明的是read,write的文件I/O都是不带缓冲的,所谓的不带缓冲意思是它们都是走的内核中的一个系统调用. 对于内核而言,全部打开的文件都是通过文件描写叙述符进行引用,文件描写叙述符是一个非负整数.当打开一个现有文件或创建一个新文件时,内核向进程返回一个文件描写叙述符.当读或写一个文件时.使用open,create…

高速缓冲 概念 高速缓冲区是内存中的一块内存,在块设备与内核其它程序之间起着一个桥梁作用.内核程序如果需要访问块设备中的数据,都需要经过高速缓冲区来间接的操作. 高速缓冲区结构 高速缓冲区被划分为1k大小的缓冲块,与磁盘块大小一致.高速缓冲区主要包含两部分内容,缓冲块头结构(buffer_head,bh)及其对应的缓冲块.缓冲块用于缓存磁盘数据,并且具有一个缓冲块头结构:缓冲块头结构保存对应缓冲块的元数据.高速缓冲采用hash表和包含所有缓冲块的链表进行操作管理. 缓冲块头结构用于建立内存缓冲块…

本文所指的I/O均是网络I/O. 一. POSIX对同步.异步I/O的定义 我们先大致看看POSIX对同步.异步的定义,不用细究,重点看我标红的部分就行. 同步I/O会导致请求进程阻塞,直到I/O操作完成: 异步I/O不会导致请求进程阻塞. 二. 同步.异步,阻塞.非阻塞 个人理解同步与否与阻塞与否只是看待问题的不同维度,不用过于追究同步和阻塞有什么区别.以及异步和非阻塞有什么区别. 我用小明购买火车票的例子大致先讲述下同步.异步,阻塞.非阻塞这几种情况的组合. 同步阻塞,小明去火车站买票.首先…

什么是缓冲区(Buffer) 定义 简单地说就是一块存储区域,哈哈哈,可能太简单了,或者可以换种说法,从代码的角度来讲(可以查看JDK中Buffer.ByteBuffer.DoubleBuffer等的源码),Buffer类内部其实就是一个基本数据类型的数组,以及对这个缓冲数组的各种操作: 常见的缓冲区如ByteBuffer.IntBuffer.DoubleBuffer...内部对应的数组依次是byte.int.double... 与通道的关系 在Java NIO中,缓冲区主要是跟通道(Chann…

目录 摘要 算法关键 红黑树 稳定排序 代码框架 .h文件: .cpp文件 频率统计器的实现 接口设计与实现 接口设计 核心功能词频统计器流程 效果 单元测试 性能分析 性能分析图 问题发现 解决方案 异常处理 PSP表格记录 感想 基于sketch在大数据下的词频统计设计 引言 背景 解决方案 总结 参考文献: Github项目地址 摘要 本词频统计器包括行数统计.字符数统计.单词数统计.词频统计功能.基于红8黑树算法和稳定排序实现,其中红黑树算法为本词频统计器提供良好的效率.提供性能下限保证…

使用 ACE 库框架在 UNIX 中开发高性能并发应用来源:developerWorks 中国 作者:Arpan Sen ACE 开放源码工具包可以帮助开发人员创建健壮的可移植多线程应用程序.本文讨论创建使用 ACE 线程的应用程序的一些方法.Adaptive Communication Environment (ACE) 是一个高性能.开放源码.面向对象的框架和 C++ 类库,它有助于简化网络应用程序的开发.ACE 工具包包括一个操作系统层和一个封装网络 API 的 C++ 外观(facade…