最近在测试种发现程序里调用fsync刷文件到磁盘时,开销只有几百微秒,于是对fsync相关机制进行了一番调查. 磁盘(或RAID卡)自身通常会有硬件缓存机制,对于写操作,有write back和write through两种机制,前者将数据写至缓存就会返回,而后者则会将数据写到磁盘介质上.当使用write back机制时,fsync刷的文件数据可能只是写到磁盘缓存就返回了,导致从应用看来,写数据到磁盘的开销很小(实际上并未执行磁盘写操作):所以,使用write back机制时,即使上层应用显式f…

传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存,大多数磁盘I/O都通过缓冲进行.当将数据写入文件时,内核通常先将该数据复制到其中一个缓冲区中,如果该缓冲区尚未写满,则并不将其排入输出队列,而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时,再将该缓冲排入输出队列,然后待其到达队首时,才进行实际的I/O操作.这种输出方式被称为延迟写(delayed write)(Bach [1986]第3章详细讨论了缓冲区高速缓存).        延迟写减少了磁盘读写次数,但是却降低了…

目录 一.简介 二.安装 1.默认安装位置 2.指定安装位置 3.安装的可执行文件的作用 三.启动与关闭 四.配置文件 五.Redis的数据类型 1. 共计5种类型 2. String(子串类型) 3. hashs类型 4. list类型(双向链表结构) 5. sets类型和操作 一.简介 redis是一个key-value存储系统. 和Memcached类似,它支持存储的value类型相对更多, 包括string(字符串).list(链表).set(集合)和zset(有序集合). 这些数据类型…

1.安装 wget http://download.redis.io/releases/redis-3.2.3.tar.gz编译安装: tar xf redis-3.2.3.tar.gz cd redis-3.2.3 make && make install 配置: mkdir /etc/redis 建立配置文件存放目录 .conf 复制配置文件 cp -a utils/redis_init_script /etc/init.d/redis 复制启动脚本 mkdir -p /home/re…

系统优化echo "vm.overcommit_memory=1" > /etc/sysctl.conf 0, 表示内核将检查是否有足够的可用内存供应用进程使用:如果有足够的可用内存,内存申请允许:否则,内存申请失败,并把错误返回给应用进程. 1, 表示内核允许分配所有的物理内存,而不管当前的内存状态如何. 2, 表示内核允许分配超过所有物理内存和交换空间总和的内存echo never > /sys/kernel/mm/transparent_hugepage/enable…

基本设置 1. 备释当配置中需要配置内存大小时,可以使用 1k, 5GB, 4M 等类似的格式,其转换方式如下(不区分大小写):1k =< 1000 bytes1kb =< 1024 bytes1m =< 1000000 bytes1mb =< 1024*1024 bytes1g =< 1000000000 bytes1gb =< 1024*1024*1024 bytes 2. daemonize no默认情况下,redis不是在后台运行的,如果需要在后台运行,把该项的…

# 脏页刷盘的风险 两次写的原理机制 1.解决问题 2.使用场景 3.doublewrite的工作流程 4.崩溃恢复 # doublewrite的副作用 1.监控doublewrite负载 2.关闭doublewrite场景 一.脏页刷盘风险 关于IO的最小单位: 1.数据库IO的最小单位是16K(MySQL默认,oracle是8K) 2.文件系统IO的最小单位是4K(也有1K的) 3.磁盘IO的最小单位是512K 因此,存在IO写入导致page损坏的风险: 二.doublewrite:两次写…

innodb 的四个特性 insert buffer innodb使用insert buffer"欺骗"数据库:对于为非唯一索引,辅助索引的修改操作并非实时更新索引的叶子页,而是把若干对同一页面的更新缓存起来做合并为一次性更新操作,转化随机IO 为顺序IO,这样可以避免随机IO带来性能损耗,提高数据库的写性能. 1.1 原理:    a 先判断要更新的这一页在不在内存中.    b 如果不在,则读取index page 存入Insert Buffer,按照Master Thread的调…

InnoDB表存储优化 适时的使用 OPTIMIZE TABLE 语句来重组表,压缩浪费的表空间.这是在其它优化技术不可用的情况下最直接的方法. OPTIMIZE TABLE 语句通过拷贝表数据并重建表索引,使得索引数据更加紧凑,减少空间碎片.语句的执行效果会因表的不同而不同.过大的表或者过大的索引及初次添加大量数据的情况下都会使得这一操作变慢. InnoDB表,如果主键过长(长数据列做主键,或者多个列组合做主键)会浪费很多空间.同时,二级索引也包含主键.这种情况,可以考虑创建自增列作为主键,或…

2.8配置 # Redis configuration file example # Note on units: when memory size is needed, it is possible to specify # it in the usual form of 1k 5GB 4M and so forth: # # 1k => 1000 bytes # 1kb => 1024 bytes # 1m => 1000000 bytes # 1mb => 1024*1024…