为什么要使用连接池 一个数据库服务器只拥有有限的连接资源,一旦所有的连接资源都在使用,那么其它需要连接的资源就只能等待释放连接资源.所以,在连接资源有限的情况下,提高单位时间的连接的使用效率,缩短连接时间,就能显著缩短请求时间. 所以就有了连接池的概念,在初始化时,创建一定数量的连接,先把所有连接存起来,然后,谁需要使用,从这里取走,干完活立马放回来. 如果请求数超出连接池容量,那么就排队等待或者直接丢弃掉.这样就可以省掉每次都创建和关闭连接的资源消耗和时间. 如果不使用连接池,那么,每次传输数

一次使用 Redis 优化查询性能的实践   应用背景 有一个应用需要上传一组ID到服务器来查询这些ID所对应的数据,数据库中存储的数据量是7千万,每次上传的ID数量一般都是几百至上千数量级别. 以前的解决方案 数据存储在Oracle中,为ID建立了索引: 查询时,先将这些上传的ID数据存储到临时表中,然后用表关联的方法来查询. 这样做的优点是减少了查询次数(不用每个ID都查询一次),减少了解析SQL的时间(只需要执行1次查询SQL,但是多了插入数据的SQL处理时间). 但是这样的设计仍然存在巨

因为我的个人网站 restran.net 已经启用,博客园的内容已经不再更新.请访问我的个人网站获取这篇文章的最新内容,一次使用 Redis 优化查询性能的实践 应用背景 有一个应用需要上传一组ID到服务器来查询这些ID所对应的数据,数据库中存储的数据量是7千万,每次上传的ID数量一般都是几百至上千数量级别. 以前的解决方案 数据存储在Oracle中,为ID建立了索引: 查询时,先将这些上传的ID数据存储到临时表中,然后用表关联的方法来查询. 这样做的优点是减少了查询次数(不用每个ID都查询一次

Linux Redis Server之CPU充分利用 不知道大家有没有注意到你们公司的集群配置是否是有一种配置是这样的: 多个Redis Server分布在同一个节点,只是端口不同,如果有的话,应该是有很大几率是做过优化.只是猜测,请自行验证.:] Redis处理指令的时候是单线程的,可以为Redis的进程与指定CPU核绑定,这样就避免了CPU时间片切换带来的损耗. 每个服务器至少有一个CPU,每个CPU最少有多个核.所以为了更充分的利用CPU,启动对应总核数的Redis实例并都绑定一个核上即可

系统优化echo "vm.overcommit_memory=1" > /etc/sysctl.conf 0, 表示内核将检查是否有足够的可用内存供应用进程使用:如果有足够的可用内存,内存申请允许:否则,内存申请失败,并把错误返回给应用进程. 1, 表示内核允许分配所有的物理内存,而不管当前的内存状态如何. 2, 表示内核允许分配超过所有物理内存和交换空间总和的内存echo never > /sys/kernel/mm/transparent_hugepage/enable

一. redis使用上的优化 精简键名和键值 键名:尽量精简,但是也不能单纯为了节约空间而使用不易理解的键名. 键值:对于键值的数量固定的话可以使用0和1这样的数字来表示,(例如:male/female.right/wrong) 当业务场景不需要数据持久化时,关闭所有的持久化方式可以获得最佳的性能 内部编码优化 redis为每种数据类型都提供了两种内部编码方式,在不同的情况下redis会自动调整合适的编码方式.(如图所示) SLOWLOG [get/reset/len]命令 : 该命令会打印出查

内存管理优化 Redis Hash是value内部为一个HashMap,如果该Map的成员数比较少,则会采用类似一维线性的紧凑格式来存储该Map, 即省去了大量指针的内存开销,这个参数控制对应在redis.conf配置文件中下面2项: hash-max-zipmap-entries 64 hash-max-zipmap-value 512 当value这个Map内部不超过多少个成员时会采用线性紧凑格式存储,默认是64,即value内部有64个以下的成员就是使用线性紧凑存储,超过该值自动转成真正的

1. redis.conf 配置參数: #是否作为守护进程执行 daemonize yes #如以后台进程执行,则需指定一个pid,默觉得/var/run/redis.pid pidfile redis.pid #绑定主机IP,默认值为127.0.0.1 #bind 127.0.0.1 #Redis默认监听port port 6379 #client闲置多少秒后,断开连接,默觉得300(秒) timeout 300 #日志记录等级,有4个可选值,debug,verbose(默认值),notice

一.配置文件优化 bind 127.0.0.1 //允许连接的ip,如果就本机连接最后127.0.0.1 protected-mode yes //是否开启保护模式.默认开启,如果没有设置bind项的ip和redis密码的话,服务将只允许本地访 问 requirepass "password" //连接的密码 port 6379 //启动端口 tcp-backlog 511 //高并发环境下需要一个高backlog值来避免慢客户端连接问题 timeout 300 //客户端空闲多少秒后

一:管道技术 - 由于 redis 和 客户端是使用 TCP 连接的,那么在使用中就会产生往返耗时. - 虽然可能单条影响并不大,但是如果执行较多的命令会对性能产生影响. - 使用管道原理和 keep-alive 类似(简单与原理如下图) - 通俗的来说就是减少网络请求,减少网络IO造成的性能损耗 -  二:使用批量操作 - 原生命令:例如mget.mset.     - 非原生命令:可以使用pipeline提高效率. - 两者不同:     - 原生是原子操作,pipeline是非原子操作.

1. redis.conf 配置参数: #是否作为守护进程运行 daemonize yes #如以后台进程运行,则需指定一个pid,默认为/var/run/redis.pid pidfile redis.pid #绑定主机IP,默认值为127.0.0.1 #bind 127.0.0.1 #Redis默认监听端口 port 6379 #客户端闲置多少秒后,断开连接,默认为300(秒) timeout 300 #日志记录等级,有4个可选值,debug,verbose(默认值),notice,warn

1. Redis.conf 配置参数: #是否作为守护进程运行 daemonize yes #如以后台进程运行,则需指定一个pid,默认为/var/run/redis.pid pidfile redis.pid #绑定主机IP,默认值为127.0.0.1 #bind 127.0.0.1 #Redis默认监听端口 port 6379 #客户端闲置多少秒后,断开连接,默认为300(秒) timeout 300 #日志记录等级,有4个可选值,debug,verbose(默认值),notice,warn

流水线(pipelined) 批量提交redis命令,减少通信次数 事务 mulit,事务的开始 exec,执行事务快内的命令 discard,放弃事务快内的命令 watch,监视key,如果key改动则中断事务,CAS乐观锁 unwatch,取消监视key 分布式锁机制 随着负载增加,失败重试次数也增加 为代表锁的key生成值,来获取锁 setnx命令,当key不存在时为key设置value(set not exist) 设置expire过期时间,防止挂掉的进程一直持有锁,形成死锁 删除锁时需

原文链接 批量操作优化: 在使用redis的时候,客户端通过socket向redis服务端发起请求后,等待服务端的返回结果. 客户端请求服务器一次就发送一个报文 -> 等待服务端的返回 -> 关闭连接 如果是100个请求.1000个请求,那就得请求100次.1000次 所以使用多个请求的时候使用管道来操作(如果管道打包的命令太多占用的内存也会越大,适量) 以下是使用3种方式进行的测试(循环写入1000次): public static void main(String[] args) { lo

转载地址:http://blog.sina.com.cn/s/blog_4be888450100z2ze.html 内存管理优化 Redis Hash是value内部为一个HashMap,如果该Map的成员数比较少,则会采用类似一维线性的紧凑格式来存储该Map, 即省去了大量指针的内存开销,这个参数控制对应在redis.conf配置文件中下面2项: hash-max-zipmap-entries 64 hash-max-zipmap-value 512 当value这个Map内部不超过多少个成员

转载地址:http://blog.csdn.net/luozhonghua2014/article/details/40568707?utm_source=tuicool&utm_medium=referral 1. Redis.conf 配置参数: #是否作为守护进程运行 daemonize yes #如以后台进程运行,则需指定一个pid,默认为/var/run/redis.pid pidfile redis.pid #绑定主机IP,默认值为127.0.0.1 #bind 127.0.0.1

优化的一些建议 1.尽量使用短的key 当然在精简的同时,不要完了key的"见名知意".对于value有些也可精简,比如性别使用0.1. 2.避免使用keys * keys *, 这个命令是阻塞的,即操作执行期间,其它任何命令在你的实例中都无法执行.当redis中key数据量小时到无所谓,数据量大就很糟糕了.所以我们应该避免去使用这个命令.可以去使用SCAN,来代替. 3.在存到Redis之前先把你的数据压缩下 redis为每种数据类型都提供了两种内部编码方式,在不同的情况下redis

1.优化的一些小建议 1.尽量使用短的key 当然在精简的同时,不要为了key的"见名知意".对于value有些也可精简,比如性别使用0.1. 2.每个redis设置合理内存 每个GB在save fork子进程的时候会消耗20毫秒左右. 3.尽量保证只有一个子进程在工作 避免出现抢占资源的情况 4.避免在大量写入时做子进程重写操作 避免资源抢占以及过度消耗 5.不要和高硬盘负载服务部署在一台服务器上   6.对于开启了持久化或参与复制的主节点不建议绑定CPU,会有CPU竞争   7.内

# 注意在redis.conf中的小聚合数据类型的特殊编码设置(http://carlosfu.iteye.com/blog/2254572)```hash-max-zipmap-entries 64 (hash-max-ziplist-entries for Redis >= 2.6)hash-max-zipmap-value 512 (hash-max-ziplist-value for Redis >= 2.6)list-max-ziplist-entries 512list-max-z

Redis是一个单线程的内存数据库.下载地址如下:http://download.redis.io/releases/redis-2.8.11.tar.gz在Redis的src目录运行make命令,然后将可执行文件复制到新建的bin目录.可以使用如下的组织形式. Redis持久化有两种方式 RDB和AOF 1.RDB方式 RDB 持久化可以在指定的时间间隔内生成数据集的时间点快照(point-in-time snapshot). RDB 是一个非常紧凑(compact)的文件,它保存了 Redi