redis介绍及搭建

redis介绍

　　Redis最适合所有数据in-momory的场景，虽然Redis也提供持久化功能，但实际更多的是一个disk-backed（以写入磁盘的方式进行同步，实现持久化）的功能，跟传统意义上的持久化有比较大的差别

如果简单地比较Redis与Memcached的区别，大多数都会得到以下观点：

1 、Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，zset，hash等数据结构的存储。
     2 、Redis支持数据的备份，即master-slave模式的数据备份。
     3 、Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。

redis5的新特性

1.新的Stream数据类型。
2.新的Redis模块API：Timers and Cluster API。
3. RDB现在存储LFU和LRU信息。
4.集群管理器从Ruby（redis-trib.rb）移植到C代码。可以在redis-cli中。查看`redis-cli —cluster help`了解更多信息。
5.新sorted set命令：ZPOPMIN / MAX和阻塞变量。
6.主动碎片整理V2。
7.增强HyperLogLog实现。
8.更好的内存统计报告。
9.许多带有子命令的命令现在都有一个HELP子命令。
10.客户经常连接和断开连接时性能更好。
11.错误修复和改进。

单机版redis搭建

　　一、安装编译环境

# redis使用c语言编写，所以需要gcc编译环境
# yum install -y gcc gcc-c++

　　二、下载stable版，并上传

官网地址：http://download.redis.io/releases/redis-5.x.x.tar.gz

　　三、创建安装目录并解压

# mkdir -p /data/softwares
# mkdir /data/module
# cd /data/softwares
# tar xfz redis-5.0..tar.gz -C /data/module

　　四、编译安装

# cd ../module/redis-5.0.0/
# make

　　五、为了方便管理，将Redis文件中的conf配置文件和常用命令移动到统一文件中

# mkdir etc bin
# mv redis.conf etc/
# cd src/
# cp mkreleasehdr.sh redis-benchmark redis-check-aof redis-check-rdb redis-sentinel redis-cli redis-server redis-trib.rb ../bin

　　六、修改环境变量

# echo "export PATH=$PATH:/data/module/redis-5.0.0/bin" >> /etc/profile
# . /etc/profile

　　七、 编辑 redis.conf配置文件，开启redis远程访问服务

# sed -ri.ori -e 's/^(daemonize |appendonly ).*/\1yes/' -e "s/^bind 127.*/bind `hostname -I`/" -e 's/^(protected-mode ).*/\1no/' -e 's@# (r.*)foobared@\1123456@' -e 's@^logfile.*@logfile "/data/module/redis-5.0.0/logs/redis.log"@' -e 's@^(dir ).*@\1/data/module/redis-5.0.0/data@' -e 's@^# (masterauth ).*@\1123456@' -e 's@^# (requirepass ).*@\1123456@' -e 's@^# (maxmemory ).*@\16GB@' -e 's@^# (maxmemory-policy ).*@\1allkeys-lru@' -e 's@^# (maxmemory-samples ).*@\13@' -e 's@^# (cluster-enabled.*)@\1@' -e 's@^# (cluster-node-timeout ).*@\15000@' /data/module/redis-5.0.0/etc/redis.conf

服务启动

# redis-server etc/redis.conf
:C  Jan  ::04.305 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo
:C  Jan  ::04.305 # Redis version=5.0., bits=, commit=, modified=, pid=, just started

查看启动情况

# ss -lntp
State       Recv-Q Send-Q           Local Address:Port                          Peer Address:Port
LISTEN                                      *:                                     *:*                   users:(("redis-server",pid=,fd=))
LISTEN                                      *:                                       *:*                   users:(("sshd",pid=,fd=))
LISTEN                              127.0.0.1:                                       *:*                   users:(("master",pid=,fd=))
LISTEN                                     :::                                    :::*                   users:(("redis-server",pid=,fd=))
LISTEN                                     :::                                      :::*                   users:(("sshd",pid=,fd=))
LISTEN                                    :::   

停止服务

# redis-cli -h localhost
localhost:> shutdown
(error) NOAUTH Authentication required.
localhost:> AUTH 

redis可执行文件作用

可执行文件名	命令作用
redis-cli	redis命令行工具
redis-server	redis服务启动命令
redis-trib.rb	redis集群管理工具（5.0以前是ruby，之后移植到了c）
redis-benchmark	基准测试工具
redis-check-rdb	RDB持久化文件检测工具和修复工具
redis-check-aof	AOF持久化文件检测工具和修复工具
redis-sentinel	启动redis-sentinel（哨兵）

redis命令

1、redis-cli命令

redis提供两种连接服务器方式：交互式和命令行方式

（1）交互式

redis-cli -h {host} -p {port} -a {password}
# redis-cli -h localhost -p  -a
localhost:> set ass oo
OK

（2）命令行

[root@localhost redis-5.0.]# redis-cli -h localhost -p  -a  set foo bar
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
OK
[root@localhost redis-5.0.]# redis-cli -h localhost -p  -a  get foo
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
"bar"

参数

-h <hostname>  指定服务端地址
-p <port>   指定服务连接端口
-a <password> 连接服务端时使用的密码

[root@localhost redis-5.0.]# redis-cli -h localhost -p  -a
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
localhost:> set foo bar
OK

可以看到，当在命令行输入密码的时候会有安全警告信息，这会影响到脚本获取数据，这种警告不能通过head、tail、sed等文本处理工具去除，因为这个警告是标准错误，而不是标准输出（1），所以将标准错误定向到空即可

[root@localhost redis-5.0.]# redis-cli -h localhost -p  -a  >/dev/null
localhost:> 

-r <repeat>   将命令重复执行多次
-i <interval>   每隔几秒(如果想用ms，如10ms则写0.01)执行一次命令，必须与-r一起使用

[root@localhost redis-5.0.]# redis-cli -h localhost -p  -a  -r  ping
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
PONG
PONG

-n <db>   指定连接的数据库

[root@localhost redis-5.0.]# redis-cli -h localhost -p  -n
localhost:[]>    ##[]当前所使用的数据库

-x    从标准输入读取数据作为该命令的最后一个参数

[root@localhost redis-5.0.]# echo 'bar'|redis-cli -h localhost -p  -a  -x set foo
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
OK

-c    连接集群结点时使用，此选项可防止moved和ask异常

--scan和--pattern  相当于scan命令，扫描所有键 SCAN cursor [MATCH pattern] [COUNT count]

[root@localhost redis-5.0.]# redis-cli -a  --scan --pattern '*ass*'
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
mypasswd

--raw 和 --no-raw

（）不展示数据额外类型信息
# redis-cli -h localhost -p  -a  >/dev/null set num1
OK

# redis-cli -h localhost -p  -a  >/dev/null get num1
""

# redis-cli -h localhost -p  -a  --raw >/dev/null get num1

# redis-cli -h localhost -p  -a  >/dev/null incr num1
(integer) 

# redis-cli -h localhost -p  -a  >/dev/null --raw decr num1

可以看到，当返回数据到tty的时候，不加--raw，会在数据前显示数据类型

当redis返回数据不是打印到标准输出，而是重定向到文件里，redis会自动开启--raw参数

# redis-cli -h localhost -p  -a  >/dev/null incr num1 > /tmp/redis.txt

# cat /tmp/redis.txt

（）显示中文
# redis-cli -h localhost -p  -a  >/dev/null set hello "中国"
OK

# redis-cli -h localhost -p  -a  >/dev/null get hello
"\xe4\xb8\xad\xe5\x9b\xbd"

# redis-cli -h localhost -p  -a  >/dev/null --raw get hello
中国

当值含有中文的时候，如果不加--raw，返回的结果是Unicode编码

--stat  获取redis状态统计信息，比info更全

每隔10秒实时获取一次redis状态统计信息，其中：
keys             表示数据库的键数量
mem              表示服务内存使用量
clients          连接当前节点的客户端数量
requests         截止目前总的处理量
connections      截止到目前的总连接数

# redis-cli -h localhost -p  -i  -a  >/dev/null --stat
------- data ------ --------------------- load -------------------- - child -
keys       mem      clients blocked requests            connections
          1.82M                   (+)
          1.82M                   (+)
          1.82M                   (+)                    

7、--slave

当当前客户端模拟成当前redis节点的从节点，可用来获取当前redis节点的更新操作。合理利用可用于记录当前连接redis节点的一些更新操作，这些更新可能是实开发业务时需要的数据。

8、--rdb

会请求redis实例生成并发送RDB持久化文件，保存在本地。可做定期备份。

# redis-cli  -a  >/dev/null --rdb a.txt

9、--pipe

将命令封装成redis通信协议定义的数据格式，批量发送给redis执行。

10、--bigkeys

统计bigkey的分布，使用scan命令对redis的键进行采样，从中找到内存占用比较大的键，这些键可能是系统的瓶颈。

该方法有两个缺点:

• 1.线上使用:虽然scan命令通过游标遍历建空间并且在生产上可以通过对从服务执行该命令,但毕竟是一个线上操作
• 2.set,zset,list以及hash类型只能获取有多少个元素。但其实元素多的不一定占用空间大

11、--eval

用于执行lua脚本

12、--latency

有三个选项，--latency、--latency-history、--latency-dist。它们可检测网络延迟，展现的形式不同。看不明白

13、--stat

可实时获取redis的重要统计信息。info命令虽然比较全，但这里可看到一些增加的数据，如requests（每秒请求数）

14、--raw 和 --no-raw

--no-raw 要求返回原始格式。--raw 显示格式化的效果。

第二部分

redis-cli 命令有很多。比如

连接操作相关的命令

• 默认直接连接  远程连接-h 192.168.1.20 -p 6379
• ping：测试连接是否存活如果正常会返回pong
• echo：打印
• select：切换到指定的数据库，数据库索引号 index 用数字值指定，以 0 作为起始索引值
• quit：关闭连接（connection）
• auth：简单密码认证

服务端相关命令

• time：返回当前服务器时间
• client list: 返回所有连接到服务器的客户端信息和统计数据  参见http://redisdoc.com/server/client_list.html
• client kill ip:port：关闭地址为 ip:port 的客户端
• save：将数据同步保存到磁盘
• bgsave：将数据异步保存到磁盘
• lastsave：返回上次成功将数据保存到磁盘的Unix时戳
• shundown：将数据同步保存到磁盘，然后关闭服务
• info：提供服务器的信息和统计
• config resetstat：重置info命令中的某些统计数据
• config get：获取配置文件信息
• config set：动态地调整 Redis 服务器的配置(configuration)而无须重启，可以修改的配置参数可以使用命令 CONFIG GET * 来列出
• config rewrite：Redis 服务器时所指定的 redis.conf 文件进行改写
• monitor：实时转储收到的请求
• slaveof：改变复制策略设置

发布订阅相关命令

• psubscribe：订阅一个或多个符合给定模式的频道 例如psubscribe news.* tweet.*
• publish：将信息 message 发送到指定的频道 channel 例如publish msg "good morning"
• pubsub channels：列出当前的活跃频道 例如PUBSUB CHANNELS news.i*
• pubsub numsub：返回给定频道的订阅者数量 例如PUBSUB NUMSUB news.it news.internet news.sport news.music
• pubsub numpat：返回客户端订阅的所有模式的数量总和
• punsubscribe：指示客户端退订所有给定模式。
• subscribe：订阅给定的一个或多个频道的信息。例如 subscribe msg chat_room
• unsubscribe：指示客户端退订给定的频道。

对KEY操作的命令

• exists(key)：确认一个key是否存在
• del(key)：删除一个key
• type(key)：返回值的类型
• keys(pattern)：返回满足给定pattern的所有key
• randomkey：随机返回key空间的一个
• keyrename(oldname, newname)：重命名key
• dbsize：返回当前数据库中key的数目
• expire：设定一个key的活动时间（s）
• ttl：获得一个key的活动时间
• move(key, dbindex)：移动当前数据库中的key到dbindex数据库
• flushdb：删除当前选择数据库中的所有key
• flushall：删除所有数据库中的所有key

对String操作的命令

• set(key, value)：给数据库中名称为key的string赋予值value
• get(key)：返回数据库中名称为key的string的value
• getset(key, value)：给名称为key的string赋予上一次的value
• mget(key1, key2,…, key N)：返回库中多个string的value
• setnx(key, value)：添加string，名称为key，值为value
• setex(key, time, value)：向库中添加string，设定过期时间time
• mset(key N, value N)：批量设置多个string的值
• msetnx(key N, value N)：如果所有名称为key i的string都不存在
• incr(key)：名称为key的string增1操作
• incrby(key, integer)：名称为key的string增加integer
• decr(key)：名称为key的string减1操作
• decrby(key, integer)：名称为key的string减少integer
• append(key, value)：名称为key的string的值附加value
• substr(key, start, end)：返回名称为key的string的value的子串

对List操作的命令

• rpush(key, value)：在名称为key的list尾添加一个值为value的元素
• lpush(key, value)：在名称为key的list头添加一个值为value的 元素
• llen(key)：返回名称为key的list的长度
• lrange(key, start, end)：返回名称为key的list中start至end之间的元素
• ltrim(key, start, end)：截取名称为key的list
• lindex(key, index)：返回名称为key的list中index位置的元素
• lset(key, index, value)：给名称为key的list中index位置的元素赋值
• lrem(key, count, value)：删除count个key的list中值为value的元素
• lpop(key)：返回并删除名称为key的list中的首元素
• rpop(key)：返回并删除名称为key的list中的尾元素
• blpop(key1, key2,… key N, timeout)：lpop命令的block版本。
• brpop(key1, key2,… key N, timeout)：rpop的block版本。
• rpoplpush(srckey, dstkey)：返回并删除名称为srckey的list的尾元素，并将该元素添加到名称为dstkey的list的头部

对Set操作的命令

• sadd(key, member)：向名称为key的set中添加元素member
• srem(key, member) ：删除名称为key的set中的元素member
• spop(key) ：随机返回并删除名称为key的set中一个元素
• smove(srckey, dstkey, member) ：移到集合元素
• scard(key) ：返回名称为key的set的基数
• sismember(key, member) ：member是否是名称为key的set的元素
• sinter(key1, key2,…key N) ：求交集
• sinterstore(dstkey, (keys)) ：求交集并将交集保存到dstkey的集合
• sunion(key1, (keys)) ：求并集
• sunionstore(dstkey, (keys)) ：求并集并将并集保存到dstkey的集合
• sdiff(key1, (keys)) ：求差集
• sdiffstore(dstkey, (keys)) ：求差集并将差集保存到dstkey的集合
• smembers(key) ：返回名称为key的set的所有元素
• srandmember(key) ：随机返回名称为key的set的一个元素

对Hash操作的命令

• hset(key, field, value)：向名称为key的hash中添加元素field
• hget(key, field)：返回名称为key的hash中field对应的value
• hmget(key, (fields))：返回名称为key的hash中field i对应的value
• hmset(key, (fields))：向名称为key的hash中添加元素field
• hincrby(key, field, integer)：将名称为key的hash中field的value增加integer
• hexists(key, field)：名称为key的hash中是否存在键为field的域
• hdel(key, field)：删除名称为key的hash中键为field的域
• hlen(key)：返回名称为key的hash中元素个数
• hkeys(key)：返回名称为key的hash中所有键
• hvals(key)：返回名称为key的hash中所有键对应的value
• hgetall(key)：返回名称为key的hash中所有的键（field）及其对应的value

 实例

query在线分析 

redis-cli MONITOR | head -n 5000 | ./redis-faina.py   

监控正在请求执行的命令

在cli下执行monitor，生产环境慎用。

 

模拟oom

redis-cli debug oom

 

模拟宕机

redis-cli debug segfault

 

模拟hang

redis-cli -p 6379 DEBUG sleep 30

获取慢查询

SLOWLOG GET 10
结果为查询ID、发生时间、运行时长和原命令 默认10毫秒，默认只保留最后的128条。单线程的模型下，一个请求占掉10毫秒是件大事情，注意设置和显示的单位为微秒，注意这个时间是不包含网络延迟的。
slowlog get 获取慢查询日志
slowlog len 获取慢查询日志条数
slowlog reset 清空慢查询

配置：

config set slow-log-slower-than 20000

config set slow-max-len 1000

config rewrite