Python并发编程-redis-3.0.5 源码安装

1、简介

　　Remote Dictionary Server（Redis）是一个基于 key-value 键值对的持久化数据库存储系统。redis 和 Memcached 缓存服务很像，但它支持存储的 value 类型相对更多，包括 string (字符串)、list (链表)、set (集合)、zset (sorted set --有序集合)和 hash（哈希类型）。这些数据类型都支持 push/pop、add/remove 及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis 支持各种不同方式的排序。与 memcached 一样，为了保证效率，数据都是缓存在内存中。区别的是 redis 会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了 master-slave (主从)同步。

　　redis 的出现，再一定程度上弥补了 Memcached 这类 key-value 内存换乘服务的不足，在部分场合可以对关系数据库起到很好的补充作用。redis 提供了 Python，Ruby，Erlang，PHP 客户端，使用方便。

官方文档：http://www.redis.io/documentation

http://www.redis.cn/

2、Redis 安装和使用实例

1、源码安装

 # 源码安装
 wget http://download.redis.io/releases/redis-3.0.5.tar.gz
 tar zxf redis-3.0.5.tar.gz
 cd redis-3.0.5
 #less README
 make MALLOC=jemalloc
 make PREFIX=/application/redis-3.0.5 install        -->指定安装路径
 echo $?
 ln -s /application/redis-3.0.5/ /application/redis

2、redis 安装目录及各文件作用

 [root@localhost redis-3.0.5]# tree /application/redis
 /application/redis
 `-- bin
     |-- redis-benchmark     # Redis性能测试工具，测试Redis在系统及你的配置下的读写性能。
     |-- redis-check-aof     # 更新日志检查。
     |-- redis-check-dump    # 用于本地数据库检查。
     |-- redis-cli           # Redis命令行操作工具。也可以telnet根据其纯文本协议操作
     |-- redis-sentinel -> redis-server
     `-- redis-server        # Redis服务器的daemon启动程序。
 directory, 6 files

3、配置并启动 redis 服务

 # 1、 配置环境变量
 # 编辑vim /etc/profile添加一行
 vim /etc/profile
 export PATH=/application/redis/bin/:$PATH
 tail -1 /etc/profile  -->检查
 source /etc/profile   -->生效
 或
 echo export PATH=/application/redis/bin/:$PATH >> /etc/profile
 tail -1 /etc/profile
 source /etc/profile

 # 2、 拷贝配置文件
 [root@localhost redis-3.0.5]# pwd
 /home/oldSuo/tools/redis-3.0.5    -->解压目录
 [root@localhost redis-3.0.5]# mkdir /application/redis/conf
 [root@localhost redis-3.0.5]# cp redis.conf /application/redis/conf/

 cd /home/oldSuo/tools/redis-3.0.5
 mkdir /application/redis/conf
 cp redis.conf /application/redis/conf/

 # 3、 启动redis
 redis-server /application/redis/conf/redis.conf &
 lsof -i :6379

 [root@localhost redis-3.0.5]# lsof -i :6379
 COMMAND    PID USER   FD   TYPE    DEVICE SIZE/OFF NODE NAME
 redis-ser 5876 root    4u  IPv6 793678202      0t0  TCP *:6379 (LISTEN)
 redis-ser 5876 root    5u  IPv4 793678204      0t0  TCP *:6379 (LISTEN)

 # 4、 关闭redis
 redis-cli shutdown
 lsof -i :6379    -->检查端口

 #5、 启动常见报错
 报错：WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect.
 解决：    [root@localhost redis-3.0.5]# killall redis-server
          [root@localhost redis-3.0.5]# sysctl vm.overcommit_memory=1
          vm.overcommit_memory = 1
 永久生效：[root@localhost conf]# vim /etc/sysctl.conf
 添加一行vm.overcommit_memory = 1

4、客户端连接命令及命令测试

 [root@localhost conf]# redis-cli --help
 [root@localhost conf]# redis-cli -h 192.168.200.95

 [root@localhost conf]# redis-cli
 127.0.0.1:6379> help
 redis-cli 3.0.5
 Type: "help @<group>" to get a list of commands in <group>
       "help <command>" for help on <command>
       "help <tab>" to get a list of possible help topics
       "quit" to exit
 127.0.0.1:6379> help get

   GET key
   summary: Get the value of a key
   since: 1.0.0
   group: string

 127.0.0.1:6379> help set

   SET key value [EX seconds] [PX milliseconds] [NX|XX]
   summary: Set the string value of a key
   since: 1.0.0
   group: string

 127.0.0.1:6379> set 007 oldSuo
 OK
 127.0.0.1:6379> get 007
 "oldSuo"
 127.0.0.1:6379>

 或者
 [root@localhost conf]# redis-cli -h 192.168.200.95 -p 6379 set no005 suoning
 OK
 [root@localhost conf]# redis-cli -h 192.168.200.95 -p 6379 get no005
 "suoning"

 删除并检查
 [root@localhost conf]# redis-cli del no005
 (integer) 1
 [root@localhost conf]# redis-cli get no005
 (nil)

5、redis 的 php 客户端拓展安装

 # 1、下载安装
 wget https://github.com/phpredis/phpredis/archive/master.zip

 unzip phpredis-master.zip
 cd phpredis-master
 /application/php/bin/phpize
 ./configure --with-php-config=/application/php/bin/php-config
 make
 make install

 [root@localhost phpredis-master]# make install
 Installing shared extensions:     /application/php-5.6.8/lib/php/extensions/no-debug-non-zts-20131226/
 [root@localhost phpredis-master]# cd /application/php-5.6.8/lib/php/extensions/no-debug-non-zts-20131226/
 [root@localhost no-debug-non-zts-20131226]# ls
 memcache.so  opcache.a  opcache.so  redis.so
 [root@localhost no-debug-non-zts-20131226]#

 # 2、修改php.ini设置，重启php
 在php.ini追加一条记录
 echo "extension = redis.so" >> /application/php/lib/php.ini

 #重启 php-fpm
 killall php-fpm
 /application/php/sbin/php-fpm

 #网页测试
 ......

6、redis 主从同步

 # 1、修改从库redis.conf配置文件
 #配置从库redis.conf配置文件(先装redis)
 #添加一行，主库IP地址及端口
 vim /application/redis/conf/redis.conf
 # slaveof <masterip> <masterport>
 slaveof 192.168.200.95 6379

 # 2、重启从库redis服务
 pkill redis
 redis-server /application/redis/conf/redis.conf &

 #启动提示
 7815:S 23 Nov 19:48:52.059 # Server started, Redis version 3.0.5
 7815:S 23 Nov 19:48:52.060 * The server is now ready to accept connections on port 6379
 7815:S 23 Nov 19:48:53.060 * Connecting to MASTER 192.168.200.95:6379     -->跟主库建立连接
 7815:S 23 Nov 19:48:53.060 * MASTER <-> SLAVE sync started                -->主从同步已经开始
 7815:S 23 Nov 19:48:53.062 * Non blocking connect for SYNC fired the event.
 7815:S 23 Nov 19:48:53.074 * Master replied to PING, replication can continue...      -->主从ping可以继续
 7815:S 23 Nov 19:48:53.075 * Partial resynchronization not possible (no cached master)
 7815:S 23 Nov 19:48:53.087 * Full resync from master: 24b26f7abc62830a7ff97516c960ba7fc0992da9:1
 7815:S 23 Nov 19:48:53.122 * MASTER <-> SLAVE sync: receiving 32 bytes from master    -->接收到字节数
 7815:S 23 Nov 19:48:53.122 * MASTER <-> SLAVE sync: Flushing old data
 7815:S 23 Nov 19:48:53.122 * MASTER <-> SLAVE sync: Loading DB in memory
 7815:S 23 Nov 19:48:53.122 * MASTER <-> SLAVE sync: Finished with success  -->成功

 # 3、测试主从同步
 # 主库：写数据
 [root@localhost redis]# redis-cli
 127.0.0.1:6379> set test1 oldsuo
 OK

 # 从库：
 [root@localhost conf]# redis-cli -h localhost -p 6379 monitor      -->开启实时监控
 OK
 1448280033.096372 [0 192.168.200.95:6379] "PING"
 1448280043.125830 [0 192.168.200.95:6379] "PING"
 1448280053.154134 [0 192.168.200.95:6379] "PING"
 1448280070.858808 [0 192.168.200.95:6379] "SELECT" ""
 1448280070.858828 [0 192.168.200.95:6379] "set" "test1" "oldsuo"   -->主库添加数据，从库同步

 [root@localhost redis]# redis-cli -h 192.168.200.92 get test1
 "oldsuo"        -->从库同步成功

7、redis 负载均衡

 至于 redis 的负载均衡，方案有很多：
 LVS、keepalived、Twemproxy
 小编有时间再补上吧...

8、redis 持久化

 Redis持久化方式有两种：

 （1）RDB

 对内存中数据库状态进行快照

 （2）AOF

 把每条写命令都写入文件，类似mysql的binlog日志

 RDB

 将Redis在内存中的数据库状态保存到磁盘里面，RDB文件是一个经过压缩的二进制文件，通过该文件可以还原生成RDB文件时的数据库状态

 RDB的生成方式：

 （1）执行命令手动生成

 有两个Redis命令可以用于生成RDB文件，一个是SAVE，另一个是BGSAVE

 SAVE命令会阻塞Redis服务器进程，直到RDB文件创建完毕为止，在服务器进程阻塞期间，服务器不能处理任何命令请求

 BGSAVE命令会派生出一个子进程，然后由子进程负责创建RDB文件，服务器进程（父进程）继续处理命令请求，创建RDB文件结束之前，客户端发送的BGSAVE和SAVE命令会被服务器拒绝

 （2）通过配置自动生成

 可以设置服务器配置的save选项，让服务器每隔一段时间自动执行一次BGSAVE命令

 可以通过save选项设置多个保存条件，但只要其中任意一个条件被满足，服务器就会执行BGSAVE命令

 例如：

 save 900 1
 save 300 10
 save 60 10000

 那么只要满足以下三个条件中的任意一个，BGSAVE命令就会被执行

 服务器在900秒之内，对数据库进行了至少1次修改
 服务器在300秒之内，对数据库进行了至少10次修改
 服务器在60秒之内，对数据库进行了至少10000次修改

 AOF

 AOF持久化是通过保存Redis服务器所执行的写命令来记录数据库状态的

 AOF文件刷新的方式，有三种

 （1）appendfsync always - 每提交一个修改命令都调用fsync刷新到AOF文件，非常非常慢，但也非常安全

 （2）appendfsync everysec - 每秒钟都调用fsync刷新到AOF文件，很快，但可能会丢失一秒以内的数据

 （3）appendfsync no - 依靠OS进行刷新，redis不主动刷新AOF，这样最快，但安全性就差

 默认并推荐每秒刷新，这样在速度和安全上都做到了兼顾

 数据恢复

 RDB方式

 RDB文件的载入工作是在服务器启动时自动执行的，没有专门用于载入RDB文件的命令，只要Redis服务器在启动时检测到RDB文件存在，它就会自动载入RDB文件，服务器在载入RDB文件期间，会一直处于阻塞状态，直到载入工作完成为止

 AOF方式

 服务器在启动时，通过载入和执行AOF文件中保存的命令来还原服务器关闭之前的数据库状态，具体过程：

 （1）载入AOF文件

 （2）创建模拟客户端

 （3）从AOF文件中读取一条命令

 （4）使用模拟客户端执行命令

 （5）循环读取并执行命令，直到全部完成

 如果同时启用了RDB和AOF方式，AOF优先，启动时只加载AOF文件恢复数据

二、Python 操作 Redis

python 安装 redis 模块：

 $ sudo pip install redis
 or
 $ sudo easy_install redis
 or
 $ sudo python setup.py install

 详见：https://github.com/WoLpH/redis-py
 https://pypi.python.org/pypi/redis
 https://redislabs.com/python-redis