Redis的安装及学习

最近因为做Chatbot项目需要对于NoSQL数据库进行研究，调研范围包括MongoDB和Redis。本文将介绍Redis在Windows环境的安装及如何利用python来操作Redis数据库。

Redis基础

redis是Key Value nosql数据库，数据存储在内存中，单进程，自己实现了一套异步事件处理，虽然单进程但是数据库处理很快，异步持久化。

Redis有5种数据类型：

• string，最基本的数据类型，也是其他四种数据类型的基础，能存储任何形式的字符创。适用：存储信息对象序列化JSON格式。get/set操作
• hash，哈希类型是一个字符串类型的字段和字段值的映射表，将一个对象存成hash类型占用更少的内存，并且可以更方便的存取整个对象。适用：经常被并发请求的小数据查询，如：最近五日的超高返商品数据，存储在Hash中，field=商品ID，value=商品信息(对象序列化JSON格式)。hmset/hgetall操作。
• list，链表类型可以存储一个有序的字符串列表，用链表类型的LPUSH和LPOP或者RPUSH和RPOP实现栈的功能，用LPUSH和RPOP或者RPUSH和LPOP实现队列的功能。适用：作为信息队列使用，不断的Lpush数据到List中，rpop数据出来入库，或者处理。列表的最大长度为 232 - 1 个元素（4294967295，每个列表的元素超过四十亿）。lpush list_name list_element/ lrange list_name start_index end_index
• set，集合类型。集合元素是唯一的，无序的。集合间可以进行交并差操作。sadd/smembers
• zset，有序集合类型，在set的基础上多了一个有序。适用：搜索关键字排名。zadd/zrangebyscore

Redis优点

• 异常快速 : Redis是非常快的，每秒可以执行大约110000设置操作，81000个/每秒的读取操作。
• 支持丰富的数据类型 : Redis支持最大多数开发人员已经知道如列表，集合，可排序集合，哈希等数据类型。这使得在应用中很容易解决的各种问题，因为我们知道哪些问题处理使用哪种数据类型更好解决。
• 支持pub/sub消息订阅机制，可以用来进行消息订阅与通知。
• 支持持久化操作，可以进行aof及rdb数据持久化到磁盘，从而进行数据备份或数据恢复等操作，较好的防止数据丢失的手段。
  
  *操作都是原子的 : 所有 Redis 的操作都是原子，从而确保当两个客户同时访问 Redis 服务器得到的是更新后的值（最新值）。

Redis缺点

• Redis只能使用单线程，性能受限于CPU性能，故单实例CPU最高才可能达到5-6wQPS每秒
• Redis在string类型上会消耗较多内存，可以使用dict（hash表）压缩存储以降低内存耗用。

Redis注意事项：

• Redis的键命名必须按照"object-type:id:field（表:主键:列）"的方式
  
  具体的命名规范包括:1)内存数据库，键名长度影响有限内存空间，所以命名应该控制长度，简短易懂；2)大小写规范;3)根据业务命名，相同业务统一的Key前缀
  
  数据库的主要功能是储存数据，但是对于开发者来说，因为应用程序需求或者数据使用方法的改变，忽略存储在数据库中的某些数据是非常正常的，在Redis中同样如此。你可能忽视期满某些键，也可能因为应用程序的某个模块弃用而忘掉这些数据。无论哪种情况，Redis都存储了一些不再使用的数据，平白无故的占用了一些空间。Redis的弱结构数据模式让集中储存的内容很难被弄清，除非你为键使用一套非常成熟的命名法则。使用合适的命名方法会简化你的数据库管理，当你通过你的应用程序或者服务做键的命名空间时（通常情况下是使用冒号来划分键名），你就可以在数据迁移、转换或者删除时轻松的识别。Redis另一个常见用例是作为热数据项作的第二数据存储，大部分的数据被保存在其他的数据库中，比如PostgreSQL或MongoDB。在这些用例中，当数据从主存储移除时，开发者经常会忘记删除Redis中对应的数据。这种存在跨数据存储的情况下，通常需要做级联删除，这种情况下，可以通过在Redis配置保存特定数据项的所有识别符来实现，从而保证数据在主数据库被删除后，系统会调用一个清理程序来删除所有相关副本和信息。
• 使用合适的数据结构
  
  不管是内存使用或者是性能，有的时候数据结构将产生很大的影响，下面是一些可以参考的最佳实践：
  
  取代将数据存储为数千（或者数百万）独立的字符串，可以考虑使用哈希数据结构将相关数据进行分组。哈希表是非常有效率的，并且可以减少你的内存使用；同时，哈希还更有益于细节抽象和代码可读。合适时候，使用list代替set。如果你不需要使用set特性，List在使用更少内存的情况下可以提供比set更快的速度。Sorted sets是最昂贵的数据结构，不管是内存消耗还是基本操作的复杂性。如果你只是需要一个查询记录的途径，并不在意排序这样的属性，那么轻建议使用哈希表。文章Redis键值设计以实际的业务需求为例介绍如何使用Redis的数据结构，可以作为参考。
  
  Redis中一个经常被忽视的功能就是bitmaps或者bitsets（V2.2之后）。Bitsets允许你在Redis值上执行多个bit-level操作，比如一些轻量级的分析。
• 控制Redis的内存
  
  Redis内存不足的原因包括三个方面:1)数据不断累加，无效数据未清理，缓存未设置过期时间;2）存储数据中包含未使用到字段，整个对象序列化到redis中;3）冷数据，或者根本不会再去使用的无效数据没有清理。
  
  解决方法：1）数据区分无效时间，设置过期时间，使无效数据过期；（如：通过日期后缀命名Key）；2）区分冷数据，清理掉冷数据；缓存数据从简，redis key命名从简，数据字段命名从简，无效字段不添加在缓存中。

Redis和MongoDB的区别：

• Redis不适用于长期累加的数据（比如大数据），这些数据应该考虑hbase或者mongodb
• Redis的读写速度比MongoDB表现好，尤其是数据集较大的情况下。
• MongoDB的特点:（1）面向文档（2）高性能（3）高可用（4）易扩展（5）丰富的查询语言,mongoDB适合大数据量的存储，依赖操作系统VM做内存管理，吃内存也比较厉害，服务不要和别的服务在一起。MongoDB:主要解决海量数据的访问效率问题，Redis：数据量较小的更性能操作和运算上。

Windows安装Redis

因为开发环境在Windows下，因此还是选择在windwos环境下安装Redis。Redis官方并没有给出官网安装包，但有一个开源项目时跟进的，可以在其Github主页 上下载对应的安装包。

我下载的是3.0.53的包，新建目录“c:\redis”，解压缩安装包放在这个目录中。

然后输入命令就可以看到启动界面了：

c:\redis>redis-server.exe redis.windows.conf

为了避免避免反复输入命令麻烦，可以直接注册成为windows服务：

c:\redis>redis-server --service-install redis.windows.conf --loglevel verbose
c:\redis>net start Redis

安装完毕，再下载安装Redis Desktop Manager压压惊。

python操作Redis

python操作Redis的方法非常多，也很好用，建议大家按照自己的需要查API进行使用。这里推荐一些教程：

• 官方文档
• python连接redis
• Python—操作redis

下面我写了一个基于redis的封装接口，方便项目调用。

from __future__ import division, absolute_import

from myutils import configs, const, const_values
from myutils.check import check_func
import redis
import types

class RedisHelper(object):
    __classname = "RedisHelper"

    @check_func(__file__, __classname)
    def __init__(self, **kwargs):
        """
        这里做了一个外壳来包装redis，好处：
        1.提供多重配置参数的输入，包括配置文件config读取等
        2.方便Singleton的调用。这样速度可以保证内存永远有一个redis接口提供调用，更快。
        :param kwargs:
        """
        if "filename" in kwargs:
            with configs.ConfigWrapper(kwargs.get("filename"), "read") as config:
                sections = config.get_sections()
                if kwargs.get("section", "NOTHING FOUND") not in sections:
                    raise Exception("Section not found: %s" % kwargs.get("section"))
            para_dict = config.get_option_dict(kwargs.get("section"))
        else:
            para_dict = kwargs
        _host="localhost" if "host" not in para_dict else para_dict.get("host")
        _port = 6379 if "port" not in para_dict else int(para_dict.get("port"))
        _db = 0 if "database" not in para_dict else int(para_dict.get("database"))
        _pw = None if "password" not in para_dict else para_dict.get("password")
        self.__cursor=redis.StrictRedis(host=_host,port=_port,db=_db,password=_pw)

    @check_func(__file__,__classname)
    def redis(self):
        """
        返回reids接口
        :return:
        """
        return self.__cursor

    @check_func(__file__, __classname)
    def close(self):
        """
        关闭，其实没有什么效果，redis本身支持线程池调度，连接的启动关闭有线程池管理，python接口无需关心。
        The connection_pool object has a disconnect method to force
        an immediate disconnect of all connections in the pool if necessary
        :return:
        """
        del self.__cursor  # 删除引用，等待垃圾回收