Redis安装配置及在Python上的应用
最近在使用Kazoo(开源电话系统) API时,一次请求的处理需要调用几次API,只为了得到一个name和id的对应关系,耗时非常大,开始想使用一种简单的实现,直接将对应关系保存到静态类的静态变量中,但经过测试发现,这种方法还是会造成对应关系经常丢失的情况,后来简单了解了下Redis,发现比较适用于这种情况,具体操作过程如下所示:
Redis安装与简单配置
开发环境为Ubuntu 12.04,在Ubuntu下Redis安装很简单,直接通过apt-get即可实现,具体如下所示:
#安装Redis服务器端
~ sudo apt-get install redis-server
通过这种方式,安装完成后,Redis服务器会自动启动,检查Redis服务器程序:
root@mcc-ka-api01:~# ps -ef | grep redis
redis : ? :: /usr/local/bin/redis-server *:
root : pts/ :: grep --color=auto redis
还可以通过编译安装的方式,具体如下所示:
Redis下载地址:http://redis.io/download
$ wget http://download.redis.io/releases/redis-2.8.19.tar.gz
$ tar xzf redis-2.8..tar.gz
$ cd redis-2.8.
$ make
$ make install
具体可参考:http://rubyer.me/blog/638/
Redis的配置文件存储在redis.conf文件中,具体配置如下:
daemonize yes #---默认值no,该参数用于定制redis服务是否以守护模式运行。---
pidfile /usr/local/webserver/redis/run/redis.pid #默认值/var/run/redis.pid,指定redis服务的进程号文件路径,以守护模式运行时需要配置本参数;
port #默认值6379,指定redis服务的端口
# bind 127.0.0.1 #绑定ip,默认是本机所有网络设备;
timeout #客户端空闲n秒后断开连接;默认是 表示不断开。
loglevel notice ###设置服务端的日志级别,有下列几种选择:
debug:记录详细信息,用于开发或调试;
verbose:提供很多有用的信息,但是又不像debug那么详尽,默认就是这一选项;
notice:适度提醒,多用于产品环境;
warning:仅显示重要的警告信息;
logfile stdout ##指定日志的输出路径,默认值stdout,表示输出到屏幕,守护模式时则输出到/dev/null;
如果要输出日志到syslog中,可以启动syslog-enabled yes,默认该选项值为no。
# syslog-enabled no
databases ###指定数据库的数量,默认为16个,默认使用的数据库是DB 。
----以下为快照相关的设置:------
# save <seconds> <changes> ##指定多长时间刷新快照至磁盘,这个选项有两个属性值,只有当两个属性值均满足时才会触发;可以设置多种级别,例如默认的参数文件中就设置了:
save :每900秒(15分钟)至少一次键值变更时被触发;
save :每300秒(5分钟)至少10次键值变更时被触发;
save :每60秒至少10000次键值变更时被触发;
save
save
save
rdbcompression yes ##默认值yes,当dump数据库时使用LZF压缩字符串对象,如果CPU资源比较紧张,可以设置为no,选择不压缩;
rdbchecksum yes
# The filename where to dump the DB 数据库文件名
dbfilename dump.rdb ##默认值dump.rdb,dump到文件系统中的文件名
dir /usr/local/webserver/redis/db ##默认值./,即当前目录,dump出的数据文件的存储路径;
----以下为复制相关的设置,复制默认是不启用的,因此在默认的参数文件下列表参数均被注释----
# slaveof <masterip> <masterport> ##指定主端ip和端口,用于创建一个镜像服务
# masterauth <master-password> ##如果master配置了密码的话,此处也需做设置;
slave-serve-stale-data yes ##默认值yes。当slave丢失与master端的连接,或者复制仍在处理,那么slave会有下列两种表现:
当本参数值为yes时,slave为继续响应客户端请求,尽管数据已不同步甚至没有数据(出现在初次同步的情况下);
当本参数值为no时,slave会返回"SYNC with master in progreee"的错误信息;
slave-read-only yes ##默认从Redis是只读模式
# repl-ping-slave-period ###默认值10,指定slave定期ping master的周期;
# repl-timeout ##默认值60,指定超时时间。注意本参数包括批量传输数据和ping响应的时间。
------以下为安全相关的设置------
# requirepass foobared ###指定一个密码,客户端连接时也需要通过密码才能成功连接;
# rename-command CONFIG b840fc02d524045429941cc15f59e41cb7be6c52 ###重定义命令,例如将CONFIG命令更名为一个很复杂的名字:
# rename-command CONFIG "" 取消这个命令;
-----以下为资源限制方面的设置------
# maxclients ##指定客户端的最大并发连接数,默认是没有限制,直到redis无法创建新的进程为止,设置该参数值为0也表示不限制,如果该参数指定了值,当并发连接达到指定值时,redis会关闭所有新连接,并返回'max number of clients reached'的错误信息;
# maxmemory <bytes> ###设置redis最大可使用内存。当达到最大内存后,redis会尝试按照设置的回收策略删除键值。如果无法删除键值,或者保留策略设置为不清除,那么redis就会向发出内存的请求返回错误信息。当把redis做为一级LRU的缓存时本参数较为有用。
# maxmemory-policy volatile-lru ###默认值volatile-lru,指定清除策略,有下列几种方法:
volatile-lru -> remove the key with an expire set using an LRU algorithm
allkeys-lru -> remove any key accordingly to the LRU algorithm
volatile-random -> remove a random key with an expire set
allkeys->random -> remove a random key, any key
volatile-ttl -> remove the key with the nearest expire time (minor TTL)
noeviction -> don't expire at all, just return an error on write operations
# maxmemory-samples ###默认值3,LRU和最小TTL策略并非严谨的策略,而是大约估算的方式,因此可以选择取样值以便检查。
-----以下为APPEND的配置----
ONLY模式的设置,默认情况下redis采用异步方式dump数据到磁盘上,极端情况下这可能会导致丢失部分数据(比如服务器突然宕机),如果数据比较重要,不希望丢失,可以启用直写的模式,这种模式下redis会将所有接收到的写操作同步到appendonly.aof文件中,该文件会在redis服务启动时在内存中重建所有数据。注意这种模式对性能影响非常之大。
appendonly no ##默认值no,指定是否启用直写模式;
# appendfilename appendonly.aof ###直写模式的默认文件名appendonly.aof
appendfsync:调用fsync()方式让操作系统写数据到磁盘上,数据同步方式,有下列几种模式:
always:每次都调用,比如安全,但速度最慢;
everysec:每秒同步,这也是默认方式;
no:不调用fsync,由操作系统决定何时同步,比如快的模式;
no-appendfsync-on-rewrite:默认值no。当AOF fsync策略设置为always或everysec,后台保存进程会执行大量的I/O操作。某些linux配置下redis可能会阻塞过多的fsync()调用。
auto-aof-rewrite-percentage:默认值100
auto-aof-rewrite-min-size:默认值64mb
# appendfsync always
appendfsync everysec
# appendfsync no
-----以下为高级配置相关的设置----
hash-max-zipmap-entries:默认值512,当某个map的元素个数达到最大值,但是其中最大元素的长度没有达到设定阀值时,其HASH的编码采用一种特殊的方式(更有效利用内存)。本参数与下面的参数组合使用来设置这两项阀值。设置元素个数;
hash-max-zipmap-value:默认值64,设置map中元素的值的最大长度;这两个
list-max-ziplist-entries:默认值512,与hash类似,满足条件的list数组也会采用特殊的方式以节省空间。
list-max-ziplist-value:默认值64
set-max-intset-entries:默认值512,当set类型中的数据都是数值类型,并且set中整型元素的数量不超过指定值时,使用特殊的编码方式。
zset-max-ziplist-entries:默认值128,与hash和list类似。
zset-max-ziplist-value:默认值64
activerehashing:默认值yes,用来控制是否自动重建hash。Active rehashing每100微秒使用1微秒cpu时间排序,以重组Redis的hash表。重建是通过一种lazy方式,写入hash表的操作越多,需要执行rehashing的步骤也越多,如果服务器当前空闲,那么rehashing操作会一直执行。如果对实时性要求较高,难以接受redis时不时出现的2微秒的延迟,则可以设置activerehashing为no,否则建议设置为yes,以节省内存空间。
Redis在Python中的应用
Redis在Python中的应用也非常简单,不多说,见代码:
#!/usr/bin/env python
# -*- coding: utf-8 -*- import redis
import random
from kazoo_api_config import REDIS_HOST, REDIS_PORT, REDIS_DB class MyRedis(object): __redis_conn = [None, None, None, None, None]
__host = REDIS_HOST
__port = REDIS_PORT
__db = REDIS_DB @staticmethod
def get_conn():
for i in xrange(len(MyRedis.__redis_conn)):
if MyRedis.__redis_conn[i] is None:
MyRedis.__redis_conn[i] = redis.Redis(host=MyRedis.__host, port=MyRedis.__port, db=MyRedis.__db)
count = random.randint(0, 4) return count, MyRedis.__redis_conn[count] @staticmethod
def get_val(key, retries=5):
count, conn = MyRedis.get_conn()
flag = False
try:
if conn.exists(key):
return conn.get(key)
else:
return False
except Exception as e:
flag = True
finally:
if flag and retries > 0:
MyRedis.__redis_conn[count] = redis.Redis(host=MyRedis.__host, port=MyRedis.__port, db=MyRedis.__db)
return MyRedis.get_val(key, retries - 1) @staticmethod
def set_val(key, value, retries = 5):
count, conn = MyRedis.get_conn()
flag = False
try:
return conn.set(key, value)
except Exception as e:
flag = True
finally:
if flag and retries > 0:
MyRedis.__redis_conn[count] = redis.Redis(host=MyRedis.__host, port=MyRedis.__port, db=MyRedis.__db)
return MyRedis.set_val(key, value, retries - 1) @staticmethod
def get_all_keys(retries=5):
count, conn = MyRedis.get_conn()
flag = False
try:
return conn.keys()
except Exception as e:
flag = True
finally:
if flag and retries > 0:
MyRedis.__redis_conn[count] = redis.Redis(host=MyRedis.__host, port=MyRedis.__port, db=MyRedis.__db)
return MyRedis.get_all_keys(retries - 1) @staticmethod
def batch_set(val_dict, retries=5):
count, conn = MyRedis.get_conn()
flag = False
try:
return conn.mset(val_dict)
except Exception as e:
flag = True
finally:
if flag and retries > 0:
MyRedis.__redis_conn[count] = redis.Redis(host=MyRedis.__host, port=MyRedis.__port, db=MyRedis.__db)
return MyRedis.batch_set(val_dict, retries - 1) @staticmethod
def delete_keys(key, retries=5):
count, conn = MyRedis.get_conn()
flag = False
try:
return conn.delete(key)
except Exception as e:
flag = True
finally:
if flag and retries > 0:
MyRedis.__redis_conn[count] = redis.Redis(host=MyRedis.__host, port=MyRedis.__port, db=MyRedis.__db)
return MyRedis.delete_keys(key, retries - 1)
Redis安装配置及在Python上的应用的更多相关文章
- Linux中redis安装配置及使用详解
Linux中redis安装配置及使用详解 一. Redis基本知识 1.Redis 的数据类型 字符串 , 列表 (lists) , 集合 (sets) , 有序集合 (sorts sets) , 哈 ...
- redis 安装配置学习笔记
redis 安装配置学习笔记 //wget http://download.redis.io/releases/redis-2.8.17.tar.gz 下载最新版本 wget http://downl ...
- Ubuntu系统的Redis安装配置
Ubuntu系统的Redis安装配置 一. 安装Redis: 在Ubuntu系统下安装Redis数据库有两种方式: 方式一:下载最新的Redis版本(tar.gz格式),解压安装.操作如下: ...
- java:redis(redis安装配置,redis的伪集群配置)
1.redis安装配置: .安装gcc : yum install gcc-c++ .使用FTP工具FileZilla上传redis安装包到linux根目录下(当前步骤可以替换为:在root目录下执行 ...
- 1.redis安装配置
Redis 1.Redis安装: 说明: 1.也是一种类似于Memcached的kev-value机制的存储服务 2.是非关系型数据库(NoSQL)的一种. 3.官网:www.redis.io,中文网 ...
- Windows下Redis安装配置和使用注意事项
Windows下Redis安装配置和使用注意事项 一:下载 下载地址: https://github.com/microsoftarchive/redis/releases 文件介绍: 本文以3.2. ...
- linux上redis安装配置及其防漏洞配置及其攻击方法
Linux上redis安装: 需先在服务器上安装yum(虚拟机可使用挂载的方式安装) 安装配置所需要的环境运行指令: yum -y install gcc 进入解压文件执行make 指令进行编译 执 ...
- Linux下python3、virtualenv、Mysql、redis安装配置
一.在Linux安装python解释器 1.下载python3源码包 cd /opt/ wget https://www.python.org/ftp/python/3.6.2/Python-3.6. ...
- CentOS 6.6下Redis安装配置记录
转载于:http://www.itxuexiwang.com/a/shujukujishu/redis/2016/0216/120.html?1455855209 在先前的文章中介绍过redis,以下 ...
随机推荐
- EIP权限工作流平台总结-3后端框架
1.预览地址:www.eipflow.com (1) 权限工作流:www.demo.eipflow.com/Account/Login (2) 基础权限版:www.auth.eipflow.com/A ...
- [CentOS7] 设备与文件名对应表
- go语言实战教程:实战项目资源导入和项目框架搭建
从本节内容开始,我们将利用我们所学习的Iris框架的相关知识,进行实战项目开发. 实战项目框架搭建 我们的实战项目是使用Iris框架开发一个关于本地服务平台的后台管理平台.平台中可以管理用户.商品.商 ...
- Topoi 测验1301, 问题C: 1959: 解题 解题报告
Topoi(一个经常会炸的网站) 本题提交链接 很久以前的题目了, 刚开了博客,来写一波题解 先看一波提交记录: 调了好几天QAQ 唉! 要是这些高手里有我估计直接 输出1 就AC了 算法 DFS + ...
- DHCP原理和配置
在大型网络中,会有大量的主机和设备需要获取ip地址和网络参数,为了解决手动配置的工作量大.ip冲突问题,因此需要使用DHCP(dynamic host configuration protocol). ...
- Maven的作用到底是什么
1 . 帮你下载jar包 maven项目会有一个 pom.xml文件, 在这个文件里面,只要你添加相应配置,他就会自动帮你下载相应jar包,不用你铺天盖地的到处搜索你需要的jar包了 下面是示范配置文 ...
- PIE使IE浏览器支持CSS3属性(圆角、阴影、渐变)
http://www.360doc.com/content/12/1214/09/11181348_253939277.shtml PIE使IE浏览器支持CSS3属性(圆角.阴影.渐变) 2012-1 ...
- 023 Merge k Sorted Lists 合并K个有序链表
合并K个有序链表,并且作为一个有序链表的形式返回.分析并描述它的复杂度. 详见:https://leetcode.com/problems/merge-k-sorted-lists/descripti ...
- Android中常用的几种加密
1.数字摘要 是指通过算法将长数据变为短数据,通常用来标识数据的唯一性,是否被修改,常用的加密算法有md5和sha1两种,如Android的App签名也是用的这两种算法. md5具有不可逆性,也可用来 ...
- Java集合——List集合
1.集合框架的作用 在实际开发中,我们经常会对一组相同类型的数据进行统一管理操作.到目前为止,我们可以使用数组结构,链表结构,二叉树结构来实现. 数组的最大问题在于数组中的元素个数是固定的,要实现动态 ...