Redis实例安装
安装说明：自动解压缩安装包，按照指定路径编译安装，复制配置文件模板到Redis实例路的数据径下，根据端口号修改配置文件模板
三个必须文件：1，配置文件,2，当前shell脚本,3，安装包
参数1：basedir,redis安装包路径
参数2：安装实例路径
参数3：安装包名称
参数4：安装实例的端口号
#!/bin/bash

set -e

if [ $# -lt  ]; then

        echo "$(basename $0): Missing script argument"

        echo "$(installdir $0) [installfilename] [port] "

        exit

fi

PotInUse=`netstat -anp |  awk '{print $4}'  | grep $ | wc -l`

if [ $PotInUse -gt  ];then

  echo "ERROR" $ "Port is used by another process!"

  exit

fi

basedir=$

installdir=$

installfilename=$

port=$

cd $basedir

tar -zxvf $installfilename.tar.gz  >/dev/null >& &

cd $installfilename

mkdir -p $installdir

make PREFIX=$installdir install

sleep 1s

cp $basedir/redis.conf $installdir

sed -i "s/instance_port/$port/g"  $installdir/redis.conf

sleep 1s

cd $installdir

./bin/redis-server redis.conf >/dev/null >& &

配置文件模板

################################## INCLUDES ###################################

# include /path/to/local.conf

# include /path/to/other.conf

################################## MODULES #####################################

# loadmodule /path/to/my_module.so

# loadmodule /path/to/other_module.so

################################## NETWORK #####################################

bind 127.0.0.1 & your ip

port instance_port

tcp-backlog 511

timeout 0

tcp-keepalive 300

################################# GENERAL #####################################

daemonize yes

supervised no

pidfile ./redis_instance_port.pid

loglevel notice

logfile ./redis_log.log

databases 16

always-show-logo yes

################################ SNAPSHOTTING  ################################

save 900 1

save 300 10

save 60 10000

stop-writes-on-bgsave-error yes

rdbcompression yes

rdbchecksum yes

dbfilename dump.rdb

dir ./

################################# REPLICATION #################################

# masterauth <master-password>

replica-serve-stale-data yes

replica-read-only yes

repl-diskless-sync no

repl-diskless-sync-delay 5

repl-disable-tcp-nodelay no

replica-priority 100

################################## SECURITY ###################################

requirepass your_passwrod

################################### CLIENTS ####################################

# maxclients 10000

############################## MEMORY MANAGEMENT ################################

# maxmemory <bytes>

# maxmemory-policy noeviction

# maxmemory-samples 5

# replica-ignore-maxmemory yes

############################# LAZY FREEING ####################################

lazyfree-lazy-eviction no

lazyfree-lazy-expire no

lazyfree-lazy-server-del no

replica-lazy-flush no

############################## APPEND ONLY MODE ###############################

appendonly no

appendfilename "appendonly.aof"

# appendfsync always

appendfsync everysec

# appendfsync no

no-appendfsync-on-rewrite no

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

aof-load-truncated yes

aof-use-rdb-preamble yes

################################ LUA SCRIPTING  ###############################

lua-time-limit 5000

################################ REDIS CLUSTER  ###############################

cluster-enabled yes

# cluster-replica-validity-factor 10

# cluster-require-full-coverage yes

# cluster-replica-no-failover no

########################## CLUSTER DOCKER/NAT support  ########################

################################## SLOW LOG ###################################

slowlog-log-slower-than 10000

slowlog-max-len 128

################################ LATENCY MONITOR ##############################

latency-monitor-threshold 0

############################# EVENT NOTIFICATION ##############################

notify-keyspace-events ""

############################### ADVANCED CONFIG ###############################

hash-max-ziplist-entries 512

hash-max-ziplist-value 64

list-max-ziplist-size -2

list-compress-depth 0

set-max-intset-entries 512

zset-max-ziplist-entries 128

zset-max-ziplist-value 64

hll-sparse-max-bytes 3000

stream-node-max-bytes 4096

stream-node-max-entries 100

activerehashing yes

client-output-buffer-limit normal 0 0 0

client-output-buffer-limit replica 256mb 64mb 60

client-output-buffer-limit pubsub 32mb 8mb 60

# client-query-buffer-limit 1gb

# proto-max-bulk-len 512mb

hz 10

dynamic-hz yes

aof-rewrite-incremental-fsync yes

rdb-save-incremental-fsync yes

########################### ACTIVE DEFRAGMENTATION #######################

# Enabled active defragmentation

# activedefrag yes

# Minimum amount of fragmentation waste to start active defrag

# active-defrag-ignore-bytes 100mb

# Minimum percentage of fragmentation to start active defrag

# active-defrag-threshold-lower 10

# Maximum percentage of fragmentation at which we use maximum effort

# active-defrag-threshold-upper 100

# Minimal effort for defrag in CPU percentage

# active-defrag-cycle-min 5

# Maximal effort for defrag in CPU percentage

# active-defrag-cycle-max 75

# Maximum number of set/hash/zset/list fields that will be processed from

# the main dictionary scan

# active-defrag-max-scan-fields 1000

安装示例
sh redis_install.sh /usr/local/redis/   /usr/local/redis5/redis9008/  redis-5.0.4  9008

Redi实例的目录结构

基于Python的Redis自动化集群实现

基于Python的自动化集群实现，初始化节点为node_1~node_6，节点实例需要为集群模式，三主三从，自动化集群，分配slots，加入从节点，3秒钟左右完成

import redis

#master

node_1 = {'host': '127.0.0.1', 'port': 9001, 'password': '***'}

node_2 = {'host': '127.0.0.1', 'port': 9002, 'password': '***'}

node_3 = {'host': '127.0.0.1', 'port': 9003, 'password': '***'}

#slave

node_4 = {'host': '127.0.0.1', 'port': 9004, 'password': '***'}

node_5 = {'host': '127.0.0.1', 'port': 9005, 'password': '***'}

node_6 = {'host': '127.0.0.1', 'port': 9006, 'password': '***'}

redis_conn_1 = redis.StrictRedis(host=node_1["host"], port=node_1["port"], password=node_1["password"])

redis_conn_2 = redis.StrictRedis(host=node_2["host"], port=node_2["port"], password=node_2["password"])

redis_conn_3 = redis.StrictRedis(host=node_3["host"], port=node_3["port"], password=node_3["password"])

# cluster meet

redis_conn_1.execute_command("cluster meet {0} {1}".format(node_2["host"],node_2["port"]))

redis_conn_1.execute_command("cluster meet {0} {1}".format(node_3["host"],node_3["port"]))

print('#################flush slots #################')

redis_conn_1.execute_command('cluster flushslots')

redis_conn_2.execute_command('cluster flushslots')

redis_conn_3.execute_command('cluster flushslots')

print('#################add slots#################')

for i in range(0,16383+1):

    if i <= 5461:

        try:

            redis_conn_1.execute_command('cluster addslots {0}'.format(i))

        except:

            print('cluster addslots {0}'.format(i) +' error')

    elif 5461 < i and i <= 10922:

        try:

            redis_conn_2.execute_command('cluster addslots {0}'.format(i))

        except:

            print('cluster addslots {0}'.format(i) + ' error')

    elif 10922 < i:

        try:

            redis_conn_3.execute_command('cluster addslots {0}'.format(i))

        except:

            print('cluster addslots {0}'.format(i) + ' error')

print()

print('#################cluster status#################')

print()

print('##################'+str(node_1["host"])+':'+str(node_1["port"])+'##################')

print(str(redis_conn_1.execute_command('cluster info'), encoding = "utf-8").split("\n")[0])

print('##################'+str(node_2["host"])+':'+str(node_2["port"])+'##################')

print(str(redis_conn_1.execute_command('cluster info'), encoding = "utf-8").split("\n")[0])

print('##################'+str(node_3["host"])+':'+str(node_3["port"])+'##################')

print(str(redis_conn_1.execute_command('cluster info'), encoding = "utf-8").split("\n")[0])

#slave cluster meet

redis_conn_1.execute_command("cluster meet {0} {1}".format(node_4["host"],node_4["port"]))

redis_conn_2.execute_command("cluster meet {0} {1}".format(node_5["host"],node_5["port"]))

redis_conn_3.execute_command("cluster meet {0} {1}".format(node_6["host"],node_6["port"]))

#cluster nodes

print(str(redis_conn_1.execute_command('cluster nodes'), encoding = "utf-8"))

############################add salve in cluster##########################################

#slave cluster meet

print('################# cluster meet slave #################')

redis_conn_1.execute_command("cluster meet {0} {1}".format(node_4["host"],node_4["port"]))

redis_conn_2.execute_command("cluster meet {0} {1}".format(node_5["host"],node_5["port"]))

redis_conn_3.execute_command("cluster meet {0} {1}".format(node_6["host"],node_6["port"]))

sleep(5)

print('################# add slave in cluster #################')

# get 主节点的node_id，按照主节点的顺序依次添加到主节点dict_cluster_nodes中，确保主从按照list中的顺序一一对应

redis_conn_1 = redis.StrictRedis(host=node_1["host"], port=node_1["port"], password=node_1["password"], decode_responses=True)

dict_cluster_nodes = redis_conn_1.cluster('nodes')

print(dict_cluster_nodes)

dict_master_node_id = {}

for m_node in master_node:

    for key, values in dict_cluster_nodes.items():

        if key[0:key.index('@')] == str(m_node["host"])+':'+str(m_node["port"]):

            dict_master_node_id[key[0:key.index('@')]] = values['node_id']

            # 输出示例

            '''

            {

                '127.0.0.1:9001': '84f0c3a21ab6dd6965923915434cc62fc0f5cc2b',

                '127.0.0.1:9002': 'b584f695eb9c1552c25f92e28a50c9ce62ad9ee9',

                '127.0.0.1:9001': 'b95898c17761b448ea88bb9682bac9b69b045adc'

            }

            '''

# 依次添加slave节点

# 如何确保主从于list中的节点一一对应？

# 在主节点上任意一个节点上get 集群的node的时候，按照master节点顺序构造dict_cluster_nodes，然后遍历dict_cluster_nodes的时候自然就一一对应了。

node_index = 0

for s_node in slave_node:

    slave_redis_conn = redis.StrictRedis(host=s_node["host"], port=s_node["port"], password=s_node["password"])

    print(str(s_node["host"])+':'+str(s_node["port"]) + ' slave of----->' + str(master_node[node_index]["host"])+':'+str(master_node[node_index]["port"]))

    repl_command = 'cluster replicate ' + dict_master_node_id[str(master_node[node_index]["host"])+':'+str(master_node[node_index]["port"])]

    print(repl_command)

    slave_redis_conn.execute_command(repl_command)

    node_index = node_index + 1

    '''

    127.0.0.1:9004 slave of-----> 127.0.0.1:9001

    cluster replicate 84f0c3a21ab6dd6965923915434cc62fc0f5cc2b

    127.0.0.1:9005 slave of-----> 127.0.0.1:9002

    cluster replicate b584f695eb9c1552c25f92e28a50c9ce62ad9ee9

    127.0.0.1:9006 slave of-----> 127.0.0.1:9003

    cluster replicate b95898c17761b448ea88bb9682bac9b69b045adc

    '''

示例

这样一个Redis的集群，从实例的安装到集群的安装，环境依赖本身没有问题的话，基本上1分钟之内可以完成这个搭建过程。

Redis自动化安装以及集群实现的更多相关文章

  1. [k8s]kubespray(ansible)自动化安装k8s集群

    kubespray(ansible)自动化安装k8s集群 https://github.com/kubernetes-incubator/kubespray https://kubernetes.io ...

  2. Redis单机安装以及集群搭建

    今天主要来看一下Redis的安装以及集群搭建(我也是第一次搭建). 环境:CentOS 7.1,redis-5.0.7 一.单机安装 1.将Redis安装包放置服务器并解压 2.进入redis安装目录 ...

  3. linux下redis的安装和集群搭建

    一.redis概述 1.1.目前redis支持的cluster特性: 1):节点自动发现. 2):slave->master 选举,集群容错. 3):Hot resharding:在线分片. 4 ...

  4. Redis集合 安装 哨兵集群 配置

    redis相关 redis基础 redis发布订阅 redis持久化RDB与AOF redis不重启,切换RDB备份到AOF备份 redis安全配置 redis主从同步 redis哨兵集群 redis ...

  5. 利用ansible书写playbook在华为云上批量配置管理工具自动化安装ceph集群

    首先在华为云上购买搭建ceph集群所需云主机: 然后购买ceph所需存储磁盘 将购买的磁盘挂载到用来搭建ceph的云主机上 在跳板机上安装ansible 查看ansible版本,检验ansible是否 ...

  6. Centos7下安装redis实战(单机版以及集群)

    一.背景 因项目需要,要引入redis做缓存,就在centos7下亲自安装了一遍redis,刚好趁着这个机会就来把redis的概念以及单机版和集群版redis安装步骤记录下来,在此和大家一起分享. 二 ...

  7. Redis 3.0 Cluster集群配置

    Redis 3.0 Cluster集群配置 安装环境依赖 安装gcc:yum install gcc 安装zlib:yum install zib 安装ruby:yum install ruby 安装 ...

  8. 分布式缓存技术redis学习系列（四）——redis高级应用（集群搭建、集群分区原理、集群操作）

    本文是redis学习系列的第四篇,前面我们学习了redis的数据结构和一些高级特性,点击下面链接可回看 <详细讲解redis数据结构(内存模型)以及常用命令> <redis高级应用( ...

  9. redis + 主从 + 持久化 + 分片 + 集群 + spring集成

    Redis是一个基于内存的数据库,其不仅读写速度快,每秒可以执行大约110000的写操作,81000的读取操作,而且其支持存储字符串,哈希结构,链表,集合丰富的数据类型.所以得到很多开发者的青睐.加之 ...

随机推荐

  1. NOIP模拟赛 华容道 （搜索和最短路）蒟蒻的第一道紫题

    题目描述 小 B 最近迷上了华容道,可是他总是要花很长的时间才能完成一次.于是,他想到用编程来完成华容道:给定一种局面, 华容道是否根本就无法完成,如果能完成, 最少需要多少时间. 小 B 玩的华容道 ...

  2. 使用Samba或实现文件共享

    安装Samba服务软件包: 命令:yum install samba 使用Samba服务口令验证方式可以让共享文件更加的安全,做到仅让信任的用户访问,而且验证过程也很简单 第1步:检查当前是否为use ...

  3. MySQL初始化root密码以及root密码忘记解决方法

    一.MySQL初始化root密码 mysql默认root用户没有密码,输入mysql –u root 进入mysql 1.进入mysql数据库 use mysql; 2.初始化root密码 mysql ...

  4. ASP.NET Core主机地址过滤HostFiltering

    前言 在ASP.Net Core2.X调用的CreateWebHostBuilder和3.X的主要区别在于WebHost的调用,CreateDefaultBuilder被Host替换,另一个区别是对C ...

  5. 详解Spring Security的HttpBasic登录验证模式

    一.HttpBasic模式的应用场景 HttpBasic登录验证模式是Spring Security实现登录验证最简单的一种方式,也可以说是最简陋的一种方式.它的目的并不是保障登录验证的绝对安全,而是 ...

  6. Comparable接口的实现和使用

    1.什么是Comparable接口 此接口强行对实现它的每个类的对象进行整体排序.此排序被称为该类的自然排序 ,类的 compareTo 方法被称为它的自然比较方法 .实现此接口的对象列表(和数组)可 ...

  7. 在VMware环境下安装Windows2008

    1.软硬件安装 软件:推荐使用VMware,这里我使用的是VMware15 镜像:Windows 2008 如果没有镜像可以到这里 链接:https://pan.baidu.com/s/1r_7K-U ...

  8. Non-local Neural Networks 原理详解及自注意力机制思考

    Paper:https://arxiv.org/abs/1711.07971v1 Author:Xiaolong Wang, Ross Girshick, Abhinav Gupta, Kaiming ...

  9. 轻松实现C/C++各种常见进制相互转换

    其它进制转为十进制 在实现这个需求之前,先简单介绍一个c标准库中的一个函数: long strtol( const char *str, char **str_end, int base); 参数详细 ...

  10. IDEA+JSP+Servlet+Tomcat简单的登录示例

    1.用IDEA新建Java WEB项目并配置Tomcat 这一部分可以参考之前的一篇随笔 https://www.cnblogs.com/lbhym/p/11496610.html 2.导入Servl ...