redis集群的测试   原文:http://blog.sina.com.cn/s/blog_53b45c4d0102wg10.html 1.测试存取值 客户端连接集群redis-cli需要带上 -c ,redis-cli -c -p 端口号 [root@localhost redis01]# ./redis-cli -c -p 7001 127.0.0.1:7001> set name andy -> Redirected to slot [5798] located at 127.0.0.…

zookeeper部署及集群测试 环境 三台测试机 操作系统: centos7 ; hostname: c1 ; ip: 192.168.1.80 操作系统: centos7 ; hostname: c2 ; ip: 192.168.1.81 操作系统: centos7 ; hostname: c3 ; ip: 192.168.1.82 备注 注意要关闭防火墙 查看磁盘状况 为了避免磁盘使用不均而导致系统问题,因而先查看磁盘的分布情况. [root@sso conf]# df -lh Files…

1.   概述 Dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案 Dubbo是阿里巴巴SOA服务化治理方案的核心框架,每天为2,000+个服务提供3,000,000,000+次访问量支持,并被广泛应用于阿里巴巴集团的各成员站点: 那么,Dubbo是什么? Dubbo是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案. 其核心部分包含: 远程通讯: 提供对多种基于长连接的NIO框架抽象封装,包括多种…

项目中使用了redis ,对于其基本的使用,相对简单些,根据项目中已经提供的工具就可以实现基本的功能,但是只是这样的话,对于redis还是太肤浅,甚至刚开始时候,集群.多节点.主从是什么,他们之间是什么关系都很模糊.利用瓜弟的服务器,自己学习搭建了一个,现在将其中的主要流程.集群测试.搭建中遇到的问题,记录下来,以备后用和帮助后来者. 一.主要的搭建过程 分为两部分: 1.利用小王子提供的简要命令安装redis; redis安装 1.安装redis依赖 # yum install gcc tcl…

一.集群环境搭好了,我们来测试一下吧 1.在java下创建一个wordcount文件夹:mkdir wordcount 2.在此文件夹下创建两个文件,比如file1.txt和file2.txt 在file1.txt中写入: Hello java Hello world 在file2.txt中写入: Hello hadoop Hello wordcount 3.在HDFS中创建一个input文件夹 hadoop fs mkdir /input hadoop fs -ls / 4.把刚刚写好的两个文…

--测试目的 测试ceph集群的读写性能,根据测试数据了解整个ceph集群的性能情况. --测试环境 1.8节点ceph集群环境,1台虚拟机(cpu 8核,内存8G),8k的块大小,时长2小时 2.8节点ceph集群环境,5台虚拟机(cpu 8核,内存8G),8k的块大小,时长2小时 --测试情景 1.Ceph集群无故障的性能指标 2.Ceph集群移除节点的性能指标 [ceph集群无故障状态测试] --测试方法: 1.从ceph集群中创建一个1T的块设备空间,将分出的磁盘空间挂载到虚拟机. A.…

1. Spark Shell测试 Spark Shell是一个特别适合快速开发Spark原型程序的工具,可以帮助我们熟悉Scala语言.即使你对Scala不熟悉,仍然可以使用这一工具.Spark Shell使得用户可以和Spark集群进行交互,提交查询,这便于调试,也便于初学者使用Spark. 测试案例1: [Spark@Master spark]$ MASTER=spark://Master:7077 bin/spark-shell //连接到集群 Spark assembly has bee…

1.traefik traefik:HTTP层路由,官网:http://traefik.cn/,文档:https://docs.traefik.io/user-guide/kubernetes/ 功能和nginx ingress类似. 相对于nginx ingress,traefix能够实时跟Kubernetes API 交互,感知后端 Service.Pod 变化,自动更新配置并热重载.Traefik 更快速更方便,同时支持更多的特性,使反向代理.负载均衡更直接更高效. k8s集群部署Trae…

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有显著区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务 组件说明: Codis 3.x 由以下组件组成: Codis Server:基于 redi…

1.准备MHA集群环境 准备6台虚拟机,并按照本节规划配置好IP参数 在这些虚拟机之间实现SSH免密登录 在相应节点上安装好MHA相关的软件包   使用6台RHEL 7虚拟机,如图-1所示.准备集群环境,安装依赖包,授权用户,配置ssh密钥对认证登陆,所有节点之间互相以root秘钥对认证登录,管理主机以root密钥对认证登录所有数据节点主机,配置mha集群. 1.1 修改主机名,配置IP msyql{50..57} 192.168.4.{50..57}   1.2 安装包(51-55) ]# m…

1.ceph简介 Ceph在一个统一的系统中独特地提供对象.块和文件存储 1.1 ceph官网架构图 1.2 架构解释   CEPH 对象存储 CEPH 块设备 CEPH 文件系统 RESTful 接口 S3 和 Swift 兼容的 API S3 风格的子域 统一的 S3/Swift 命名空间 用户管理 使用跟踪 条纹对象 云解决方案集成 多站点部署 多站点复制 精简配置 图像高达 16 艾字节 可配置的条带化 内存缓存 快照 写时复制克隆 内核驱动支持 KVM/libvirt 支持 云解决方案…

​ 案例说明: KingbaseES V8R6C5B041版本和以前的KingbaseES R6有一定的区别,增加了"securecmdd"的工具,并且在install.conf配置文件中增加了"两地三中心"部署的配置项.本案例在最新的版本手工部署集群进行测试,用于研究和以前R6版本手工部署的异同点,本案例在通用机环境下测试. 关于securecmdd工具说明: 7.2.1.1. 免密配置约束 1. 目前在通用机上支持两种部署方式:① 通过sshd服务自动分发文件并…

案例说明: 本案例参考<Job And Schedule (V8R6C4)>(https://www.cnblogs.com/kingbase/p/15194227.html)单实例环境下的job管理案例. 本案例重点是在测试集群切换后在新的主库下,job任务是否能正常被执行. 测试数据库版本: prod=# select version(); version -------------------------------------------------------------------…

1. os ubuntu12.04 基础环境准备 干掉不好用的vim重新装 sudo apt-get remove vim-common sudo apt-get install vim 如果需要使用代理请参照 http://jileniao.net/set-global-proxy-for-ubuntu.html 有大部分文章说的用命令行设置的都不行 搭samba共享服务 sudo apt-get install samba   // 提供samba服务的机器需要安装 sudo apt-get…

分别在3台机子安装nginx和启动nginx服务. dir: 192.168.0.7 另外2台服务器为 192.168.0.5 ,192.168.0.6 在dir  192.168.0.7 上增加配置 cd /etc/nginx/conf.d vim proxy.conf upstream weifeng { server 192.168.0.5:80 weight=2; server 192.168.0.6:80 weight=1; } server {listen 80;server_nam…

master操作: [admin@master ~]$ start-all.sh [admin@master ~]$ jps [admin@master ~]$ hadoop fs -mkdir /input [admin@master ~]$ cd hadoop-3.0.0/[admin@master hadoop-3.0.0]$ ls [admin@master hadoop-3.0.0]$ hadoop fs -put LICENSE.txt /input[admin@master had…

使用ribbon实现负载均衡,访问同一个url,轮询不同的服务提供端,从不同的数据库中取数据.…

参考文档 Redis 官方集群指南:http://redis.io/topics/cluster-tutorial Redis 官方集群规范:http://redis.io/topics/cluster-spec Redis 集群指南(中文翻译,紧供参考):http://redisdoc.com/topic/cluster-tutorial.html Redis 集群规范(中文翻译,紧供参考): http://redisdoc.com/topic/cluster-spec.html 要让 Red…

参考: 龙果学院http://www.roncoo.com/share.html?hamc=hLPG8QsaaWVOl2Z76wpJHp3JBbZZF%2Bywm5vEfPp9LbLkAjAnB%2BnHpF8rHqMAsZ9U%2Ff1CcK%2Fi%2BOWuJ8pVcwcq6A%3D%3D 从 ActiveMQ 5.9 开始,ActiveMQ 的集群实现方式取消了传统的Master-Slave 方式,增加了基于ZooKeeper + LevelDB的 Master-Slave实现方式,其他…

刚接触一些Apache Kafka的内容,用了两天时间研究了一下,仅以此文做相关记录,以供学习交流.  概念: kafka依赖的项: 1. 硬件上,kafka利用线性存储来进行硬盘直接读写. 2. kafka没有使用内存作为缓存. 3. 用zero-copy. 4. Gzip和Snappy压缩, 5. kafka对事务处理比较弱,但是message分发上还是做了一定的策略来保证数据递送的准确性的. kafka关于存储的几个概念 1. Partition:同一个topic下可以设置多个partit…

写在前面 本文只讲一个很简单的问题,YCSB对HBase集群的测试.虽然网上有很多介绍YCSB测试HBase的文章,但都是针对本地HBase伪分布式集群的.大家都知道,稍微正式一些的压测都会要求测试客户端与目标集群分离部署,而且伪分布式集群通常不会在生产环境下使用,本身也没有太大的压测意义.本文会着重介绍一下压测远程HBase完全分布式集群的不同之处. 正文 YCSB是Yahoo开源的性能测试工具,支持很多种类的NoSQL数据库测试,这里既包括了经典的HBase/Cassandra/MongoD…

在Redis中,与Sentinel(哨兵)实现的高可用相比,集群(cluster)更多的是强调数据的分片或者是节点的伸缩性,如果在集群的主节点上加入对应的从节点,集群还可以自动故障转移,因此相比Sentinel(哨兵)还是有不少优势的.以下简单测试Redis的集群(单机多实例的模式),来体验一下集群的自动故障转移功能,同时结合Python,来观察自动故障转移过程中应用程序端的表现. redis集群实例安装 启动6个redis集群实例,集群模式,除了正常的配置项目之外,需要在每个主节点中增加集群配…

redis3.0集群部署和测试 环境介绍 两台Centos7的虚拟机模拟6个节点,A台3个master节点,B台3个slave节点A地址:172.16.81.140B地址:172.16.81.141redis版本:redis-3.2.4 部署前准备 关闭防火墙--->systemctl stop firewalld开机禁用防火墙--->systemctl disable firewalld临时关闭selinux--->setenforce 0永久关闭selinux--->sed -…

1:集群中的机器信息 IP PORT 192.168.3.10 7000,7001,7002 192.168.3.11 7004,7005,7006 2:安装Redis 分别在10与11机器上面安装Redis. (1)解压安装 #tar -zxvf redis-3.2.5.tar.gz #cd redis-3.2.5 #make && make install (2)修改系统的限制文件 修改文件/etc/security/limits.conf,加入以下两行: * soft nofile…

1.上传安装包 libevent-2.0.22-stable.tar.gz memcached-1.4.24.tar.gz 2.安装libevent 创建目录 mkdir -p /apps/install/libevent 解压 tar -zxvf libevent-2.0.22-stable.tar.gz -C /apps/install/libevent 安装 cd libevent-2.0.22-stable/ ./configure \ --prefix=/usr/local/libev…

原文:http://www.iteye.com/topic/1145651 从 ActiveMQ 5.9 开始,ActiveMQ 的集群实现方式取消了传统的Master-Slave 方式,增加了基于ZooKeeper + LevelDB的 Master-Slave实现方式,其他两种方式目录共享和数据库共享依然存在. 三种集群方式的对比: (1)基于共享文件系统(KahaDB,默认): <persistenceAdapter> <kahaDB directory="${activ…

Kafka初识 1.Kafka使用背景 在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计,分析出当前的流行趋势 有些数据,存储数据库浪费,直接存储硬盘效率又低 这些场景都有一个共同点: 数据是由上游模块产生,上游模块,使用上游模块的数据计算.统计.分析,这个时候就可以使用消息系统,尤其是分布式消息系统! 2.Kafka的定义 What is Kafka:它是一个分布…

文章目录 Redis集群的安装(Redis3+CentOS) 参考文档 Redis 集群介绍.特性.规范等(可看提供的参考文档+视频解说) Redis 集群的安装(Redis3.0.3 + CentOS6.6_x64) 接下来准备创建集群 集群简单测试 将 Redis 配置成服务 其它供参考资料 Redis集群的高可用测试(含Jedis客户端的使用) Redis 集群的使用测试(Jedis 客户端的使用) Redis 集群的高可用性测试 Redis集群的扩展测试 一.安装新的 Redis 节点,…

案例三:测试'recovery = manual' 1.查看集群节点状态信息: [kingbase@node1 bin]$ ./repmgr cluster show ID | Name | Role | Status | Upstream | Location | Priority | Timeline | Connection string ----+---------+---------+-----------+----------+----------+----------+------…

KingbaseES R6集群repmgr.conf参数'recovery'测试案例(一) 案例说明: 在KingbaseES R6集群中,主库节点出现宕机(如重启或关机),会产生主备切换,但是当主库节点系统恢复正常后,如何对原主库节点进行处理,保证集群数据的一致性和安全,可以通过对repmgr.conf文件中配置recovery参数来解决.本案例记录了对'recovery'参数的三种配置的详细测试过程. 注意:对于KingbaseES R6老的版本,recovery参数只支持'manual'和…