参考 https://github.com/cloudius-systems/osv/wiki/Benchmarking-Cassandra-and-other-NoSQL-databases-with-YCSB https://github.com/brianfrankcooper/YCSB/tree/master/cassandra  创建 表头 https://gist.github.com/pbailis/3978273 设置field参数 长度和个数 启动和 redis类似,只不过,参

写在前面 本文只讲一个很简单的问题,YCSB对HBase集群的测试.虽然网上有很多介绍YCSB测试HBase的文章,但都是针对本地HBase伪分布式集群的.大家都知道,稍微正式一些的压测都会要求测试客户端与目标集群分离部署,而且伪分布式集群通常不会在生产环境下使用,本身也没有太大的压测意义.本文会着重介绍一下压测远程HBase完全分布式集群的不同之处. 正文 YCSB是Yahoo开源的性能测试工具,支持很多种类的NoSQL数据库测试,这里既包括了经典的HBase/Cassandra/MongoD

项目里面需要对mongodb的性能进行测试,看了下网上很多做法都是使用YCSB进行测试,因此开始学习使用YCSB. 参考资料: YCSB github地址:https://github.com/brianfrankcooper/YCSB wiki: https://github.com/brianfrankcooper/YCSB/wiki 安装参考:https://github.com/brianfrankcooper/YCSB/tree/master/mongodb 之前的一些测试经验:htt

一.前言 巨杉数据库(SequoiaDB)是国内第一款新一代文档型分布式数据库,巨杉数据库由巨杉软件完全自主研发,拥有完全自主知识产权,不基于任何其它的开源项目.SequoiaDB数据库是为分布式存储.并行计算模型.云计算资源条件下搭建和运行应用程序而设计的. 作为一款操作性数据库,巨杉数据库在海量数据实时读写场景具有得天独厚的优势,拥有较高的读写性能. 为便于跟其他同类数据库进行比较,在本篇文章中,我们介绍一个专门用于对NoSQL数据库产品进行性能测试的工具--YCSB. 二.YCSB介绍 Y

转自:http://www.itdadao.com/articles/c15a531189p0.html http://www.cnblogs.com/bettersky/p/6158172.html 参考 https://github.com/cloudius-systems/osv/wiki/Benchmarking-Cassandra-and-other-NoSQL-databases-with-YCSB https://github.com/brianfrankcooper/YCSB/t

测试是由同事完成的,这里只做收藏. 测试说明: 1.数据量为3kw记录,每条记录11个字段,一个为主键,主键为字符类型,类似:user****,后续为数值 其他10字段为字符类型,100字符,记录长度大约为1KB 2.使用ycsb进行压力测试.具体各类型参考以前文档 3.三千万数据,对目前数据库都能缓存到DB中(后续测试缓存80%,50%,30%等情况下性能情况) 4.测试项包括:数据装载,就是insert数据                       ycsb的标准负载a.负载b.负载c.负

下载 github:https://github.com/brianfrankcooper/YCSB/releases/tag/0.10.0 wget https://github.com/brianfrankcooper/YCSB/archive/0.10.0.tar.gztar xvf 0.10.0.tar.gz 编译: cd YCSB-0.10.0/ 编译所有的nosql mvn clean package 只编译Hbase mvn -pl com.yahoo.ycsb:hbase10-b

准备: 环境: 两台虚拟机:ip:192.168.138.128/129;配置:2核4G: 版本:apache-cassandra-3.10    ycsb-cassandra-binding-0.13.0-SNAPSHOT 系统参数优化: 1 时钟同步-----非常重要,涉及到集群内数据同步问题 在crontab中加上: */1 * * * * /usr/sbin/ntpdate time.nist.gov 2  关闭cpu变频控制 for CPUFREQ in /sys/devices/sy

一.下载ycsb 0.10包 https://github.com/brianfrankcooper/YCSB/releases/download/0.10.0/ycsb-0.10.0.tar.gz 二.上传到linux,解压 tar -zxvf ycsb-0.10.0.tar.gz 三.YSCB压力测试hbase流程 1.进入workloads目录下进行文件配置:比如: workload_test,我们也可以根据下面进行自定义配置: 参数说明: 这里我根据workloads下的文件进行的配置:

这几天在搭Cassandra集群以及对Cassandra的性能测试,步骤还挺多,记录一下. 关于Caaandra在服务器上配置多节点集群,可以参考一下文章: http://blog.csdn.net/cloud_xy/article/details/48091003 http://blog.csdn.net/cloud_xy/article/details/48107251 以及Cassandra官方文档:http://cassandra.apache.org/doc/latest/gettin

这两天一直在用YCSB.昨天还可以用的YCSB,今天在测试Cassandra时遇到问题了. 环境是在公用局域网的一台debian机器,YCSB和Cassandra都在这台机器上.异常是开始运行YCSB命令开始load后,一直没反馈,过了一段时间出现: UnavailableException()    at org.apache.cassandra.thrift.Cassandra$batch_mutate_result.read(Cassandra.java:19487)    at org.

转自:http://blog.sina.com.cn/s/blog_48c95a190102v9kg.html         YCSB(Yahoo! Cloud Serving Benchmark)是雅虎开源的一款通用的性能测试工具.通过这个工具我们可以对各类NoSQL产品进行相关的性能测试,包括:HBase. Cassandra.Mongodb.Voldemort.Redis等.通过配置workload文件,YCSB可以灵活的模拟不同的测试负载和读写模 式,以下为YCSB测试Mongo性能步

1. 测试目的 测试Cassandra集群读写TPS的极值,确定Cassandra读写性能. 2. 测试环境 2.1 硬件信息 CPU 8核 Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz RAM 16G 2.2  软件信息 JDK 1.8u151 Cassandra 3.11.1 cassandra-driver-core 3.3.2 OS CentOS Linux release 7.3.1611 2.3 集群信息 集群名称 IP 类型 JCPT Test

引言 大家好,我是蔡一凡,是Cassandra的贡献者之一.(虽然我不便透露我的公司名称),但目前我们公司Cassandra的部署是全世界最大的之一,Cassandra在我们公司也有很多的应用. Cassandra是一个拥有high-scalability(高伸缩性).high-availability(高可用性)的数据库.接下来,我们来看一下Cassandra 4.0将会为我们带来什么新的令人激动的特性. 首先,不久之前,Cassandra 4.0-beta1已经发布了,在发布这个版本之前,总

近日,知名独立基准测评机构Bankmark,针对目前市面上主流的NoSQL数据库SequoiaDB.MongoDB以及Cassandra三款NoSQL数据库产品做了性能对比测试并发布测试报告.在所有的测试中,三款NoSQL数据库产品的表现各有千秋,没有那款产品能在所有测试场景中完败对手,就整体表现而言SequoiaDB与Cassandra不相上下表现上佳,而MongoDB表现却不理想属于垫底的存在. 测试机构: Bankmark是一家德国的独立基准测评机构,业内著名的NoSQL性能测试团队. 测

Android的界面是有布局和组件协同完成的,布局好比是建筑里的框架,而组件则相当于建 筑里的砖瓦.组件按照布局的要求依次排列,就组成了用户所看见的界面.Android的五大布局分别是LinearLayout(线性布局). FrameLayout(单帧布局).RelativeLayout(相对布局).AbsoluteLayout(绝对布局)和 TableLayout(表格布局). LinearLayout: LinearLayout按照垂直或者水平的顺序依次排列子元素,每一个子元素都位于前一个元

1.Redis Cluster总览 1.1 设计原则和初衷 在官方文档Cluster Spec中,作者详细介绍了Redis集群为什么要设计成现在的样子.最核心的目标有三个: 性能:这是Redis赖以生存的看家本领,增加集群功能后当然不能对性能产生太大影响,所以Redis采取了P2P而非Proxy方式.异步复制.客户端重定向等设计,而牺牲了部分的一致性.使用性. 水平扩展:集群的最重要能力当然是扩展,文档中称可以线性扩展到1000结点. 可用性:在Cluster推出之前,可用性要靠Sentinel

全面剖析Redis Cluster原理和应用 1.Redis Cluster总览 1.1 设计原则和初衷 在官方文档Cluster Spec中,作者详细介绍了Redis集群为什么要设计成现在的样子.最核心的目标有三个: 性能:这是Redis赖以生存的看家本领,增加集群功能后当然不能对性能产生太大影响,所以Redis采取了P2P而非Proxy方式.异步复制.客户端重定向等设计,而牺牲了部分的一致性.使用性. 水平扩展:集群的最重要能力当然是扩展,文档中称可以线性扩展到1000结点. 可用性:在Cl

WiscKey: Separating Keys from Values in SSD-Conscious Storage WiscKey是一个基于LSM的KV存储引擎,特点是:针对SSD的顺序和随机读写都高效的特点,Key和Value分开存储以最小化IO放大效应.YCSB场景中它比LevelDB和RocksDB都快. 1 介绍 目前的KV存储引擎中,对写性能要求比较高的大多数都采用了LSM,典型的有BigTable/LevelDB/Cassandra/HBase/RocksDB/PNUTS/R

redis redis cluster注意的问题 : 1.‘cluster-require-full-coverage’参数的设置.该参数是redis配置文件中cluster模式的一个参数,从字面上基本就能看出它的作用:需要全部覆盖! 具体点是redis cluster需要16384个slot都正常的时候才能对外提供服务,换句话说,只要任何一个slot异常那么整个cluster不对外提供服务. redis默认是‘yes’,即需要全覆盖!建议设置成‘no’. 2.阻塞命令产生failover.由于