1.YCSB背景 YCSB,全称为“Yahoo!Cloud Serving Benchmark”,是雅虎开发的用来对云服务进行基础测试的工具,其内部涵盖了常见的NoSQL数据库产品,如Cassandra.MongoDB.HBase.Redis等等.在运行YCSB的时候,可以配置不同的workload和DB,也可以指定线程数&并发数等其他参数. 2.初探 首先在官网上下载源码编译或者直接下载软件包:https://github.com/brianfrankcooper/YCSB/releases/

写在前面 本文只讲一个很简单的问题,YCSB对HBase集群的测试.虽然网上有很多介绍YCSB测试HBase的文章,但都是针对本地HBase伪分布式集群的.大家都知道,稍微正式一些的压测都会要求测试客户端与目标集群分离部署,而且伪分布式集群通常不会在生产环境下使用,本身也没有太大的压测意义.本文会着重介绍一下压测远程HBase完全分布式集群的不同之处. 正文 YCSB是Yahoo开源的性能测试工具,支持很多种类的NoSQL数据库测试,这里既包括了经典的HBase/Cassandra/MongoD

一.前言 巨杉数据库(SequoiaDB)是国内第一款新一代文档型分布式数据库,巨杉数据库由巨杉软件完全自主研发,拥有完全自主知识产权,不基于任何其它的开源项目.SequoiaDB数据库是为分布式存储.并行计算模型.云计算资源条件下搭建和运行应用程序而设计的. 作为一款操作性数据库,巨杉数据库在海量数据实时读写场景具有得天独厚的优势,拥有较高的读写性能. 为便于跟其他同类数据库进行比较,在本篇文章中,我们介绍一个专门用于对NoSQL数据库产品进行性能测试的工具--YCSB. 二.YCSB介绍 Y

一.下载ycsb 0.10包 https://github.com/brianfrankcooper/YCSB/releases/download/0.10.0/ycsb-0.10.0.tar.gz 二.上传到linux,解压 tar -zxvf ycsb-0.10.0.tar.gz 三.YSCB压力测试hbase流程 1.进入workloads目录下进行文件配置:比如: workload_test,我们也可以根据下面进行自定义配置: 参数说明: 这里我根据workloads下的文件进行的配置:

一.HBase 读优化 1. HBase客户端优化 和大多数系统一样,客户端作为业务读写的入口,姿势使用不正确通常会导致本业务读延迟较高实际上存在一些使用姿势的推荐用法,这里一般需要关注四个问题: 1) scan缓存是否设置合理? 优化原理:在解释这个问题之前,首先需要解释什么是scan缓存,通常来讲一次scan会返回大量数据,因此客户端发起一次scan请求,实际并不会一次就将所有数据加载到本地,而是分成多次RPC请求进行加载,这样设计一方面是因为大量数据请求可能会导致网络带宽严重消耗进而影响其

下载 github:https://github.com/brianfrankcooper/YCSB/releases/tag/0.10.0 wget https://github.com/brianfrankcooper/YCSB/archive/0.10.0.tar.gztar xvf 0.10.0.tar.gz 编译: cd YCSB-0.10.0/ 编译所有的nosql mvn clean package 只编译Hbase mvn -pl com.yahoo.ycsb:hbase10-b

因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果.所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正. 配置优化 zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间.当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的region

因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果.所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正. 配置优化 zookeeper.session.timeout 默认值:3分钟(180000ms) 说明:RegionServer与Zookeeper间的连接超时时间.当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regi

IOzone是一个文件系统测试基准工具.可以测试不同的操作系统中文件系统的读写性能.可以通过 write, re-write, read, re-read, random read, random write, random mix, backwards read, record rewirte, strided read, fwrite, frewrite, fread, freread, mmap, async I/0 等不同的模式下的硬盘的性能.测试的时候请注意,设置的测试文件的大小一定要

本次测试主要评估线上HBase的整体性能,量化当前HBase的性能指标,对各种场景下HBase性能表现进行评估,为业务应用提供参考. 测试环境 测试环境包括测试过程中HBase集群的拓扑结构.以及需要用到的硬件和软件资源,硬件资源包括:测试机器配置.网络状态等等,软件资源包括操作系统.HBase相关软件以及测试工具等. 集群拓扑结构 本次测试中,测试环境总共包含4台SA5212H2物理机作为数据存储.生成数据的YCSB程序与数据库并不运行在相同的物理集群. 单台机器主机硬件配置 软件版本信息 测

作者:范欣欣 本次测试主要评估线上HBase的整体性能,量化当前HBase的性能指标,对各种场景下HBase性能表现进行评估,为业务应用提供参考.本篇文章主要介绍此次测试的基本条件,HBase在各种测试场景下的性能指标(主要包括单次请求平均延迟和系统吞吐量)以及对应的资源利用情况,并对各种测试结果进行分析. 测试环境 测试环境包括测试过程中HBase集群的拓扑结构.以及需要用到的硬件和软件资源,硬件资源包括:测试机器配置.网络状态等等,软件资源包括操作系统.HBase相关软件以及测试工具等. 集

[阿里云产品公测]利用PTS服务优化网站数据库读写性能 作者:阿里云用户千鸟 写这个帖子主要也是因为在用PTS测试网站的时候,手动访问网站进入报错页面,主要原因是数据库连接对象存在问题,导致并发多的时候产生故障,于是简单分析了一下数据库读写的性能优化以及利用PTS的测试结果,整理出来和大家分享一下,顺便参加一下这个活动.        几乎所有的网站都需要数据库来存储网站中的相关信息,因此在网站应用与数据库的交互过程中,数据库数据读取的性能对网站整体的性能是至关重要的. ​      通常我们在

前提: mysql在5.0之前,读写性能相差很大,读性能:myisam 很强 mysql在5.0之后,差距不是很大 http://passover.blog.51cto.com/2431658/507265 http://blog.csdn.net/cchaha/article/details/1782723 http://www.taobaodba.com/ 由于近期有个项目对系统性能要求很高,技术选型上由于种种原因已经确定使用Mysql数据库,接下来就是要确定到底使用哪种存储引擎.我们的应用

最近在熟悉java的nio功能.nio采用了缓冲区的方式进行文件的读写,这一点更接近于OS执行I/O的方式.写了个新旧I/O复制文件的代码,练练手,顺便验证一下两者读写性能的对比,nio是否真的比普通I/O更快了. 拿来测试复制性能的文件是104MB的视频问加你,测试代码如下: package nio; import java.io.FileInputStream; import java.io.FileOutputStream; import java.nio.ByteBuffer; impo

ycsb对hbase性能测试 1.ycsb安装 下载ycsb软件 wget https://github.com/downloads/brianfrankcooper/YCSB/ycsb-0.1.4.tar.gz 解压ycsb软件 tar xf  ycsb-0.1.4.tar.gz cd ycsb-0.1.4 配置 将hbase下的jar包放到ycsb中 cp /usr/hdp/2.2.9.0-3393/hbase/lib/* /usr/tmp/ycsb-0.1.4/hbase-binding/

1. 查看磁盘 IO 性能 1.1 top 命令 top 命令通过查看 CPU 的 wa% 值来判断当前磁盘 IO 性能,如果这个数值过大,很可能是磁盘 IO 太高了,当然也可能是其他原因,例如网络 IO 过高等. top命令的其他参数代表的含义详见top命令详解 1.2 sar 命令 sar 命令是分析系统瓶颈的神器,可以用来查看 CPU .内存.磁盘.网络等性能. sar 命令查看当前磁盘性能的命令为: [root@server- Linux -.el7.x86_64 (server-) /

Linux测试硬盘读性能的常用工具-hdparm和dd俩搭档 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.hparm        # 它用来在基于 Linux的系统上获取或设置硬盘参数,包括测试读性能以及缓存性能等. 1>.安装hdparm工具 [root@node105 ~]# yum -y install hdparm 2>.查看帮助信息 [root@node105 ~]# hdparm -h -a<快取分区> 设定读取文件时,预先存入块区的分区数,

[评测]低配环境下,PostgresQL和Mysql读写性能简单对比 原文链接:https://www.cnblogs.com/blog5277/p/10658426.html 原文作者:博客园--曲高终和寡 *******************如果你看到这一行,说明爬虫在本人还没有发布完成的时候就抓走了我的文章,导致内容不完整,请去上述的原文链接查看原文**************** 由于最近经过朋友启发,又有了一个写个人项目的小想法,在这次个人项目中准备学习并使用一些之前自己没有掌握的新

上一篇文章<公司HBase基准性能测试之准备篇>中详细介绍了本次性能测试的基本准备情况,包括测试集群架构.单台机器软硬件配置.测试工具以及测试方法等,在此基础上本篇文章主要介绍HBase在各种测试场景下的性能指标(主要包括单次请求平均延迟和系统吞吐量)以及对应的资源利用情况,并对各种测试结果进行分析. 测试结果 单条记录插入 测试参数 总记录数为10亿,分为128个region,均匀分布在4台region server上:插入操作执行2千万次:插入请求分布遵从zipfian分布: 测试结果 资

1.测试磁盘的纯写入性能 dd if=/dev/zero of=/file [oracle@11g ~]$ touch ddTest[oracle@11g ~]$ time dd if=/dev/zero of=/home/oracle/ddTest bs=1k count=10241024+0 records in1024+0 records out1048576 bytes (1.0 MB) copied, 0.0261858 s, 40.0 MB/s real 0m0.029suser 0

项目里面需要对mongodb的性能进行测试,看了下网上很多做法都是使用YCSB进行测试,因此开始学习使用YCSB. 参考资料: YCSB github地址:https://github.com/brianfrankcooper/YCSB wiki: https://github.com/brianfrankcooper/YCSB/wiki 安装参考:https://github.com/brianfrankcooper/YCSB/tree/master/mongodb 之前的一些测试经验:htt