1. 测试目的
测试Cassandra集群读写TPS的极值,确定Cassandra读写性能。

2. 测试环境

2.1 硬件信息

CPU 8核 Intel(R) Xeon(R) CPU E5-2650 v4 @ 2.20GHz
RAM 16G

2.2  软件信息

JDK 1.8u151
Cassandra 3.11.1
cassandra-driver-core 3.3.2
OS CentOS Linux release 7.3.1611

2.3 集群信息

集群名称 IP 类型
JCPT Test Cluster 10.112.68.184 节点1
10.112.68.185 节点2
10.112.68.186 节点3(种子节点)
10.112.68.189 节点4
10.112.68.191 节点5
10.112.68.192 节点6(种子节点)
 
 
2.4   主要配置信息
 
集群配置为单数据中心,测试时,数据库keyspace的,采取SimpleStrategy策略
副本因子:3
分区器:Murmur3Partitioner
 
整个过程中通用设置如下
A.线程池设置:
setCoreConnectionsPerHost(HostDistance.LOCAL, 2)
setMaxConnectionsPerHost(HostDistance.LOCAL, 4)
B.每次连接最大请求数量采取默认设置:本地端--1024;远程端--256
C.本地线程池门限采用默认设置:32
 
 3. 测试过程
先测试单个客户端的读写性能,再测试多个客户端的TPS,测试出服务器读写操作的TPS瓶颈。
3.1  单客户端测试读写性能及结果
在单个客户端对集群中的单表进行数据读写操作,测试读写性能。
具体过程:
  100个并发向同一张表处理100W数据;
  200个并发向同一张表处理100W数据;
  500个并发向同一张表处理100W数据;
  1000个并发向同一张表处理100W数据;
  1500个并发向同一张表处理100W数据;
(脚本测试所在机器:10.112.68.186)
 
测试结果:

l  表一 单数据库100W数据性吞吐量性能测试

  100 200 500 1000 1500
insert 5472 5574 23429 30781 35024
select 18985 20323 35795 39088 38927
update 5766 5824 27805 34301 35867
delete 5446 5328 26581 34934 34635 

l  表二 单数据100W数据时间耗时时测试

  100 200 500 1000 1500
insert 182.734 179.406 42.683 32.488 28.566
select 52.672 49.206 27.937 25.583 25.702
update 173.439 171.717 25.779 29.154 27.895
delete 183.608 187.671 37.621 28.625 28.887
 
为了直观上看各项性能变化,将上述表格使用折线图表示,如图1、图2所示:

图1 100W性能测试—TPS

图2 100W性能测试—耗时(S)

3.2   多客户端测试读写性能及结果

在多个客户端分别对集群中的同一张表进行数据读写操作,测试读写性能。
过程:
I. 2个客户端进行分别处理100W数据,将各个客户端TPS值相加,计算集群TPS;
II. 3个客户端进行分别处理100W数据, 将各个客户端TPS值相加,计算集群TPS;
III.依次增加客户端数量,计算TPS达到瓶颈之后,停止增加;
IV. 线程数量为500。
 
结果:

图3 多客户端性能测试—吞吐量(TPS)

集群达到瓶颈之后开始抛出如下错误信息:

Cassandra timeout during write query at consistency LOCAL_ONE (1 replica were required but only 0 acknowledged the write)

Cassandra timeout during write query at consistency LOCAL_ONE (1 replica were required but only 0 acknowledged the write)

Cassandra timeout during write query at consistency LOCAL_ONE (1 replica were required but only 0 acknowledged the write)

                      ... ...

4  测试结论

( 1 )   从单客户端测试数据得出在并发大于500后个并发范围内,各项操作TPS提升幅度较大,并发数量为1500时TPS趋于稳定,测试线程数大于1500之后会出现响应超时错误。

  ( 2 )   当增加客户端数量,集群 TPS线性增加,集群读写TPS可以达到6万,之后趋于稳定,其中超过6个客户端同时进行百万级读数据操作时达到瓶颈,写操作在超过7个客户端后同时进行百万级写数据操作时性能达到瓶颈,此时写和修改操作TPS高于读的TPS。可知:大量数据操作时写的性能优于读。
 
 
附件:
测试代码 cassandra-test.rar
 

Cassandra读写性能测试的更多相关文章

  1. Linux系统性能测试工具(九)——文件系统的读写性能测试工具之iozone

    本文介绍关于Linux系统(适用于centos/ubuntu等)的文件系统的读写性能测试工具-iozone: 参考链接: https://www.cnblogs.com/Dev0ps/p/788938 ...

  2. 使用iozone进行磁盘读写性能测试

    对于很多GIS工程师,经常需要对系统的磁盘性能进行测试,为了排查问题或者帮助用户进行系统设计. IOZone这个磁盘性能测试工具就是一个很方便的辅助工具. 下面就以个测试共享目录的读写性能为例,说明其 ...

  3. linux 磁盘读写性能测试

    1. 测试读取速度 haparm -Tt /dev/xxx 1.1 获取硬盘设备名称: fdisk -l Disk /dev/xvdf: 365.0 GB, 365041287168 bytes 25 ...

  4. InfluxDB读写性能测试

    今天进行了InfluxDB和MySQL的对比测试,这里记录下结果,也方便我以后查阅. 操作系统: CentOS6.5_x64InfluxDB版本 : v1.1.0MySQL版本:v5.1.73CPU ...

  5. OpenWrt中对USB文件系统的操作, 以及读写性能测试

    参考 http://h-wrt.com/en/doc/flash 1. 查看usb存储在启动日志中的信息 # dmesg [ 5.720000] usbcore: registered new int ...

  6. [eMMC]eMMC读写性能测试

    读写速率(dd) https://www.shellhacks.com/disk-speed-test-read-write-hdd-ssd-perfomance-linux/ eMMC健康情况(mm ...

  7. java对比IO和NIO的文件读写性能测试

    1. NIO采用更接近操作系统执行IO的方式:通道和缓存器:顾名思义,数据源的数据由缓存器通过通道进行传输. 2. 在JDK5之后,原始IO系统底层用NIO进行了优化,这可以通过sun公布的源码中找到 ...

  8. 利用雅虎ycsb对cassandra做性能测试

    准备: 环境: 两台虚拟机:ip:192.168.138.128/129;配置:2核4G: 版本:apache-cassandra-3.10    ycsb-cassandra-binding-0.1 ...

  9. Glusterfs读写性能测试与分析

    一.测试目的: 1.测试分布卷(Distributed).分布式复制卷(Distributed-Replicate).条带卷(Strip)和分布式条带复制卷(Distributed-Strip-Rep ...

随机推荐

  1. lapis http verb 处理

    1. 同一个url 包含不同的请求(respond_to  进行解决) // 路由格式 match ,通过respond_to 进行实际的http verb 处理 local lapis = requ ...

  2. 【转】理解Linux 配置文件

    原文网址:http://www.mike.org.cn/articles/understanding-linux-configuration-files-linux/ 介绍每个 Linux 程序都是一 ...

  3. spss v21.0 使用笔记

    spss v21.0 使用笔记 有问题,戳官方帮助文档 神经网络 分析-神经网络-多层感知机 变量. 分析-神经网络-多层感知机-变量 预测变量可指定为因子(分类)或协变量(刻度). 在因变量框输入预 ...

  4. qt ui程序使用Linux的文件操作open、close (转)

    原文地址:qt ui程序使用Linux的文件操作open.close 作者:kjpioo 提出这个问题是因为在qt的QWidget类型的对象中,close()函数会和QWidget::close()冲 ...

  5. MEF学习总结(1)---总体架构

    用了很久的MEF框架来做依赖注入,最近想把它的原理和机构总结一下,主要包括如下几个方面: 1. 总体架构 2. .Net Composition Primitive 3. Attribute Mode ...

  6. PES包格式

    PES是Packetized Elementary Stream的简称,是将原始ES流打包后形成的,再将PES经过不同的打包方式可以组成MPEG program stream 和 MPEG trans ...

  7. 兼顾FPGA和单片机

    当今,FPGA和单片机的应用非常广泛,在有FPGA知识的基础上,笔者认为可以把FPGA作为主要的学习目标,单片机作为辅助技能.其实二者是相互促进的.不管是FPGA还是单片机的开发其实都是基于较强的逻辑 ...

  8. Linux:WebServer(Nginx 虚拟主机配置与伪静态实现)

    ps + 查看方式  |  grep  +  服务/端口/软件等:查看状态: 一.基本操作 Nginx 多用于商业系统: 一个端口只能被一个服务使用: Nginx 可以同时监听多个端口,也就是配置时, ...

  9. 20181122_C#中AOP初探_装饰器模式的AOP_Remoting实现AOP_Castle实现AOP

    一.   什么是AOP: a)         AOP是面向切面编程; 就像oop一样, 它也是一种编程思想; i.    Oop思想→一切皆对象, 对象交互组成功能, 功能叠加组成模块, 模块叠加组 ...

  10. 【BZOJ】1218: [HNOI2003]激光炸弹(前缀和)

    题目 题目描述 输入输出格式 输入格式: 输入文件名为input.txt 输入文件的第一行为正整数n和正整数R,接下来的n行每行有3个正整数,分别表示 xi,yi ,vi . 输出格式: 输出文件名为 ...