Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十八):kafka0.10.1 内置性能测试API用法示例
消费者测试:
./kafka-consumer-perf-test.sh --zookeeper vm10.60.0..com.cn:,vm10.60.0..com.cn:,vm10.60.0..com.cn: --group test-teg1 --messages --topic test --threads --message-size
end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
-- :::, -- :::, 4229.5218, 64.5561, , 365274.5700
生产者测试:
./kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance --topic test --num-records --record-size --throughput --producer-props acks= bootstrap.servers=vm10.60.0..com.cn:,vm10.60.0..com.cn:,vm10.60.0..com.cn:,vm10.60.0..com.cn: buffer.memory= batch.size=
records sent, 97028.4 records/sec (9.25 MB/sec), 6936.5 ms avg latency, 12667.0 max latency.
records sent, 67526.0 records/sec (6.44 MB/sec), 7173.8 ms avg latency, 12892.0 max latency.
records sent, 107861.5 records/sec (10.29 MB/sec), 6893.6 ms avg latency, 12422.0 max latency.
records sent, 103945.8 records/sec (9.91 MB/sec), 6092.3 ms avg latency, 12278.0 max latency.
records sent, 90107.1 records/sec (8.59 MB/sec), 5697.1 ms avg latency, 11117.0 max latency.
records sent, 86496.8 records/sec (8.25 MB/sec), 6481.3 ms avg latency, 13293.0 max latency.
records sent, 64975.8 records/sec (6.20 MB/sec), 7089.8 ms avg latency, 14868.0 max latency.
records sent, 103598.2 records/sec (9.88 MB/sec), 7504.3 ms avg latency, 14920.0 max latency.
records sent, 94194.6 records/sec (8.98 MB/sec), 6949.2 ms avg latency, 12826.0 max latency.
records sent, 94232.5 records/sec (8.99 MB/sec), 6075.5 ms avg latency, 12400.0 max latency.
records sent, 86240.2 records/sec (8.22 MB/sec), 6492.0 ms avg latency, 11988.0 max latency.
records sent, 65140.8 records/sec (6.21 MB/sec), 8248.2 ms avg latency, 12531.0 max latency.
records sent, 96716.1 records/sec (9.22 MB/sec), 7083.7 ms avg latency, 13378.0 max latency.
records sent, 92734.5 records/sec (8.84 MB/sec), 7065.3 ms avg latency, 12572.0 max latency.
records sent, 84081.0 records/sec (8.02 MB/sec), 6897.7 ms avg latency, 11279.0 max latency.
records sent, 88883.2 records/sec (8.48 MB/sec), 6607.1 ms avg latency, 11112.0 max latency.
records sent, 100553.0 records/sec (9.59 MB/sec), 6767.4 ms avg latency, 11248.0 max latency.
records sent, 77564.6 records/sec (7.40 MB/sec), 7328.2 ms avg latency, 10982.0 max latency.
Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二十八):kafka0.10.1 内置性能测试API用法示例的更多相关文章
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十八)ES6.2.2 增删改查基本操作
#文档元数据 一个文档不仅仅包含它的数据 ,也包含 元数据 —— 有关 文档的信息. 三个必须的元数据元素如下:## _index 文档在哪存放 ## _type 文档表示的对象类别 ## ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十二)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。
Centos7出现异常:Failed to start LSB: Bring up/down networking. 按照<Kafka:ZK+Kafka+Spark Streaming集群环境搭 ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十)安装hadoop2.9.0搭建HA
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十九)ES6.2.2 安装Ik中文分词器
注: elasticsearch 版本6.2.2 1)集群模式,则每个节点都需要安装ik分词,安装插件完毕后需要重启服务,创建mapping前如果有机器未安装分词,则可能该索引可能为RED,需要删除后 ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十四)定义一个avro schema使用comsumer发送avro字符流,producer接受avro字符流并解析
参考<在Kafka中使用Avro编码消息:Consumer篇>.<在Kafka中使用Avro编码消息:Producter篇> 在了解如何avro发送到kafka,再从kafka ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十五)Spark编写UDF、UDAF、Agg函数
Spark Sql提供了丰富的内置函数让开发者来使用,但实际开发业务场景可能很复杂,内置函数不能够满足业务需求,因此spark sql提供了可扩展的内置函数. UDF:是普通函数,输入一个或多个参数, ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十六)Structured Streaming中ForeachSink的用法
Structured Streaming默认支持的sink类型有File sink,Foreach sink,Console sink,Memory sink. ForeachWriter实现: 以写 ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十三)kafka+spark streaming打包好的程序提交时提示虚拟内存不足(Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical memory used; 2.2 GB of 2.1 G)
异常问题:Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical mem ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(九)安装kafka_2.11-1.1.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
随机推荐
- 使用 Python 登录网站(转)
对于大部分论坛,我们想要抓取其中的帖子分析,首先需要登录,否则无法查看. 这是因为 HTTP 协议是一个无状态(Stateless)的协议,服务器如何知道当前请求连接的用户是否已经登录了呢?有两种方式 ...
- 操作iframe 的方法与兼容性
首先创建两个页面 //iframe1.html <!DOCTYPE html> <html lang="en"> <head> <meta ...
- 关于Android中传递数据的一些讨论
在Android中编写过程序的开发人员都知道.在Activity.Service等组件之间传递数据(尤其是复杂类型的数据)很不方便.一般可以使用Intent来传递可序列化或简单类型的数据.看下面的代码 ...
- nRF51 DK : nRF51822 Development Kit for Bluetooth Smart, ANT and 2.4GHz applications.
KEY FEATURES • Affordable, Rapid prototyping and development solution for nRF51 Series SoCs • Kit su ...
- 计算机意外地重新启动或遇到错误。windows安装无法继续。若要安装windows 请单击 确定 重新启动计算机
快安装完系统时遇到提示:计算机意外地重新启动或遇到错误.Windows 安装无法继续.若要安装Windows,请单击“确定”重新启动计算机,然后重新启动安装”.如下图所示: 解决办法: 当出现如上提示 ...
- SATA工作模式咋选?揭秘AHCI和IDE区别(全文)
第1页:AHCI模式与Win7.SSD的不解之缘 AHCI这个注定和SATA接口结下不解之缘的接口模式,它担负着淘汰IDE模式的重任,从诞生开始就充满争议,它经历了整整7年时间.它伴随着SSD ...
- Linux进程ID号--Linux进程的管理与调度(三)
转自:http://blog.csdn.net/gatieme/article/category/6225543 日期 内核版本 架构 作者 GitHub CSDN 2016-05-12 Linux- ...
- linux下一个网卡配置多个IP
转自:http://blog.csdn.net/beckdon/article/details/15815197 最常用的给网卡配置ip的命令为 #ifconfig eth0 192.168.0.1 ...
- url空格转码的问题
上知乎在搜索框里输入"1-n 随机数"(中间有空格,然后会看到了这个界面) 最开始我使用的是chrome,发现有脚本报错了,以为是服务器维护了,但再一想,不对啊,刚刚明明是好的 ...
- iis 7上发布mvc报错:403.14-Forbidden Web 服务器被配置为不列出此目录的内容
iis 7上发布mvc报错:403.14-Forbidden Web 服务器被配置为不列出此目录的内容 提示里面的解决方法是: 如果不希望启用目录浏览,请确保配置了默认文档并且该文件存在. 使用 II ...