Kafka是一种分布式,分区,复制的提交日志服务。它提供了消息传递系统的功能。

 

我们先来看看它的消息传递术语:

  • Kafka在称为主题的类别中维护消息的提要。
  • 我们将调用向Kafka主题生成器发布消息的进程。
  • 我们将调用订阅主题的流程并处理已发布消息的消费者
  • Kafka作为由一个或多个服务器组成的集群运行,每个服务器称为代理

因此,在高层次上,生产者通过网络向Kafka集群发送消息,而Kafka集群又向消费者提供这样的服务:

 

有关Apache Kafka的更多信息,请参阅以下链接:
Kafka文档

因此,为了对Kafka进行性能测试或基准测试,我们需要考虑两个方面:

  1. Producer End的表现
  2. 消费者端的表现

我们需要为ProducerConsumer执行此测试,以便我们可以确保Producer可以生成多少消息,而Consumer可以在给定时间内消耗这些消息。对于大量消息,我们也可以确保数据丢失。

此测试的主要目的是找出以下统计信息:
1。数据大小的
吞吐量(消息/秒)2。消息数量的吞吐量(消息/秒)
3。总数据
4.消息总数

让我们继续下载并设置Kafka,请点击这里

完成后,您可以继续执行性能统计,按照下面提到的步骤执行此操作:

1.启动一个新的终端窗口
2.将目录设置为Kafka / bin 
3.在这里您可以找到多个shell脚本,我们将使用以下内容来获取性能统计信息:

- kafka-producer-perf-test.sh
- kafka-consumer-perf-test.sh

如果要查看有关shell脚本(perf工具)的帮助,只需键入即可

sh ./kafka-producer-perf-test.sh --help
or
sh ./kafka-consumer-perf-test.sh --help

分别为制片人和消费者。

Producer End的表现

在控制台上键入以下命令,然后按Enter键:

sh ./kafka-producer-perf-test.sh --broker-list localhost:9092 --topic test --messages 100

让我们一个一个地理解这些命令行选项..

  • 第一个参数是“broker-list”,在这里我们需要提到代理信息,它是代理的主机和引导程序的端口列表,这是必需的参数。
  • 第二个参数是“topic”,这个参数还需要参数并显示我们之前讨论过的消息类别。
  • 第三个显示您要生成和发送的消息数量,我们将第一个场景设置为100。

一旦测试完成,一些统计数据将打印在控制台上,如:

start.time:2016-02-03 21:38:28:094 
end.time:2016-02-03 21:38:28:449
compression:0
message.size:100
batch.size:200
total.data.sent .in.MB:0.01
MB.sec:0.0269
total.data.sent.in.nMsg:100
nMsg.sec:281.6901
  1. start.time,end.time将显示测试何时开始并完成。
  2. 如果Compression为'0',则表示消息压缩已关闭(默认)。
  3. 信息。size显示每条消息的大小。
  4. batch.size表示一批中将发送的消息数,默认情况下设置为200。
  5. total.data.sent.in.MB显示以MB为单位发送到集群的总数据。
  6. MB.sec表示每秒以MB为单位传输的数据量(吞吐量大小)。
  7. total.data.sent.in.nMsg将显示在此测试期间发送的总消息数。
  8. 最后nMsg.sec显示一秒内发送的消息数(消息计数的吞吐量)。

在进行此性能测试时,您可以使用更多参数,例如;

  • csv-reporter-enabled:如果设置,将启用CSV指标报告器
  • initial-message-id:用于生成测试数据,如果设置,消息将使用ID标记,并由生产者从此ID开始按顺序发送。消息内容将是字符串类型,并以“消息:000 ... 1:abc ...”的形式,使用此参数,您将能够看到消费者正在消费的消息。
  • message-size:它表示每条消息的大小,当你想用一些大的消息加载测试Kafka时,它会很有用。
  • vary-message-size:如果设置,则消息大小将根据给定的最大值而变化。

还有一些其他选项可以在Producer性能测试期间根据需要使用。

对于这个博客,我根据消息的数量获取了一些性能数据,并通过图形内联显示了性能。

消费者端的表现

现在让我们看一下如何在消费者端获取性能统计数据,输入以下命令并按Enter键。

sh ./kafka-consumer-perf-test.sh --topic test --zookeeper localhost:2181

让我们理解它的命令行选项,

  • 第一个参数是“topic”,这个参数还需要参数并显示消息类别。
  • 第二个参数是“zookeeper”,这个参数还需要参数,并以host:port的形式显示zookeeper连接的连接字符串。

一旦测试完成,一些统计数据将打印在控制台上,如:

start.time:2016-02-04 11:29:41:806 
end.time:2016-02-04 11:29:46:854
fetch.size:1048576
data.consumed.in.MB:0.0954
MB.sec: 1.9869
data.consumed.in.nMs:1001
nMsg.sec:20854.1667
  1. start.time,end.time将显示测试何时开始并完成。
  2. fetch.size **显示单个请求中要获取的数据量。
  3. data.consumed.in.MB ****显示所有消息的大小。
  4. ** MB.sec *表示每秒以MB为单位传输的数据量(吞吐量大小)。
  5. data.consumed.in.nMsg将显示在此测试期间消耗的总消息数。
  6. 最后nMsg.sec显示一秒内消耗的消息数量(消息计数的吞吐量)。

Consumer的性能测试也基于消息数量,结果以图形内联显示。

通过使用统计数据,我们可以决定批量大小,消息大小和给定配置可以生成/消耗的最大消息数,换句话说,我们可以为Kafka基准数量。

所有上述分析都是使用Kafka的默认设置完成的,可以有多种情况我们可以测试并获取Kafka Producer和Consumer的性能统计数据,其中一些情况可以是:

  1. 更改主题数量
  2. 更改异步批量大小
  3. 更改邮件大小
  4. 更改分区数
  5. 网络延迟
  6. 更改经纪人数量
  7. 更改生产者/消费者等的数量

上述更改可以在文件夹中可用的属性文件中完成:

sh /Kafka/kafka_2.9.1-0.8.2.2/config

Apache Kafka使用默认配置执行一些负载测试来完成性能测试和基准测试的更多相关文章

  1. 如何在 Apache 里修改 PHP 配置

    当使用 PHP 作为 Apache 模块时,也可以使用 Apache 配置文件(例如:httpd.conf) 和 .htaccess 文件中的指令来修改 PHP 的配置 设定,不过需要有 " ...

  2. JMeter分布式负载测试(吞吐量控制器)

    在本节中,我们将学习如何使用吞吐量控制器在JMeter中创建分布式负载测试计划. 出于测试目的,我们将在我们网站 www.yiibai.com 的URL下的某些网页上创建分布式负载.这些网页包括: 主 ...

  3. 性能测试vs负载测试vs压力测试-概念普及

    下面我们主要介绍性能测试.负载测试和压力测试. 效率作为ISO 9126内部和外部质量的重要质量属性之一,其含义是在规定条件下,相对于所用的资源的数量,软件产品可提供适当性能的能力.资源可能包括其他软 ...

  4. Loadrunner常用目录、组成部分及负载测试流程

    常用目录 bin:存放一些可执行程序 classes:可能用到的jar包 My Template:存放一些自己创建的模板 include:头文件(可以编写自定义函数,保存成.h的头文件形式并放在这个目 ...

  5. 使用JMeter进行Apache Kafka负载测试

    1.卡夫卡负载测试 在这个Apache Kafka教程中,我们将了解如何使用Apache JMeter,如何在Apache Kafka上执行Kafka负载测试.此外,这个Kafka负载测试教程教我们如 ...

  6. JMeter进行Apache Kafka负载测试

    1.卡夫卡负载测试 在这个Apache Kafka教程中,我们将了解如何使用Apache JMeter,如何在Apache Kafka上执行Kafka负载测试.此外,这个Kafka负载测试教程教我们如 ...

  7. Apache Kafka 分布式消息队列中间件安装与配置 转载

    bin/zkServer.sh start /home/guym/down/kafka_2.8.0-0.8.0/config/zookeeper.properties& bin/kafka-s ...

  8. 【高可用HA】Apache (4) —— Mac下配置Apache Httpd负载均衡(Load Balancer)之mod_jk

    Mac下配置Apache Httpd负载均衡(Load Balancer)之mod_jk httpd版本: httpd-2.4.17 jk版本: tomcat-connectors-1.2.41 参考 ...

  9. 《SpringMVC从入门到放肆》二、SpringMVC的执行流程及默认配置

    上一篇博文我们做了一个hello world的程序,并且已经成功的跑起来了.这一篇我们来深入的了解一下SpringMVC的执行流程以及一些其它的配置. 一.执行流程 来解释一下上图中的各个名词1.Di ...

随机推荐

  1. Zifencei扩展

    fence 指令对外部可见的访存请求,如设备 I / O 访问,内存访问等进行串行化.外部可见是指对处理器的其他核心.线程,外部设备或协处理器可见. fence.i 指令同步指令和数据流.在执行 fe ...

  2. 【转】PHP利用Apache、Nginx的特性实现免杀Webshell

    转载备忘: get_defined_vars().getallheaders()是两个特性函数,我们可以通过这两个函数来构造我们的webshell. 前几天看到的,一直忘记写,填坑. 环境 函数 用法 ...

  3. proxychains4配置使用

    一丶安装 sudo apt-get install proxychains4 二丶修改配置文件 sudo vim /etc/proxychains.conf 在文本最后加上你的代理服务器地址,如果有用 ...

  4. Android viewPager+fragment实现滑页效果

    先上图,手指在手机向左或者向右滑就可以实现相应的页面切换. 先看activity_main.xml文件,非常简单,主要是三个标题TextView和viewpager <?xml version= ...

  5. 获取Android崩溃crash信息并写入日志发送邮件

    一.实现Thread.UncaughtExceptionHandlerUnChecked异常发生时,由于没有相应的try…catch处理该异常对象,所以Java运行环境将会终止,程序将退出,也就是我们 ...

  6. Linux自有服务(1)-Linux从入门到精通第五天(非原创)

    文章大纲 一.运行模式二.用户与用户组管理(重点)三.网络设置四.ssh服务(重点)五.学习资料下载六.参考文章   自有服务,即不需要用户独立去安装的软件的服务,而是当系统安装好之后就可以直接使用的 ...

  7. Flink流式计算

    Structured Streaming A stream is converted into a dynamic table. A continuous query is evaluated on ...

  8. django bms

    1. 创建模型 一对多: 需要在""多""的表创建一个""关键字段"" 关联  就像在mysql的哪项少的比如(书与出版 ...

  9. echarts - 折线图 - 每秒刷新数据并显示

    function randomData() { now = new Date(+now + oneDay); value = value + Math.random() * 21 - 10; var ...

  10. excel的IRR函数

    office官网找到IRR的介绍 https://support.office.com/zh-cn/article/irr-%E5%87%BD%E6%95%B0-64925eaa-9988-495b- ...