kafka 性能测试脚本】的更多相关文章

[参考文章]:Kafka自带的性能测试脚本 1. 生产消息压测脚本 1.1 脚本及参数 bin/kafka-producer-perf-test.sh  --topic kafka-test-0 --num-records 100--record-size 512 --throughput 100--producer-props bootstrap.servers=localhost:9092 topic  :  topic名称 kafka-test-0 num-records : 发送的消息总…
1.概述 在分布式实时数据流场景下,随着数据量的增长,对Kafka集群的性能和稳定性的要求也很高.本篇博客将从生产者和消费者两方面来做性能测试,针对具体的业务和数据量,来调优Kafka集群. 2.内容 2.1 测试环境 本次测试的环境信息由三台物理机组成,具体信息如下所示: 2.2 测试工具 Kafka系统提供了测试工具kafka-producer-perf-test.sh和kafka-consumer-perf-test.sh,通过该工具可以对生产者性能和消费者性能进行测试,获取一组最佳的参数…
1.  GET方式的HTTP请求性能测试脚本 Action() { web_set_max_html_param_len("); web_reg_save_param("retCode", "LB=retCode\":\"", "RB=\"", "NotFound=WARNING", LAST); lr_start_transaction("test"); web_c…
老李分享:Python开发性能测试脚本   测试开发工程师的工作主要是根据测试目标来完成,帮助测试人员完成测试目标,测试的业务需求是测试人员提出,但是由于环境的制约,手中没有性能测试工具的时候,性能测试的工作又必须完成,测试开发工程师会按照测试人员提出需求来开发脚本,下面是我在poptest测试开发工程师就业培训中写的一个脚本,这套脚本进行了简化,去掉教学脚本中服务器性能指标的采集脚本部分,去掉了频繁请求服务器的次数脚本部分,去掉了thinktime的时长脚本等等. '''Ceated on 2…
本文主要介绍使用Loadrunner Webservice接口性能测试脚本编写及优化总结. 1.Webservice协议脚本编写流程 下面介绍使用Loadrunner 11调用Webservice接口通用的流程与方法 1.1 新建脚本,选择"Webservice"协议 1.2 选择Manage Services->Import,输入URL(注意需要在Webservice地址后面加上?wsdl),最后选择Impoort 1.3 点击脚本中Action脚本中return 0前,后选择…
最近使用LoadRunner 11进行了一次完整的Http WEB接口性能测试,下面介绍下Http接口Get/Post方法性能测试脚本通用编写方法. 1. Http接口性能测试基本流程 首先定义了一个参数用以保存Http请求返回码,之后调用Get / Post方法,最后通过校验返回码参数来判断事务成功或失败. 2. 常用函数解析 完整的Action脚本见本文下方附录,简单解析如下(具体函数的详细解释可百度或查看LoadRunner帮助文件): 2.1 web_reg_save_param 这个函…
今天继续给大家带来Fiddler工具的教程3:使用Fiddler录制Jmter性能测试脚本. 我们知道Jmeter本身可以录制脚本,也可以通过BadBoy,BlazeMeter等工具进行录制,其实Fiddler也可以录制Jmter脚本(而且有些页面,由于安全设置等原因,使用Jmeter直接无法打开录制时,这时就需要用到Fiddler这个专业的抓包工具了). 运行环境为Windows10系统,JMeter版本号3.3,Fiddler版本号4.6,均为当前最新版本. 1. Fiddler扩展 首先需…
kafka启动脚本和配置文件 # more kafka #!/bin/sh # Init script for kafka ### BEGIN INIT INFO # Provides: kafka # Default-Start: 2 3 4 5 # Default-Stop: 0 1 6 # Short-Description: # Description: Starts kafka as a daemon. ### END INIT INFO PATH=$PATH:/sbin:/usr/s…
        一.概述         Loadrunner拥有极为丰富的工具箱,供予我们制造出各种奇妙魔法的能力.其中就有此次要讨论的socket套接字操作.     二.socket概述         socket是操作系统中I/O系统的网络延伸部分,它扩展了操作系统的基本I/O到网络通信,使进程和机器之间的通信成为可能.如果想完全地理解socket在Loadrunner中如何工作的,熟悉一些关于它的历史会很有帮助.           当前常用的socket,最早起源于BSD UNIX…
目录: 创建WebService接口模拟服务端 下载SoapUI 新建MathUtil.wsdl文件 创建一个SOAP项目 接口模拟服务端配置以及启动 JMeter对SOAP协议性能测试脚本开发 [阐述]:首先应该遇到了一个共同的问题,JMeter3.2之后就没有WebService(SOAP) Request,后来经过查询网上资料得知其实可以用HTTP请求来操作,结果是一样的. 具体资料大家可以参照原文<Jmeter测试SOAP协议(Jmeter 3.3)>感谢作者:stone9159 [步…
目录: 概述 安装测试环境 安装过程 配置启动 配置搭建OpenLDAP 给数据库添加数据 测试查询刚刚插入的数据 客户端介绍 JMeter建立一个扩展LDAP服务器的性能测试脚本开发 附:LDAP学习资料以及“LDAP的特定错误” 一.概述 什么是LDAP? 轻量级目录访问协议: 所述轻量级目录访问协议,或 LDAP,是一种应用协议用于查询和修改目录服务运行在TCP / IP(通过维基百科).LDAP全称是一个轻量级的目录访问协议,它是建立在TCP / IP基础之前的用户查询和修改目录服务的.…
性能测试过程中,最耗费经历的就是编写性能测试脚本的过程,在大部分的测试工具中都是采用录制的方式,通过录制产生脚本,然后根据需要进行修改,以及参数化.有些时候为了能够完成某一个功能的脚本,需要将录制下来的脚本进行"大手术",给编写脚本的人带来了很大的麻烦. 这篇文章向大家介绍了一种新的方式产生脚本,对于 ISV (独立软件开发商)和一些有 代码的测试厂商带来了很大的方便,特别是一些 C/S 结构的产品采用此种方式更加有效.文章介绍了如何利用 Loadrunner Add_In 的方式进行…
locust性能测试脚本模板 #!/usr/bin/env python # -*- coding: utf-8 -*- import time from locust import HttpLocust, TaskSet, task, seq_task class BlogDemo(TaskSet): def get_parameters(self): # 定义获取参数 pass def regx(self): # 定义正则表达式 pass @seq_task(2) # 第二个执行 @task…
利用LoadRunner编写socket性能测试脚本 一.概述 Loadrunner拥有极为丰富的工具箱,供予我们制造出各种奇妙魔法的能力.其中就有此次要讨论的socket套接字操作. 二.socket概述 socket是操作系统中I/O系统的网络延伸部分,它扩展了操作系统的基本I/O到网络通信,使进程和机器之间的通信成为可能.如果想完全地理解socket在Loadrunner中如何工作的,熟悉一些关于它的历史会很有帮助. 当前常用的socket,最早起源于BSD UNIX类的操作系统.在UNI…
背景介绍 XXX项目性能测试中新增业务场景:XX设备的在线激活,因为存在多用户同时在线激活,故需进行性能测试以确认后台服务器系统在多用并发时功能是否正常,性能指标是否满足规格要求.用户使用场景为用户通过XX设备平台(类似客户端)触发激活请求,该请求经过中间系统处理并最终被Licnese后台服务器处理并响应.客户端与服务器经过了广域网环境,无设备在线激活业务操作界面. 场景和现状 XX设备平台通过http协议与中转系统进行交互,中转系统将http协议的消息转换为Web Service(SOAP)消…
脚本增强与调试 一般来说,使用LR的Vugen录制的脚本并不能直接用于测试,需要对脚本进行各方面的增强,主要包括添加注释.关联.检查点.事务.参数化.日志输出等.下面结合刚完成的一个web项目性能测试来对LR性能脚本增强和调试作简单的总结(不包括LR工具基本操作和基本概念的解释). 首先当我们使用LR的Vugen录制完一个脚本后,看着满屏幕LR工具自动生成的脚本代码是否觉得有些无从下手?所以这里有一个特别有用的技巧,就是在录制时可以一边录制一边增加注释,点击录制界面上的增加注释按钮即可实时的增加…
读书笔记:<零成本实现Web性能测试>第3章 基本操作步骤: 在测试计划中添加线程组. 在该线程组中添加HTTP请求默认值.设置服务器名称或ip.端口. 在工作台添加HTTP代理服务器.设置端口(代理使用的端口号)和目标控制器(这一步骤表明了代理录制的脚本会挂在测试树的那个分支下) 设置IE的代理服务器.(端口与HTTP代理服务器端口一致) 设置完后点击HTTP代理服务器的[启动]按钮,再对IE浏览器进行操作,要停止点击[停止]则停止了脚本的录制. 五个步骤则可以使用jmeter录制脚本.  …
kafka提供工具kafka-producer-perf-test.sh用以压测, 参数 说明 messages 生产者发送总的消息数量 message-size 每条消息大小 batch-size 每次批量发送消息的数量 topics 生产者发送的topic threads 生产者使用几个线程同时发送 broker-list 安装kafka服务的机器ip:port列表 producer-num-retries 一个消息失败发送重试次数 request-timeout-ms 一个消息请求发送超时…
性能测试其实测的就是接口的性能,不管是用工具录制还是自己写,都是围绕接口的,录制也是把接口录制下来而已,但是录制下来的脚本比较乱,会把很多相关的请求都录下来. 在这里我们手动写HTTP协议的get.post请求的接口 1.HTTP的GET请求 这里以访问百度为例,地址http://www.baidu.com/s?wd=helloworld,表示在百度上搜索helloworld. Action(){ int status; //定义状态 lr_start_transaction("send&quo…
概述 我们用jenkins做持续集成的时候,常常需要跑不同的脚本,传不同的参数.尤其是性能基准测试,线程数和持续时间需要实时调整以满足我们的测试需求.那么是不是需求变了,我们 就需要重新准备一套脚本?或者说我们需要去GUI界面下调整线程数,再重新上传脚本去集成呢?这样繁琐的操作会导致效率大幅降低.我们需要一个动态参数去实现工作效率最大化 解决方法 Jmeter动态命令行+Jenkins的build with parameter插件 具体实现 1:jmeter动态参数 **JMeter提供了动态修…
近日翻看了下招聘信息,很多都要求loadrunner和jmeter这两款工具,毕竟是性能测试的主流客户端并发工具. 录制的问题 做性能脚本是性能测试的基本功,loadrunner和jmeter这两款工具都提供录制的功能,经常在群里看到有测试朋友问录制脚本的问题: 1.录制不到脚本: 2.浏览器卡死: 3.录制的脚本杂乱:​ 4.其它问题: loadrunner录制可以参考:LoadRunner原理.使用流程及脚本实战,jmeter录制可以参考:https://www.cnblogs.com/un…
飞测说:最近接触移动项目,测试app,需要做移动app的性能测试,想通过代理来录制,但是jmeter的代理录制效果真心不是很好,自己一个个请求来写代码,太浪时间了,那么有没有其他的办法呢? 我们都知道fiddler用来抓取app的数据请求十分方便,如果我们将这些抓到请求直接给jmeter,那不是很省事,有了这个想法,周末这两天在家捣鼓着,于是有了我们下面的介绍和分享. 1.从网上找了VS2013的安装包,安装该软件(过程比较耗时,和女朋友出去打了一个小时的羽毛球,回来就安装好了),新建一个类库的…
通常情况下,我们测试性能先要做单场景测试,即某个功能,一般情况下,这个功能依赖的功能(可能是需要先登录)不会太多, 如果录制脚本的话,会录制到很多无关的请求,大大增加了脚本的复杂度以及调整脚本的工作量, 所以,我们完全可以手写脚本, 听起来好高大上啊,其实很简单, 这个过程中需要用到的工具是谷歌F12或者火狐插件firebug. 首先,我们需要对需要测试的功能点很熟悉,是哪个请求,请求的类型,依赖请求有哪些(在loadrunner中,通过关联解决依赖问题) 例如:测试百度的查询性能,如果你是录制…
参考阿里中间件团队博客的博文 Kafka vs RocketMQ——多Topic对性能稳定性的影响 使用的测试工具为Jmeter…
来自:http://blog.liveramp.com/2013/04/08/kafka-0-8-producer-performance-2/ At LiveRamp, we constantly face scaling challenges as the volume of data that our infrastructure must deal with continues to grow. One such challenge involves the logging system…
安装ansible工具: )直接yum install -y ansible; )然后更改配置,/etc/ansible/ansible.cfg,将里面的host_key_checking = False前的#去掉,去掉ssh在首次连接出现检查keys的提示 )去设置hosts文件,在最后加入以下配置,.118是要远程的服务器IP,ansible_ssh_user登录服务器的用户,ansible_ssh_pass登录服务器的密码 [test] 10.139.11.118 ansible_ssh_…
参考:<Jmeter常用脚本开发之FTP请求>感谢作者:rosa2015 一.首先,搭建FTP服务器,参考地址:<[FTP]之windows8.1上搭建FTP服务器方法> 二.其次,创建FTP测试计划: 1.添加并发用户 就是添加线程组,如下图: 2.添加FTP请求默认值 3.添加FTP请求 ①GET下载: ②put上传: 4.添加监听器用于查看测试结果 添加“图形结果.聚合报告.查看结果树.用表格察看结果”…
一.C语言实现及相关问题解决 LR:C函数-功能描述 LR:C函数-适用范围 LR:C函数-头信息传递 LR:C函数-字符串编码转换 lr_convert_string_encoding("我是您的亲友刘娜",NULL, "UTF-8" ,"content1"); 默认为系统编码 (一般为GB2312) 备注:编码后字符串尾部会增加额外ASCII字符码\x00 解决方法: lr_save_string(lr_eval_string("{…
bin/kafka-producer-perf-test.sh --num-records 5000000 --record-size 5000 \ --topic kafkatopic2 \ --broker-list bin/kafka-run-class.sh org.apache.kafka.clients.tools.ProducerPerformance kafkatopic2 50000000 100 -1 acks=1 \ bootstrap.servers=bdnodedn03…
平时我们做的都是http请求的接口测试,初次接触socket接口还是有点不知如何下手,其实他如http接口请求区别并不是很大,也是接口的链接-发送数据-断开连接这三大步骤来实现: 以下文章转载自:http://lovesoo.org/how-to-use-loadrunner-to-write-socket-protocol-script.html   因为其介绍的更为形象,便于理解 本文主要介绍使用LoadRunner手工编写Windows Socket协议测试脚本的方法. 通过LoadRun…