Hadoop4.2HDFS测试报告之二】的更多相关文章

第一组:文件存储写过程记录 测试系统组成 存储类型 测试程序或命令 测试文件大小(Mb) 文件个数(个) 客户端并发数(个) 写速率(M/s) NameNode:1 DataNode:1 本地存储 scp localpath romotepath 50 20 1 24.23 NameNode:1 DataNode:1 HDFS存储 hadoop fs -put localpath hdfspath 50 20 1 10.82 NameNode:1 DataNode:2 HDFS存储 hadoop…
测试结论 第一组数据作表格作图: 第二组数据作表格作图: 根据以上图分析得出以下结论: 1. 本地存储的读写速率基本保持23M左右,说明本地存储比较稳定. 2. HDFS存储两个数据节点的读写速率性能比较好,当文件大小为1G时与本地存储性能接近,说明具备高可用性,测试过程中停掉一个节点,正常读写文件,说明也具备高稳定性. 3. HDFS存储两个数据节点的读写速率比HDFS存储单个数据节点的读写速率提升1.6倍,说明具备高性能和高扩展性. 4. HDFS存储在文件大于100M时读写速率15M/s以…
第一组:文件存储写过程记录 NameNode:1 DataNode:1 本地存储 scp localpath romotepath 500 2 1 23.67 NameNode:1 DataNode:1 HDFS存储 hadoop fs -put localpath hdfspath 500 2 1 31.92 NameNode:1 DataNode:2 HDFS存储 hadoop fs -put localpath hdfspath 500 2 1 41.39 NameNode:1 DataN…
第二组:文件存储读过程记录 测试系统组成 存储类型 测试程序或命令 测试文件大小(Mb) 文件个数(个) 客户端并发数(个) 读速率 (M/s) NameNode:1 DataNode:1 本地存储 scp romotepath localpath 50 20 1 23.51 NameNode:1 DataNode:1 HDFS存储 hadoop fs -get hdfspath localpath 50 20 1 13.70 NameNode:1 DataNode:2 HDFS存储 hadoo…
第二组:文件存储读过程记录 NameNode:1 DataNode:1 本地存储 scp romotepath localpath 500 2 1 23.05 NameNode:1 DataNode:1 HDFS存储 hadoop fs -get hdfspath localpath 500 2 1 28.40 NameNode:1 DataNode:2 HDFS存储 hadoop fs -get hdfspath localpath 500 2 1 42.67 NameNode:1 DataN…
1.1   测试方案 1.1.1 测试目标 为了验证本地文件系统和HDFS存储能力对比,将1G文件组存储进各个文件系统,记录存储任务消耗的时间. l   测试HDFS的高可用性和高稳定性 l   测试HDFS的高性能和高扩展性 l   测试HDFS的读写速率大于15M/s 1.1.2 测试过程 将测试过程分为两组进行: 第一组:在本地/root文件夹中创建1G文件组,记录写完成的时间,测试三次,并计算出写速率:在HDFS文件系统中建立/root文件夹,将本地/root文件中的文件(1G文件组)分…
如果按JMeter默认设置,生成报告如下: 从上图可以看出,结果信息比较简单,对于运行成功的case,还可以将就用着.但对于跑失败的case,就只有一行assert错误信息.(信息量太少了,比较难找到失败原因) 优化大致过程: 1.下载style文件:jmeter.results.shanhe.me.xsl 2.把下载的文件放到jmeter的extras目录下. 3.修改jmeter.properties文件如下部分,我这里都修改成true,这样执行完脚本后就会保存这些结果到.jtl文件里面:…
1.将写好的项目导出 在工程下会生成一个build.xml的蚂蚁图标的文件. 2.右击该文件,选择run as Ant build 其中的测试目录是可以选择的,如果涉及到顺序也可以调整顺序 3.执行后再项目目录下会生成一个junit的文件夹: 打开其中的index.html可以看到测试结果: 其他的网页也可以看到相关参数,自行查看呦…
[github]   https://github.com/bugphobia/XuebaOnline 0x01 :目录与摘要 If you weeped for the missing sunset, you would miss all the shining stars 索引 提纲 整理与更新记录节点 起始记录时间 终止记录时间 0x01 目录与摘要 初次整理于2015/10/23 2015/10/23 12:00 A.M. —— 0x02 Alaph阶段第一次Scrum Meeting…
一.阶梯式场景 该场景主要应用在负载测试里面,通过设定一定的并发线程数,给定加压规则,遵循“缓起步,快结束”的原则,不断地增加并发用户来找到系统的性能瓶颈,进而有针对性的进行各方面的系统优化. 使用到的线程为:jp@gc - Stepping Thread Group (deprecated) 在测试计划上:右键—>添加—>线程(用户)—>jp@gc - Stepping Thread Group (deprecated) 同时添加以下监视器: TPS:jp@gc - Transacti…
Algorithm 给定一个整数数组 nums 和一个目标值 target,请你在该数组中找出和为目标值的那 两个 整数,并返回他们的数组下标. Two Sum 编写一个 SQL 查询,满足条件:无论 person 是否有地址信息,都需要基于上述两表提供 person 的以下信息:FirstName, LastName, City, State Combine Two Tables 编写一个 SQL 查询,获取 Employee 表中第二高的薪水(Salary), 如果不存在第二高的薪水,那么查…
技巧一:命令行执行 命令执行:指定参数,报告的存储位置 jmeter -n -t baidu_requests_results.jmx -r -l baidu_requests_results.jtl -e -o /home/resultReport -n : 非GUI 模式执行JMeter -t : 执行测试文件所在的位置及文件名 -r : 远程将所有agent启动用在分布式测试场景下,不是分布式测试只是单点就不需要-r -l : 指定生成测试结果的保存文件, jtl 文件格式 -e : 测试…
移动APP漏洞自动化检测平台建设   前言:本文是<移动APP客户端安全笔记>系列原创文章中的第一篇,主要讲的是企业移动APP自动化漏洞检测平台建设,移动APP漏洞检测发展史与前沿技术,APP漏洞检测工具与平台,以及笔者的一些思考.希望能对移动App自动化漏洞检测感兴趣的同学有所帮助,限于笔者技术水平与文章篇幅,有些内容暂没有逐一详细分析,后续我争取多学习多分享,在此也欢迎大家指点和交流. 一.国内Android App漏洞检测发展简史 1.1石器时代 (2007-2011) 2007年11年…
性能测试工具Jmeter由于其体积小.使用方便.学习成本低等原因,在现在的性能测试过程中,使用率越来越高,但其本身也有一定的缺点,比如提供的测试结果可视化做的很一般. 不过从3.0版本开始,jmeter引入了Dashboard Report模块,用于生成HTML类型的可视化图形报告(3.0版本的Dashboard Report模块会中文乱码,因此建议使用3.0以上的版本). 这篇博客,简单介绍下在利用jmeter进行性能测试时,生成HTML的可视化测试报告... 一.生成HTML测试报告的两种方…
在 使用jmeter+ant进行接口自动化测试(数据驱动)之一 介绍了如何使用csv文件来批量管理接口 本次接着介绍如何利用apache-ant执行测试用例并生成HTML格式测试报告 ①下载安装 apache-ant-1.9.9,配置环境变量 如下方式检验安装成功 ②安装好ant后,把jmeter中extras目录下的ant-jmeter-1.1.1.jar 文件copy到ant安装目录下的lib文件夹中 ③配置ant 编译文件 build.xml 新建一个txt文件,并重名为 build.xm…
1.extentreports 测试报告 pom文件 <dependency> <groupId>com.vimalselvam</groupId> <artifactId>cucumber-extentsreport</artifactId> <version></version> </dependency> <dependency> <groupId>com.aventstack&l…
mac下的安装: 1.下载HTMLTestRunner.py文件,下载地址http://tungwaiyip.info/software/HTMLTestRunner.html,可以复制里面的内容到一个文件,改名为HTMLTestRunner.py 2.在终端依次运行 (1)python (2)import sys (3)print sys.path 3.找到一个site-packages的文件夹的路径,将HTMLTestRunner.py文件拷贝到site-packages的文件夹下,在py文…
    import requestsimport unittest class TestQQ(unittest.TestCase):    '''测试QQ号接口'''      # 此注释将展示到测试报告的测试组类 def test_qq(self):        '''测试QQ号码,正确的appkey'''      # 此注释将展示到测试报告的用例标题        url = 'http://japi.juhe.cn/qqevaluate/qq'        par = {     …
简介 上一篇我们批量执行完用例后,生成的测试报告是文本形式的,不够直观,而且报告一般都是发给leader的,所以最好是直观一目了然,为了更好的展示测试报告,最好是生成 HTML 格式的.unittest 里面是不能生成 html 格式报告的,需 要导入一个第三方的模块:HTMLTestRunner. 导入 HTMLTestRunner 1..这 个 模 块 下 载 不 能 通 过 pip 安装了,只能下载后手动导入,下载地址:http://tungwaiyip.info/software/HTM…
如果要自测代码,可使用单元测试,需要导入unittest模块,import unittest即可. 例如,自测一个计算连个数相除的函数,代码如下: import unittest def calc(a,b): ) #返回a除以b的结果,保留1位小数 class TestCacl(unittest.TestCase): def test1(self): #测试用例要以test开头,不然不会被执行 res = calc(,) self.assertEqual(0.5,res,'计算不正确') #判断…
简介 前边几篇,已经教小伙伴们掌握了如何生成HTML的测试报告,那么生成测试报告,我们也不能放在那里不管了,这样即使你报告在漂亮,领导也看不到.因此如果想向领导汇报工作,不仅需要提供更直观的测试报告.而是我们需要将生 成测试报告发个相关的负责人,需要他们看一下测试结果,把控一下项目的接口有风险,会不会影响项目进度等等一些事吧. 发邮件需要用到python两个模块,smtplib和email,这俩模块是python自带的,只需import即可使用.smtplib模块主要负责发送邮件,email模块…
测试套件suite除了使用addTest以外,还有使用操作起来更更简便的makeSuite\testload\discover 1.makeSuite,创建测试套件,传的参数是要执行的测试用例所在的类名,如下代码makeSuite()里传入的就是用例test01\test02所在的类Login, 代码:reload(sys) sys.setdefaultencoding('utf-8')是将代码中的字符类型都转为UTF-8编码格式 #!/usr/bin/env.python #-*-coding…
一.前提 1.环境 1)已经部署好了jenkins环境,包括jenkins的“全局工具配置”也配好了. 2.master与slave的简单的概念 1)master:jenkins部署所在的机器 2)slave:除开master,全都是slave,也就是master只有一个,slave可以有很多个.slave机器不需要安装jenkins,因为master与salve之间的联系和调动,靠的是master提供web接口来让用户管理job和slave,而job可以在master本机运行,也可以被分发到各…
一.需求痛点 1.报告输出内容是居中对齐,很难看 2.我们希望输出内容是居左对齐 3.痛点截图 二.解决办法 1.原因分析 HTMLreport的内容对齐方式,自然是修改HTMLreport的内容了 2.修改HTMLreport的对齐方式 三.效果展示 嗯,好看多了…
Beta - 测试报告 测试过程中发现的bug Beta阶段的新bug 我们在Beta阶段的开发过程中就进行了测试,发现了许多bug.这其中后端的bug比较多,在这里我列举一些比较重要的功能性bug. 用户创建项目会抛出异常,没有正确获取浏览器的cookie 用户修改个人密码,后端无法接收到前端的输入 添加好友是单向的 无法删除好友 实体之间的关系在图上显示为ID,而非名称 在图中查找某一实体会导致其他实体丢失 删除某一关系会导致图中所有相同类型的关系都被删除掉 导入文本中文乱码 导出知识图谱信…
TextMarking Alpha阶段测试报告 前后端测试过程及结果 在Alpha阶段,测试工作紧跟后端开发进度,一下是我们所做的一些测试工作. 后端单元测试 测试代码可以在git仓库中查看,后端对所有接口(包括一些前端未使用的接口)进行了单元测试,全部通过.基本保证了后端接口的正确性.代码覆盖率如下: 前端测试 功能测试 主要的功能有: 功能 标准 实体添加 1. 正确向图谱添加实体的文本信息2. 实体不能为空3. 不可重复添加实体 实体删除 1. 在"Entity"栏目下点击实体,…
报告目录结构 Reporter根目录 | |-------------LOGS |                                                | |                                         2017-09-21_12-34-39   每次按日期时间动态生成报告目录 |                                                | |                          …
上一篇文章修改了一些基本的ReportNG信息,链接:https://www.cnblogs.com/mrjade/p/9912073.html,本文将继续带大家进行修改,重点是添加饼图 1.修改测试结果顺序,修改TestResultComparator类compare方法 2.添加饼图,在overview.html.vm添加 <script src='http://www.ichartjs.com/ichart.latest.min.js'></script> 3.在overvi…
Hbase 配置文件: hbase-site.xml <configuration> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs://cdh-master:9…
1.实验目的 在上一轮的实验中,oracle 11g r2版本下,在87县市实验数据的基础上,比较了分表与分区的效率,得出了分区+全局索引效率较高的结论(见上一篇博客).不过我们尚未比较过不同的分区粒度有什么效率差异.这一轮的实验,着重于以下几个目的: 使实验场景更接近真实使用场景——使用oracle 12c,用更大的数据量进行实验. 对比分析按县分区与按省分区的查询效率. 继续比较本地空间索引与全局空间索引在不同算法下的查询效率. 2.实验数据 实验数据为全国2531个区县,要素总数为4698…