【转】MapReduce:默认Counter的含义
MapReduce Counter为提供我们一个窗口:观察MapReduce job运行期的各种细节数据。今年三月份期间,我曾经专注于MapReduce性能调优工作,是否优化的绝大多评估都是基于这些Counter的数值表现。MapReduce自带了许多默认Counter,可能有些朋友对它们有些疑问,现在我分析下这些默认Counter的含义,方便大家观察job结果。
我的分析是基于Hadoop0.21,我也看过Hadoop其它版本的Counter展现,细节大同小异,如果有差异的地方,以事实版本为主。
Counter有"组group"的概念,用于表示逻辑上相同范围的所有数值。MapReduce job提供的默认Counter分为五个组,下面逐一介绍。这里也拿我的一份测试数据来做详细比对,它们会以表格的形式出现在各组描述中。
FileInputFormatCounters
这个group表示map task读取文件内容(总输入数据)的统计
Counter | Map | Reduce | Total | |
FileInputFormatCounters | BYTES_READ | 1,109,990,596 | 0 | 1,109,990,596 |
BYTES_READ
Map task的所有输入数据(字节),等于各个map task的map方法传入的所有value值字节之和。
FileSystemCounters
MapReduce job执行所依赖的数据来自于不同的文件系统,这个group表示job与文件系统交互的读写统计
Counter | Map | Reduce | Total | |
FileSystemCounters | FILE_BYTES_READ | 0 | 1,544,520,838 | 1,544,520,838 |
FILE_BYTES_WRITTEN | 1,544,537,310 | 1,544,520,838 | 3,089,058,148 | |
HDFS_BYTES_READ | 1,110,269,508 | 0 | 1,110,269,508 | |
HDFS_BYTES_WRITTEN | 0 | 827,982,518 | 827,982,518 |
FILE_BYTES_READ
job读取本地文件系统的文件字节数。假定我们当前map的输入数据都来自于HDFS,那么在map阶段,这个数据应该是0。但reduce在执行前,它的输入数据是经过shuffle的merge后存储在reduce端本地磁盘中,所以这个数据就是所有reduce的总输入字节数。
FILE_BYTES_WRITTEN
map的中间结果都会spill到本地磁盘中,在map执行完后,形成最终的spill文件。所以map端这里的数据就表示map task往本地磁盘中总共写了多少字节。与map端相对应的是,reduce端在shuffle时,会不断地拉取map端的中间结果,然后做merge并不断spill到自己的本地磁盘中。最终形成一个单独文件,这个文件就是reduce的输入文件。
HDFS_BYTES_READ
整个job执行过程中,只有map端运行时,才从HDFS读取数据,这些数据不限于源文件内容,还包括所有map的split元数据。所以这个值应该比FileInputFormatCounters.BYTES_READ 要略大些。
HDFS_BYTES_WRITTEN
Reduce的最终结果都会写入HDFS,就是一个job执行结果的总量。
Shuffle Errors
这组内描述Shuffle过程中的各种错误情况发生次数,基本定位于Shuffle阶段copy线程抓取map端中间数据时的各种错误。
Counter | Map | Reduce | Total | |
Shuffle Errors | BAD_ID | 0 | 0 | 0 |
CONNECTION | 0 | 0 | 0 | |
IO_ERROR | 0 | 0 | 0 | |
WRONG_LENGTH | 0 | 0 | 0 | |
WRONG_MAP | 0 | 0 | 0 | |
WRONG_REDUCE | 0 | 0 | 0 |
BAD_ID
每个map都有一个ID,如attempt_201109020150_0254_m_000000_0,如果reduce的copy线程抓取过来的元数据中这个ID不是标准格式,那么此Counter增加
CONNECTION
表示copy线程建立到map端的连接有误
IO_ERROR
Reduce的copy线程如果在抓取map端数据时出现IOException,那么这个值相应增加
WRONG_LENGTH
map端的那个中间结果是有压缩好的有格式数据,所有它有两个length信息:源数据大小与压缩后数据大小。如果这两个length信息传输的有误(负值),那么此Counter增加
WRONG_MAP
每个copy线程当然是有目的:为某个reduce抓取某些map的中间结果,如果当前抓取的map数据不是copy线程之前定义好的map,那么就表示把数据拉错了
WRONG_REDUCE
与上面描述一致,如果抓取的数据表示它不是为此reduce而准备的,那还是拉错数据了。
Job Counters
这个group描述与job调度相关的统计
Counter | Map | Reduce | Total | |
Job Counters | Data-local map tasks | 0 | 0 | 67 |
FALLOW_SLOTS_MILLIS_MAPS | 0 | 0 | 0 | |
FALLOW_SLOTS_MILLIS_REDUCES | 0 | 0 | 0 | |
SLOTS_MILLIS_MAPS | 0 | 0 | 1,210,936 | |
SLOTS_MILLIS_REDUCES | 0 | 0 | 1,628,224 | |
Launched map tasks | 0 | 0 | 67 | |
Launched reduce tasks | 0 | 0 | 8 |
Data-local map tasks
Job在被调度时,如果启动了一个data-local(源文件的幅本在执行map task的taskTracker本地)
FALLOW_SLOTS_MILLIS_MAPS
当前job为某些map task的执行保留了slot,总共保留的时间是多少
FALLOW_SLOTS_MILLIS_REDUCES
与上面类似
SLOTS_MILLIS_MAPS
所有map task占用slot的总时间,包含执行时间和创建/销毁子JVM的时间
SLOTS_MILLIS_REDUCES
与上面类似
Launched map tasks
此job启动了多少个map task
Launched reduce tasks
此job启动了多少个reduce task
Map-Reduce Framework
这个Counter group包含了相当多地job执行细节数据。这里需要有个概念认识是:一般情况下,record就表示一行数据,而相对地byte表示这行数据的大小是多少,这里的group表示经过reduce merge后像这样的输入形式{“aaa”, [5, 8, 2, …]}。
Counter | Map | Reduce | Total | |
Map-Reduce Framework | Combine input records | 200,000,000 | 0 | 200,000,000 |
Combine output records | 117,838,546 | 0 | 117,838,546 | |
Failed Shuffles | 0 | 0 | 0 | |
GC time elapsed (ms) | 23,472 | 46,588 | 70,060 | |
Map input records | 10,000,000 | 0 | 10,000,000 | |
Map output bytes | 1,899,990,596 | 0 | 1,899,990,596 | |
Map output records | 200,000,000 | 0 | 200,000,000 | |
Merged Map outputs | 0 | 536 | 536 | |
Reduce input groups | 0 | 84,879,137 | 84,879,137 | |
Reduce input records | 0 | 117,838,546 | 117,838,546 | |
Reduce output records | 0 | 84,879,137 | 84,879,137 | |
Reduce shuffle bytes | 0 | 1,544,523,910 | 1,544,523,910 | |
Shuffled Maps | 0 | 536 | 536 | |
Spilled Records | 117,838,546 | 117,838,546 | 235,677,092 | |
SPLIT_RAW_BYTES | 8,576 | 0 | 8,576 |
Combine input records
Combiner是为了减少尽量减少需要拉取和移动的数据,所以combine输入条数与map的输出条数是一致的。
Combine output records
经过Combiner后,相同key的数据经过压缩,在map端自己解决了很多重复数据,表示最终在map端中间文件中的所有条目数
Failed Shuffles
copy线程在抓取map端中间数据时,如果因为网络连接异常或是IO异常,所引起的shuffle错误次数
GC time elapsed(ms)
通过JMX获取到执行map与reduce的子JVM总共的GC时间消耗
Map input records
所有map task从HDFS读取的文件总行数
Map output records
map task的直接输出record是多少,就是在map方法中调用context.write的次数,也就是未经过Combine时的原生输出条数
Map output bytes
Map的输出结果key/value都会被序列化到内存缓冲区中,所以这里的bytes指序列化后的最终字节之和
Merged Map outputs
记录着shuffle过程中总共经历了多少次merge动作
Reduce input groups
Reduce总共读取了多少个这样的groups
Reduce input records
如果有Combiner的话,那么这里的数值就等于map端Combiner运算后的最后条数,如果没有,那么就应该等于map的输出条数
Reduce output records
所有reduce执行后输出的总条目数
Reduce shuffle bytes
Reduce端的copy线程总共从map端抓取了多少的中间数据,表示各个map task最终的中间文件总和
Shuffled Maps
每个reduce几乎都得从所有map端拉取数据,每个copy线程拉取成功一个map的数据,那么增1,所以它的总数基本等于 reduce number * map number
Spilled Records
spill过程在map和reduce端都会发生,这里统计在总共从内存往磁盘中spill了多少条数据
SPLIT_RAW_BYTES
与map task 的split相关的数据都会保存于HDFS中,而在保存时元数据也相应地存储着数据是以怎样的压缩方式放入的,它的具体类型是什么,这些额外的数据是MapReduce框架加入的,与job无关,这里记录的大小就是表示额外信息的字节大小
转自:http://langyu.iteye.com/blog/1171091
【转】MapReduce:默认Counter的含义的更多相关文章
- Yarn&Mapreduce参数的具体含义和配置参考
Yarn & Mapreduce 参数的具体含义和配置 http://zh.hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp ...
- 关于MapReduce默认分区策略
MapReduce默认分区策略 mapreduce 默认的分区方式是hashPartition,在这种分区方式下,KV对根据key的hashcode值与reduceTask个数进行取模,决定该键值对该 ...
- [Hadoop] - Mapreduce自定义Counter
在Hadoop的MR程序开发中,经常需要统计一些map/reduce的运行状态信息,这个时候我们可以通过自定义Counter来实现,这个实现的方式是不是通过配置信息完成的,而是通过代码运行时检查完成的 ...
- MapReduce计数器
1.MapReduce计数器是什么? 计数器是用来记录job的执行进度和状态的.它的作用可以理解为日志.我们可以在程序的某个位置插入计数器,记录数据或者进度的变化情况. 2.MapReduce计数器能 ...
- MapReduce 计数器简介
转自:http://my.oschina.net/leejun2005/blog/276891?utm_source=tuicool&utm_medium=referral 1.计数器 简介 ...
- 大数据【四】MapReduce(单词计数;二次排序;计数器;join;分布式缓存)
前言: 根据前面的几篇博客学习,现在可以进行MapReduce学习了.本篇博客首先阐述了MapReduce的概念及使用原理,其次直接从五个实验中实践学习(单词计数,二次排序,计数器,join,分 ...
- Hadoop学习之路(十五)MapReduce的多Job串联和全局计数器
MapReduce 多 Job 串联 需求 一个稍复杂点的处理逻辑往往需要多个 MapReduce 程序串联处理,多 job 的串联可以借助 MapReduce 框架的 JobControl 实现 实 ...
- Hadoop MapReduce编程 API入门系列之计数器(二十七)
不多说,直接上代码. MapReduce 计数器是什么? 计数器是用来记录job的执行进度和状态的.它的作用可以理解为日志.我们可以在程序的某个位置插入计数器,记录数据或者进度的变化情况. Ma ...
- Hadoop案例(四)倒排索引(多job串联)与全局计数器
一. 倒排索引(多job串联) 1. 需求分析 有大量的文本(文档.网页),需要建立搜索索引 xyg pingping xyg ss xyg ss a.txt xyg pingping xyg pin ...
随机推荐
- redis在Windows下以后台服务一键搭建集群(多机器)
redis在Windows下以后台服务一键搭建集群(多机器) 一.概述 此教程介绍如何在windows系统中多台机器之间布置redis集群,同时要以后台服务的模式运行.布置以脚本的形式,一键完成.多台 ...
- 知乎日报客户端应用ios源码
swift开发的知乎日报客户端详细源码,里面分UI和网络两个模块. 1.涉及到了大部分的UI控件的使用(甚至包括UIRefreshView,UITableConrol等等)2.Connection完成 ...
- 解决 Unable to convert MySQL date/time value to System.DateTime
C#读取MySql时,如果存在字段类型为date/datetime时的可能会出现以下问题“Unable to convert MySQL date/time value to System.DateT ...
- Wired Memory
https://developer.apple.com/library/content/documentation/Performance/Conceptual/ManagingMemory/Arti ...
- 【BZOJ4650】[NOI2016] 优秀的拆分(后缀数组)
点此看题面 大致题意: 定义将一个字符串拆成\(AABB\)的形式为优秀拆分,求一个字符串所有子串的优秀拆分个数. 后缀数组 这题可是一道后缀数组黑题啊. 其实看完题解这题还是挺简单的. 大致思路 显 ...
- 2018.10.26 NOIP2018模拟赛 解题报告
得分: \(0+10+10=20\)(\(T1\)死于假题面,\(T3\)死于细节... ...) \(P.S.\)由于原题是图片,所以我没有上传题目描述,只有数据. \(T1\):颜料大乱斗(点此看 ...
- click
click简介 Click是一个Python包,用于以可组合的方式创建漂亮的命令行界面,只需要很少的代码.这是“命令行界面创建工具包”.它具有高度可配置性,但具有开箱即用的合理默认值. 点击三点: 任 ...
- C#箴言之用属性来访问类的私有成员
在程序中,难免要访问某个对象的私有成员.那么以前实现这类功能的方法有两种,第一种方法最简单,就是把成员访问符从“private”改为“public”即可:而另一个就是提供公有的成员访问函数来进行访问. ...
- 随机获得MySQL数据库中100条数据方法 驾照题库项目 MVC架构 biz业务层的实现类 根据考试类型rand或order通过dao数据访问层接口得到数据库中100或全部数据
package com.swift.jztk.biz; import java.util.Collections; import java.util.Comparator; import java.u ...
- jrtplib移植
jrtplib版本:3.11.1 jthread版本:1.3.3 libsrtp版本:1.6.0 jrtplib库有两种编译方式: 1. 使能jthread编译,此方式可使jrtplib自动在后台轮询 ...