你可能听说过Apache Tez,它是一个针对Hadoop数据处理应用程序的新分布式执行框架。但是它到底是什么呢?它的工作原理是什么?哪些人应该使用它,为什么?如果你有这些疑问,那么可以看一下Bikas Saha和Arun Murthy提供的呈现“Apache Tez: 加速Hadoop查询处理”,在这个呈现中他们讨论了Tez的设计,它的一些突出亮点,同时还分享了通过让Hive使用Tez而不是MapReduce而获得的一些初始成果。

Tez是Apache最新的支持DAG作业的开源计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Tez并不直接面向最终用户——事实上它允许开发者为最终用户构建性能更快、扩展性更好的应用程序。Hadoop传统上是一个大量数据批处理平台。但是,有很多用例需要近乎实时的查询处理性能。还有一些工作则不太适合MapReduce,例如机器学习。Tez的目的就是帮助Hadoop处理这些用例场景。

 

Tez项目的目标是支持高度定制化,这样它就能够满足各种用例的需要,让人们不必借助其他的外部方式就能完成自己的工作,如果 Hive和 Pig 这样的项目使用Tez而不是MapReduce作为其数据处理的骨干,那么将会显著提升它们的响应时间。Tez构建在YARN之上,后者是Hadoop所使用的新资源管理框架。

设计哲学

Tez产生的主要原因是绕开MapReduce所施加的限制。除了必须要编写Mapper和Reducer的限制之外,强制让所有类型的计算都满足这一范例还有效率低下的问题——例如使用HDFS存储多个MR作业之间的临时数据,这是一个负载。在Hive中,查询需要对不相关的key进行多次shuffle操作的场景非常普遍,例如join - grp by - window function - order by。

 

Tez设计哲学里面的关键元素包括:

  • 允许开发人员(也包括最终用户)以最有效的方式做他们想做的事情
  • 更好的执行性能

Tez之所以能够实现这些目标依赖于以下内容

  • 具有表现力的数据流API——Tez团队希望通过一套富有表现力的数据流定义API让用户能够描述他们所要运行计算的有向无环图 (DAG)。为了达到这个目的,Tez实现了一个结构化类型的API,你可以在其中添加所有的处理器和边,并可视化实际构建的图形。
  • 灵活的输入—处理器—输出(Input-Processor-Output)运行时模型——可以通过连接不同的输入、处理器和输出动态地构建运行时执行器。
  • 数据类型无关性——仅关心数据的移动,不关心数据格式(键值对、面向元组的格式等)。
  • 动态图重新配置
  • 简单地部署——Tez完全是一个客户端应用程序,它利用了YARN的本地资源和分布式缓存。就Tez的使用而言,你不需要在自己的集群上部署任何内容,仅需要将相关的Tez类库上传到HDFS上,然后使用Tez客户端提交这些类库即可。

    你甚至可以在你的集群上放置两份类库。一份用于产品环境,它使用稳定版本供所有的生产任务使用;另一份使用最新版本,供用户体验。这两份类库相互独立,互不影响。

  • Tez能够运行任意MR任务,不需要做任何改动。这样能够让那些现在依赖于MR的工具实现分布迁移。

接下来让我们详细地探索一下这些表现力丰富的数据流API——看看我们可以使用它们做些什么?例如,你可以使用MRR模式而不是使用多个MapReduce任务,这样一个单独的map就可以有多个reduce阶段;并且这样做数据流可以在不同的处理器之间流转,不需要把任何内容写入HDFS(将会被写入磁盘,但这仅仅是为了设置检查点),与之前相比这种方式性能提升显著。下面的图表阐述了这个过程:

第一个图表展示的流程包含多个MR任务,每个任务都将中间结果存储到HDFS上——前一个步骤中的reducer为下一个步骤中的mapper提供数据。第二个图表展示了使用Tez时的流程,仅在一个任务中就能完成同样的处理过程,任务之间不需要访问HDFS。

Tez的灵活性意味着你需要付出比MapReduce更多的努力才能使用它,你需要学习更多的API,需要实现更多的处理逻辑。但是这还好,毕竟它和MapReduce一样并不是一个面向最终用户的应用程序,其目的是让开发人员基于它构建供最终用户使用的应用程序。

以上内容是对Tez的概述及其目标的描述,下面就让我们看看它实际的API。

Tez API

Tez API包括以下几个组件:

  • 有向无环图(DAG)——定义整体任务。一个DAG对象对应一个任务。
  • 节点(Vertex)——定义用户逻辑以及执行用户逻辑所需的资源和环境。一个节点对应任务中的一个步骤。
  • 边(Edge)——定义生产者和消费者节点之间的连接。

    边需要分配属性,对Tez而言这些属性是必须的,有了它们才能在运行时将逻辑图展开为能够在集群上并行执行的物理任务集合。下面是一些这样的属性:

    • 数据移动属性,定义了数据如何从一个生产者移动到一个消费者。
    • 调度(Scheduling)属性(顺序或者并行),帮助我们定义生产者和消费者任务之间应该在什么时候进行调度。
    • 数据源属性(持久的,可靠的或者暂时的),定义任务输出内容的生命周期或者持久性,让我们能够决定何时终止。

如果你想查看一个API的使用示例,对这些属性的详细介绍,以及运行时如何展开逻辑图,那么可以看看Hortonworks提供的这篇文章

运行时API基于输入—处理器—输出模型,借助于该模型所有的输入和输出都是可插拔的。为了方便,Tez使用了一个基于事件的模型,目的是为了让任务和系统之间、组件和组件之间能够通信。事件用于将信息(例如任务失败信息)传递给所需的组件,将输出的数据流(例如生成的数据位置信息)传送给输入,以及在运行时对DAG执行计划做出改变等。

Tez还提供了各种开箱即用的输入和输出处理器。

这些富有表现力的API能够让更高级语言(例如Hive)的编写者很优雅地将自己的查询转换成Tez任务。

Tez调度程序

在决定如何分配任务的时候,Tez调度程序考虑了很多方面,包括:任务位置需求、容器的兼容性、集群可利用资源的总量、等待任务请求的优先级、自动并行化、释放应用程序不再使用的资源(因为对它而言数据并不是本地的)等。它还维护着一个使用共享注册对象的预热JVM连接池。应用程序可以选择使用这些共享注册对象存储不同类型的预计算信息,这样之后再进行处理的时候就能重用它们而不需要重新计算了,同时这些共享的连接集合及容器池资源也能非常快地运行任务。

如果你想了解更多与容器重利用相关的信息,那么可以查看这里

扩展性

总体来看,Tez为开发人员提供了丰富的扩展性以便于让他们能够应对复杂的处理逻辑。这可以通过示例“Hive是如何使用Tez的”来说明。

让我们看看这个经典的TPC-DS查询模式,在该模式中你需要将多个维度表与一个事实表连接到一起。大部分优化器和查询系统都能完成该图右上角部分所描述的场景:如果维度表较小,那么可以将所有的维度表与较大的事实表进行广播连接,这种情况下你可以在Tez上完成同样的事情。

但是如果这些广播包含用户自定义的、计算成本高昂的函数呢?此时,你不可能都用这种方式实现。这就需要你将自己的任务分割成不同的阶段,正如该图左边的拓扑图所展示的方法。第一个维度表与事实表进行广播连接,连接的结果再与第二个维度表进行广播连接。

第三个维度表不再进行广播连接,因为它太大了。你可以选择使用shuffle连接,Tez能够非常有效地导航拓扑。

使用Tez完成这种类型的Hive查询的好处包括:

  • 它为你提供了全面的DAG支持,同时会自动地在集群上完成大量的工作,因而它能够充分利用集群的并行能力;正如上面所介绍的,这意味着在多个MR任务之间不需要从HDFS上读/写数据,通过一个单独的Tez任务就能完成所有的计算。
  • 它提供了会话可重用的容器,因此延迟低,能够尽可能地避免重组。

使用新的Tez引擎执行这个特殊的Hive查询性能提升将超过100%。

路线图

  • 更加丰富的DAG支持。例如,Samza是否能够使用Tez作为其底层支撑然后在这上面构建应用程序?为了让Tez能够处理Samza的核心调度和流式需求开发团队需要做一些支持。Tez团队将探索如何在我们的DAG中使用这些类型的连接模式。他们还想提供更好的容错支持,更加有效地数据传输,从而进一步优化性能,并且改善会话性能。
  • 考虑到这些DAG的复杂度无法确定,需要提供很多自动化的工具来帮助用户理解他们的性能瓶颈。

总结

Tez是一个支持DAG作业的分布式执行框架。它能够轻而易举地映射到更高级的声明式语言,例如Hive、Pig、Cascading等。它拥有一个高度可定制的执行架构,因而我们能够在运行时根据与数据和资源相关的实时信息完成动态性能优化。框架本身会自动地决定很多棘手问题,让它能够顺利地正确运行。

使用Tez,你能够得到良好的性能和开箱即用的效率。Tez的目标是解决Hadoop数据处理领域所面对的一些问题,包括延迟以及执行的复杂性等。Tez是一个开源的项目,并且已经被Hive和Pig使用。

 

Apache Tez 了解的更多相关文章

  1. CentOS 6.5 Maven 编译 Apache Tez 0.8.3 踩坑/报错解决记录

    最近准备学习使用Tez,因此从官网下载了最新的Tez 0.8.3源码,按照安装教程编译使用.平时使用的集群环境是离线的,本打算这一次也进行离线编译,无奈一编译就开始报缺少jar包的错,即使手动下载ja ...

  2. Apache Tez Design

    http://tez.incubator.apache.org/ http://dongxicheng.org/mapreduce-nextgen/apache-tez/ http://dongxic ...

  3. Apache Tez 0.7、0.83、 0.82 安装、调试笔记

    ———————————————————— 准备 Tez 编译环境 ———————————————————— 1 需要的支持 tez0.7 需要 Hadoop 2.60 以上 2 需要的 linux 相 ...

  4. Apache Tez on hive

    ———————————————————— 调配 Hadoop  ———————————————————— 1 将 编译好的 TEZ .tar.gz 文件上传到 HDFS 中.   hdfs fs -p ...

  5. apache开源项目 -- tez

    为了更高效地运行存在依赖关系的作业(比如Pig和Hive产生的MapReduce作业),减少磁盘和网络IO,Hortonworks开发了DAG计 算框架Tez.Tez是从MapReduce计算框架演化 ...

  6. Hadoop2.0/YARN深入浅出(Hadoop2.0、Spark、Storm和Tez)

    随着云计算.大数据迅速发展,亟需用hadoop解决大数据量高并发访问的瓶颈.谷歌.淘宝.百度.京东等底层都应用hadoop.越来越多的企 业急需引入hadoop技术人才.由于掌握Hadoop技术的开发 ...

  7. Apache 项目列表功能分类便于技术选型

    big-data (49):  Apache Accumulo  Apache Airavata  Apache Ambari  Apache Apex  Apache Avro  Apache Be ...

  8. hive on tez配置

    1.Tez简介 Tez是Hontonworks开源的支持DAG作业的计算框架,它可以将多个有依赖的作业转换为一个作业从而大幅提升MapReduce作业的性能.Tez并不直接面向最终用户--事实上它允许 ...

  9. 深入理解Apache Flink

    Apache Flink(下简称Flink)项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多人的关注.本文将深入分析Flink的一些关键技术与特性,希望能够帮 ...

随机推荐

  1. C#多线程3种创建Thread、Delegate.BeginInvoke、线程池

    1   创建多线程,一般情况有以下几种:(1)通过Thread类   (2)通过Delegate.BeginInvoke方法   (3)线程池 using System; using System.C ...

  2. java poi分批次导入Excel

    最近换了新工作,公司要求导入Excel要分批次导入,并且是多线程的情况下执行导入,查了很多资料,没看到比较复合的,就打算自己写一个吧,可能有不足,希望指出. 上面说到多线程,这边就不贴出代码了,具体思 ...

  3. 1023: Pong’s Birds(概率)

    1023: Pong’s Birds 时间限制: 1 Sec  内存限制: 128 MB提交: 94  解决: 21[提交][状态][讨论版] 题目描述 In order to train his b ...

  4. C++:override和final

    1. override 重载 当你在父类中使用了虚函数时候,你可能需要在某个子类中对这个虚函数进行重写,以下方法都可以: class A { virtual void foo(); } class B ...

  5. ZOJ 2965 Accurately Say "CocaCola"!(预处理)

    Accurately Say "CocaCola"! Time Limit: 2 Seconds      Memory Limit: 65536 KB In a party he ...

  6. iOS 开发经验总结

    iOS 开发经验总结http://www.cocoachina.com/ios/20170216/18699.html 1.cocoa pods 常用的framework 1 2 3 4 5 6 7 ...

  7. chrome浏览器Uncaught TypeError: object is not a function问题解决

    今天测试多浏览器的时候,chrome浏览器出现Uncaught TypeError: object is not a function: 解决办法:(不知道为啥子)改一下js的方法名字就可以了

  8. 利用Appium Python测试爱壁纸的登录和设置壁纸

    设置壁纸: #coding:utf-8 #Import the common package import os import unittest from appium import webdrive ...

  9. Python面向对象 --- 新旧式类、私有方法、类属性和类方法、静态方法

    一.Python面向对象中的新旧式类 1)新式类(推荐使用):在定义类时,类后边括号里要继承基类(object).在python3.x中若没有指定父类,会默认使用的是object作为基类:在pytho ...

  10. Composer 扩展包安装方法

    问题说明 我们经常要往现有的项目中添加扩展包,有时候因为文档的错误引导,如下图来自 这个文档 的: composer update 这个命令在我们现在的逻辑中,可能会对项目造成巨大伤害. 因为 com ...