hadoop tez 搭建

1、下载tez,本人下载的是bin.0.92版本。

http://www.apache.org/dyn/closer.lua/tez/0.9.2/

hadoop dfs -mkdir -p /apps/tez

tar -zxvf apache-tez-0.9.2-bin.tar.gz

hadoop dfs -copyFromLocal tez.tar.gz /apps/tez

2、在hadoop/etc/hadoop下创建 tez-site.xml文件,内容如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>tez.lib.uris</name>
<!-- hdfs tez 包目录 --> <value>${fs.defaultFS}/apps/tez/tez.tar.gz</value>
</property>
<property>
<name>tez.use.cluster.hadoop-libs</name>
<value>false</value>
</property>
</configuration>

在 hadoo-env.sh 下面追加

# hadoop tez 配置文件位置
TEZ_CONF_DIR=/software/hadoop/etc/hadoop/tez-site.xml
# tez 路径
TEZ_JARS=/softeware/tez
export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/* GitHub安装配置说明地址:https://github.com/apache/incubator-tez/blob/branch-0.2.0/INSTALL.txt
官网参考:http://tez.apache.org/install.html

解压缩在tez 目录下面找到share 目录

3、将mapred-site.xml 的yarn 模式改成yarn-tez 模式

<property>
<name>mapreduce.framework.name</name>
<!-- <value>yarn</value> -->
<value>yarn-tez</value>
<final>true</final>
</property>
将修改完成的 tez-site.xml 和 mapred-site.xml 发送到其他节点 重新启动yarn就可以了
在tez 测试
hadoop dfs -put LINCENSE /data/input
hadoop jar tez-examples-0.9.0.jar orderedwordcount /data/tez_input /user/ceshi/tez_output

  


如图示则是成功

5、可能出现异常解决方式。



 如果出现上述问题,则可能是 tez container 内存多大导致
可实际情况修改 在tez-site.xml 下面写入
<property>
<name>tez.container.max.java.heap.fraction</name>
<value>0.13</value>
</property>
我的调整比例是 0.13, 自己可据实际情况去修改

不用重启yarn 直接进行测试
hadoop jar tez-examples-0.9.0.jar orderedwordcount /data/tez_input /user/ceshi/tez_output
如果出现如下问题:

则根据提示在tez-site.xml 后面追加相应配置参数,根据实际情况去修改参数配置。不出现该问题不管就ok

<property>
<name>tez.runtime.io.sort.mb</name>
<value>85</value>
</property>

到此终于跑通了

我的 tez-site.xml 完成配置,自己跟自己实际需求配置就可以了

<property>
<name>tez.lib.uris</name>
<value>${fs.defaultFS}/apps/tez/tez.tar.gz</value>
</property> <property>
<name>tez.use.cluster.hadoop-libs</name>
<value>false</value>
</property> <property>
<name>tez.container.max.java.heap.fraction</name>
<value>0.13</value>
</property> <property>
<name>tez.runtime.io.sort.mb</name>
<value></value>
</property>

转发请标明来源连接

hadoop tez 结合搭建以及测试异常解决的更多相关文章

  1. hadoop 3.x 完全分布式集群搭建/异常处理/测试

    共计三台虚拟机分别为hadoop002(master,存放namenode),hadoop003(workers,datanode以及resourcemanage),hadoop004(workers ...

  2. 大数据初级笔记二:Hadoop入门之Hadoop集群搭建

    Hadoop集群搭建 把环境全部准备好,包括编程环境. JDK安装 版本要求: 强烈建议使用64位的JDK版本,这样的优势在于JVM的能够访问到的最大内存就不受限制,基于后期可能会学习到Spark技术 ...

  3. Hadoop集群搭建(完全分布式版本) VMWARE虚拟机

    Hadoop集群搭建(完全分布式版本) VMWARE虚拟机 一.准备工作 三台虚拟机:master.node1.node2 时间同步 ntpdate ntp.aliyun.com 调整时区 cp /u ...

  4. hadoop过程中遇到的错误与解决方法

    本文整理了在hadoop学习过程中遇到的各种问题. windows下开发环境搭建 大部分情况下,我们都是在windows下开发,hadoop则一般部署于linux服务器(无论是CDH还是原生hadoo ...

  5. hadoop分布式快速搭建

    hadoop分布式快速搭建 1.配置主节点与从节点的ssh互信:[其中在主从节点主机的/etc/hosts文件中需绑定主机名ip间的映射关系; 如,192.168.1.113 node0 192.16 ...

  6. hadoop和spark搭建记录

    因玩票需要,使用三台搭建spark(192.168.1.10,192.168.1.11,192.168.1.12),又因spark构建在hadoop之上,那么就需要先搭建hadoop.历经一个两个下午 ...

  7. 1.Hadoop集群搭建之Linux主机环境准备

    Hadoop集群搭建之Linux主机环境 创建虚拟机包含1个主节点master,2个从节点slave1,slave2 虚拟机网络连接模式为host-only(非虚拟机环境可跳过) 集群规划如下表: 主 ...

  8. 大型网站技术架构(四)--核心架构要素 开启mac上印象笔记的代码块 大型网站技术架构(三)--架构模式 JDK8 stream toMap() java.lang.IllegalStateException: Duplicate key异常解决(key重复)

    大型网站技术架构(四)--核心架构要素   作者:13GitHub:https://github.com/ZHENFENG13版权声明:本文为原创文章,未经允许不得转载.此篇已收录至<大型网站技 ...

  9. 【hadoop+spark】搭建spark过程

    部分转载,已标红源地址,本博客为本菜搭建与爬坑记录,整理版请看: https://blog.csdn.net/the_fool_/article/details/78211166 记录: ====== ...

随机推荐

  1. VMware 安装虚拟机系统

    Ø  简介 本文主要介绍使用 VMware 安装虚拟机系统. 1.   创建虚拟机 1)   打开VMware,创建新虚拟机 2)   选择需要安装系统的iso镜像文件 3)   选择需要安装的Win ...

  2. PMP知识点(六)——项目经理权利类型

    社会心理学家约翰.弗伦奇(John.French)和伯特伦.雷文(Bertram.Raven)在他们1959年发表的一篇迄今不朽的论文中,提出了五种权力类别的模型,这个模型折射出权力拥有者依赖的不同基 ...

  3. mock.js使用总结

    基本使用: 1 引入mock.js 2 var data = Mock.mock({ // 属性 list 的值是一个数组,其中含有 1 到 10 个元素 'list|1-10': [{ // 属性 ...

  4. 解锁技能:sass + node-sass多页面应用编译(转载)

    传送门:https://blog.csdn.net/wx11408115/article/details/78023466

  5. 产品研发不等待 i.MX6Q全新推出增强版本 官方店铺下单双重优惠

    迅为全新推出PLUS版本的i.MX6Q方案,版本介绍:它是NXP公司全新推出的i.MX6Q增强版新品,显著增强了图形和存储器性能,面向较高图形性能的先进消费电子.汽车和工业多媒体应用的多核平台.

  6. chrome扩展程序----域名助手

    音乐分享: Future Islands - <Aladdin> 中年大叔的抖腿新专辑<The Far Field> ————————————————————————————— ...

  7. 【转】Setting up SDL 2 on Visual Studio 2010 Ultimate

    from: Lazy Foo'Productions - Setting up SDL 2 on Visual Studio 2010 Ultimate 1)First thing you need ...

  8. matlab读取图片的异常表现

    在对人脸图片进行对齐时,发现有两张人脸图片一直检测不到人脸,但这两张图片中的人脸明明很好检测(证件照),经过 排查,最终发现问题所在:图片的格式不对. img = imread("**.jp ...

  9. python的pandas库学习笔记

    导入: import pandas as pd from pandas import Series,DataFrame 1.两个主要数据结构:Series和DataFrame (1)Series是一种 ...

  10. spring-mybatis的整合

    1.导入包 2.创建一个请求文件发送请求 <%@ page language="java" contentType="text/html; charset=UTF- ...