1.  常见问题

  (1)hostname设置问题。vi /etc/sysconfig/network

  (2)集群/etc/hosts没有统一。

  (3)yarn slave需要单独启动。./sbin/yarn-daemon.sh start resourcemanager

  (4)namenode格式化需要逐个先启动journalnode。

  (5)kerberos主从数据同步时获取不到ticket,一般和设置了多个hosts有关。建议hosts配置和hostname只配置一个。

  (6)jsvc通过yum源安装,启动datanode会报错找不到org/apache/commons/daemon/support。改成手动编译安装后就OK了。

  

2. 测试

[root@master1 work]# hadoop jar wordcount-0.0.1-SNAPSHOT.jar com.javacodegeeks.examples.wordcount.WordCount hdfs://master1:9000/Input.txt  output.txt
17/09/04 16:53:09 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
17/09/04 16:53:10 INFO input.FileInputFormat: Total input paths to process : 1
17/09/04 16:53:11 INFO mapreduce.JobSubmitter: number of splits:1
17/09/04 16:53:11 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1504514855214_0001
17/09/04 16:53:11 INFO impl.YarnClientImpl: Submitted application application_1504514855214_0001
17/09/04 16:53:11 INFO mapreduce.Job: The url to track the job: http://master1:8088/proxy/application_1504514855214_0001/
17/09/04 16:53:11 INFO mapreduce.Job: Running job: job_1504514855214_0001
17/09/04 16:53:19 INFO mapreduce.Job: Job job_1504514855214_0001 running in uber mode : false
17/09/04 16:53:19 INFO mapreduce.Job: map 0% reduce 0%
17/09/04 16:53:26 INFO mapreduce.Job: map 100% reduce 0%
17/09/04 16:53:32 INFO mapreduce.Job: map 100% reduce 100%
17/09/04 16:53:32 INFO mapreduce.Job: Job job_1504514855214_0001 completed successfully
17/09/04 16:53:32 INFO mapreduce.Job: Counters: 49
File System Counters
FILE: Number of bytes read=676
FILE: Number of bytes written=248505
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
HDFS: Number of bytes read=416
HDFS: Number of bytes written=339
HDFS: Number of read operations=6
HDFS: Number of large read operations=0
HDFS: Number of write operations=2
Job Counters
Launched map tasks=1
Launched reduce tasks=1
Data-local map tasks=1
Total time spent by all maps in occupied slots (ms)=3592
Total time spent by all reduces in occupied slots (ms)=3048
Total time spent by all map tasks (ms)=3592
Total time spent by all reduce tasks (ms)=3048
Total vcore-milliseconds taken by all map tasks=3592
Total vcore-milliseconds taken by all reduce tasks=3048
Total megabyte-milliseconds taken by all map tasks=3678208
Total megabyte-milliseconds taken by all reduce tasks=3121152
Map-Reduce Framework
Map input records=4
Map output records=58
Map output bytes=554
Map output materialized bytes=676
Input split bytes=94
Combine input records=0
Combine output records=0
Reduce input groups=43
Reduce shuffle bytes=676
Reduce input records=58
Reduce output records=43
Spilled Records=116
Shuffled Maps =1
Failed Shuffles=0
Merged Map outputs=1
GC time elapsed (ms)=186
CPU time spent (ms)=1910
Physical memory (bytes) snapshot=442167296
Virtual memory (bytes) snapshot=4297965568
Total committed heap usage (bytes)=342884352
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=322
File Output Format Counters
Bytes Written=339
Job was successful

  

hadoop HA + kerberos HA集群搭建问题和测试总结的更多相关文章

  1. Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)

    声明:作者原创,转载注明出处. 作者:帅气陈吃苹果 一.服务器环境 主机名 IP 用户名 密码 安装目录 master188 192.168.29.188 hadoop hadoop /home/ha ...

  2. Hadoop 3.1.2(HA)+Zookeeper3.4.13+Hbase1.4.9(HA)+Hive2.3.4+Spark2.4.0(HA)高可用集群搭建

    目录 目录 1.前言 1.1.什么是 Hadoop? 1.1.1.什么是 YARN? 1.2.什么是 Zookeeper? 1.3.什么是 Hbase? 1.4.什么是 Hive 1.5.什么是 Sp ...

  3. Ubuntu 12.04下Hadoop 2.2.0 集群搭建(原创)

    现在大家可以跟我一起来实现Ubuntu 12.04下Hadoop 2.2.0 集群搭建,在这里我使用了两台服务器,一台作为master即namenode主机,另一台作为slave即datanode主机 ...

  4. Hadoop HA高可用集群搭建(2.7.2)

    1.集群规划: 主机名        IP                安装的软件                            执行的进程 drguo1  192.168.80.149 j ...

  5. Hadoop HA 高可用集群搭建

    一.首先配置集群信息 vi /etc/hosts 二.安装zookeeper 1.解压至/usr/hadoop/下 .tar.gz -C /usr/hadoop/ 2.进入/usr/hadoop/zo ...

  6. Zookeeper(四)Hadoop HA高可用集群搭建

    一.高可就集群搭建 1.集群规划 2.集群服务器准备 (1) 修改主机名(2) 修改 IP 地址(3) 添加主机名和 IP 映射(4) 同步服务器时间(5) 关闭防火墙(6) 配置免密登录(7) 安装 ...

  7. Hadoop2学习记录(1) |HA完全分布式集群搭建

    准备 系统:CentOS 6或者RedHat 6(这里用的是64位操作) 软件:JDK 1.7.hadoop-2.3.0.native64位包(可以再csdn上下载,这里不提供了) 部署规划 192. ...

  8. 高可用Hadoop平台-HBase集群搭建

    1.概述 今天补充一篇HBase集群的搭建,这个是高可用系列遗漏的一篇博客,今天抽时间补上,今天给大家介绍的主要内容目录如下所示: 基础软件的准备 HBase介绍 HBase集群搭建 单点问题验证 截 ...

  9. Hadoop初期学习和集群搭建

    留给我学习hadoop的时间不多了,要提高效率,用上以前学的东西.hadoop要注重实战,把概念和原理弄清楚,之前看过一些spark,感觉都是一些小细节,对于理解hadoop没什么帮助.多看看资料,把 ...

  10. 第3章 Hadoop 2.x分布式集群搭建

    目录 3.1 配置各节点SSH无密钥登录 1.将各节点的秘钥加入到同一个授权文件中 2.拷贝授权文件到各个节点 3.测试无秘钥登录 3.2 搭建Hadoop集群 1.上传Hadoop并解压 2.配置H ...

随机推荐

  1. PMP 质量管理7张图 很形象

    PMP 质量管理 中的因果图.控制图.流程图.核查表.直方图.帕累托图.散点图

  2. Tomcat Server启动报错:Multiple Contexts have a path of "/east".

    原因是 conf/server.xml 文件中多了一个<Context></Context>标签,路径有重复,把他删掉就好了.

  3. Maven的使用入门

    0.什么是maven? 它是一个软件开发管理工具,主要管理工作是:依赖管理,项目一键构建 1.我们为什么要使用maven? 使用maven构建的项目不包含jar包文件,所以整个项目的体积非常小 mav ...

  4. Servlet------>jsp自定义标签SimpleTag(jsp2.0以后的方法,1-5已经淘汰了)

    自定义标签能做什么: 1.移除java代码 2.控制jsp页面某一部分是否执行 3.控制整个jsp是否执行 3.jsp内容重复输出 4.修改jsp内容输出 位置: TagDemo1.java pack ...

  5. 分享:宽恕的艺术 Forgive

    宽恕的艺术 To forgive may be divine, but no one ever said it was easy. 宽恕是神圣的,但是没有人说很容易做到宽恕别人. When someo ...

  6. Golang开发支持平滑升级(优雅重启)的HTTP服务

    Golang开发支持平滑升级(优雅重启)的HTTP服务 - tabalt的博客 http://tabalt.net/blog/graceful-http-server-for-golang/ http ...

  7. 【转】UML中类与类之间的5种关系表示

    一.继承关系      继承指的是一个类(称为子类.子接口)继承另外的一个类(称为父类.父接口)的功能,并可以增加它自己的新功能的能力.在Java中继承关系通过关键字extends明确标识,在设计时一 ...

  8. Python3中json的encode和decode

    在Python3中,将对象序列化为JSON对象,即对对象进行json encode编码,使用函数 json.dumps(obj, *, skipkeys=False, ensure_ascii=Tru ...

  9. 剑指Offer——二进制中1的个数

    题目描述: 输入一个整数,输出该数二进制表示中1的个数.其中负数用补码表示. 分析: 加入一个数的二进制位是XXX...XXX1000...000,那么这个数减去1,就会变成XXX...XXX0111 ...

  10. 【numpy】

    ndarray在某个维度上堆叠,np.stack() np.hstack() np.vstack() https://blog.csdn.net/csdn15698845876/article/det ...