hadoop.home.dir is not set

今天遇到一个错误,JAVA堆栈如下: 是在获取文件系统对象的时候出错,没有找到环境变量 HADOOP_HOME or hadoop.home.dir ,但是在本地一直没有重现这个问题. 这个问题是一个小BUG,在调用SHELL的时候一个静态初始化造成的,这个JAR包是运行在客户端去HDFS拉取数据,但为什么会触发这个错误,没看明白. 后来,重新打包,并没有发现这个错误,给我启迪,也许是打包打错了,没有找到添加资源时的配置文件?尝试了不正确,如果没有加载到配置文件,没有报错,只是默认去找FILE:…

core-site.xml配置项：hadoop.tmp.dir

hadoop.tmp.dir:A base for other temporary directories. 集群运行后,修改该配置项后,发现类似错误: -- ::, INFO org.apache.hadoop.hdfs.server.common.Storage: Storage directory /tmp/hadoop-grid/dfs/name does not exist. -- ::, ERROR org.apache.hadoop.hdfs.server.namenode.FSN…

关于java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set.的问题

报错如下: 300 [main] DEBUG org.apache.hadoop.util.Shell - Failed to detect a valid hadoop home directory java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set 解决办法一: 根据 http://blog.csdn.net/baidu_19473529/article/details/54693523 配置hadoop_home变…

maven hadoop 3.x HADOOP_HOME and hadoop.home.dir are unset Not implemented by the WebHdfsFileSystem FileSystem implementation

具体异常如下: 解决方案: 删除pom文件中的hadoop-core的依赖,原因:hadoop-core是1.x的产物,在2.x之后已经被hadoop-common取代,我配置的时候同时使用了这两个依赖导致jar包冲突. 附上我测试上传用的代码 /** * 上传文件到hdfs * @author tele * */ public class Demo1 { public static void main(String[] args) throws Exception { Configuratio…

【Big Data】HADOOP集群的配置（一）

Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问题.但是网上一些文档大多互相抄袭,里面错误百出.笔者结合自学书籍视频等资料,完成这一套配置资料.实验结果和过程经过反复测试无误后方整理出来的.配置过程中,初学者若有实验环境,可以在真机环境下完成,若无条件,可补习下虚拟机与Linux操作系统的基础知识,以及里面对linux常规命令使用,建议读者边配置…

zookeeper集群的搭建以及hadoop ha的相关配置

1.环境 centos7 hadoop2.6.5 zookeeper3.4.9 jdk1.8 master作为active主机,data1作为standby备用机,三台机器均作为数据节点,yarn资源管理器在master上开启,在data1上备用,data1上开启历史服务器主要参考见下表 master 192.168.1.215 Namenode DataNode QuorumPeerMain ZKFC JournalNode ResourceManager NodeManager data1…

Hadoop3 在eclipse中访问hadoop并运行WordCount实例

前言: 毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环境跑起来,然后在能用的基础上在多想想为什么. 通过这三个礼拜(基本上就是周六周日,其他时间都在加班啊T T)的探索,我目前主要完成的是: 1.在Linux环境中伪分布式部署hadoop(SSH免登陆),运行WordCount实例成功. http://www.cnblogs.com/Pur…

Hadoop学习笔记—22.Hadoop2.x环境搭建与配置

自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔记系列>.其实,早在2014年Hadoop2.x版本就已经开始流行了起来,并且已经成为了现在的主流.当然,还有一些非离线计算的框架如实时计算框架Storm,近实时计算框架Spark等等.相信了解Hadoop2.x的童鞋都应该知道2.x相较于1.x版本的更新应该不是一丁半点,最显著的体现在两点: (1)H…

Hadoop的学习--安装配置与使用

安装配置系统:Ubuntu14.04 java:1.7.0_75 相关资料官网下载地址官网文档安装我们需要关闭掉防火墙,命令如下: sudo ufw disable 下载2.6.5的版本,将下载的Hadooop的压缩包解压到相应的目录,我这里解压到/opt/hadoop-2.6.5文件夹下. 配置修改/opt/hadoop-2.6.5/etc/hadoop/hadoop-env.sh文件,将JAVA_HOME直接写地址,默认的方式可能取不到 export JAVA_HOME=/us…

hadoop 2.7.2 + zookeeper 高可用集群部署

一．环境说明虚拟机:vmware 11 操作系统:Ubuntu 16.04 Hadoop版本:2.7.2 Zookeeper版本:3.4.9 二．节点部署说明三．Hosts增加配置 sudo gedit /etc/hosts wxzz-pc.wxzz-pc0.wxzz-pc1.wxzz-pc2均配置如下: 127.0.0.1 localhost 192.168.72.132 wxzz-pc 192.168.72.138 wxzz-pc0 192.168.72.135 wxzz-pc1 192…

Apache Spark 1.6 Hadoop 2.6 Mac下单机安装配置

一. 下载资料 1. JDK 1.6 + 2. Scala 2.10.4 3. Hadoop 2.6.4 4. Spark 1.6 二.预先安装 1. 安装JDK 2. 安装Scala 2.10.4 解压安装包即可 3. 配置sshd ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys mac 启动sshd sudo launchctl load -w /System/…

Hadoop分布式系统的安装部署

1.关于虚拟机的复制新建一台虚拟机,系统为CentOS7,再克隆两台,组成一个三台机器的小集群.正常情况下一般需要五台机器(一个Name节点,一个SecondName节点,三个Data节点.) 此外,为了使网络生效,需要注意以下几点: 1> 编辑网络配置文件 /etc/sysconfig/network-scripts/ifcfg-eno16777736 先前的版本需要删除mac地址行,注意不是uuid,而是hwaddr,这一点新的CentOS不再需要 2> 删除网卡和mac地址绑定文件…

在Ubuntu上搭建Hadoop群集

前面我搭建的Hadoop都是单机伪分布式的,并不能真正感受到Hadoop的最大特点,分布式存储和分布式计算.所以我打算在虚拟机中同时开启3台机器,实现分布式的Hadoop群集. 1.准备3台Ubuntu Server 1.1复制出3台虚拟机我们可以用之前编译和安装好Hadoop的虚拟机作为原始版本,在VirtualBox中复制三台新的虚拟机出来,也可以完全重新安装一台全新的Ubuntu Server,然后在VirtualBox中复制出2台,就变成了3台虚拟机. 1.2修改主机名主机名保存在/…

install hadoop on xubuntu

0. install xubuntu we recommend to set username as "hadoop" after installation, set user "hadoop" as administrator sudo addgroup hadoop sudo adduser --ingroup hadoop hadoop 打开/etc/sudoers文件 sudo gedit /etc/sudoers 在root ALL=(ALL:ALL) …

[bigdata] hadoop 参数配置解析

ResourceManager相关配置参数 yarn-site.xml 中配置 yarn.resourcemanager.address ResourceManager 对客户端暴露的地址.客户端通过该地址向RM提交应用程序,杀死应用程序等. 默认值:${yarn.resourcemanager.hostname}:8032 yarn.resourcemanager.scheduler.address ResourceManager 对ApplicationMaster暴露的访问地址.Appli…

Java之使用Hadoop探索大数据的世界

什么是大数据 PB = 1024tb 7123913827189tb Reids 无共享 HDFS 优点 :特别适合存储大型文件 TFS hdfs 架构 NameNode: 整个hadoop总管,只有一个,DataNode down了存储为镜像文件fsimage 和edites secondary 定期合并日志文件及镜像文件 DataNode 负责存储数据以固定大小的block为基本单位组织文件内容默认大小是64M MapReduce JobTracker 主要负责资源监控及作业调度. T…

攻城狮在路上（陆）-- hadoop分布式环境搭建(HA模式)

一.环境说明: 操作系统:Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux jdk版本:java version "1.7.0_79" hadoop版本:Apache hadoop-2.5.2 zookeeper:3.4.6 本文实现hadoop分布式环境搭建,启用YARN,利用zookeeper实现…

docker搭建Hadoop集群

一个分布式系统基础架构,由Apache基金会所开发. 用户可以在不了解分布式底层细节的情况下,开发分布式程序.充分利用集群的威力高速运算和存储. 首先搭建Docker环境,Docker版本大于1.3.2 安装主机监控程序和加速器(curl -sSL https://get.daocloud.io/daomonit/install.sh | sh -s 7a029f60d36056fe1b85fabca6a133887245abe6) docker pull daocloud.io/library…

Hadoop 全分布模式平台搭建

现将博客搬家至CSDN,博主改去CSDN玩玩~ 传送门:http://blog.csdn.net/sinat_28177969/article/details/54138163 Ps:主要答疑区在本帖最下方,疑点会标注出来.个人在配置过程中遇到的困难都会此列举. 实验介绍: 本次实验主要介绍了Hadoop平台的两个核心工具,HDFS和Mapreduce,结合这两个核心在Linux下搭建基于YARN集群的全分布模式的Hadoop架构. 实验案例,基于Hadoop平台下的Wordcount分词统计的…

安装hadoop+zookeeper ha

安装hadoop+zookeeper ha 前期工作配置好网络和主机名和关闭防火墙 chkconfig iptables off //关闭防火墙 1.安装好java并配置好相关变量 (/etc/profile) #java export JAVA_HOME=/usr/java/jdk1.8.0_65 export JRE_HOME=$JAVA_HOME/jre export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/jre/l…

hadoop分布式存储（2）-hadoop的安装（毕业设计）

总共分三步:1.准备linux环境租用"云主机",阿里云,unitedStack等,云主机不受本机性能影响(或者直接安转linux操作系统或者虚拟机也行): PuTTy Configuration 是一个跨平台的远程登录工具 2.安装JDK步骤也很简单:(1)首先输入javac,看看是否已安装jdk,如果没有,会有jdk版本和命令提示(如命令:apt-get install openjdk-7-jdk) (2)配置环境变量:vim /etc/profile 设置java_home:w…

hadoop+tachyon+spark的zybo cluster集群综合配置

1.zybo cluster 架构简述: 1.1 zybo cluster 包含5块zybo 开发板组成一个集群,zybo的boot文件为digilent zybo reference design提供的启动文件,文件系统采用arm ubuntu.ip地址自上而下为192.168.1.1~5,hostname自上而下为spark1~5,另外由于sdka写入速度为2.3Mps,因而每个zybo卡另外配置一个Sandisk Cruzer Blade 32GB 作为usb拓展存储设备,写速度为4Mps…

Hadoop 2.6.0 Namenode HA,ResourceManager HA

先启动所有的zookeeper zkServer.sh start 在所有节点上启动JournalNode: sbin/hadoop-daemon.sh start journalnode 格式化第一个NameNode bin/hdfs namenode –format 启动第一个的NameNode sbin/hadoop-daemon.sh start namenode 在第二个NameNode上同步元数据 bin/hdfs namenode -bootstrapStandby 启动第二个Na…

Hadoop学习笔记—1.基本介绍与环境配置

一.Hadoop的发展历史说到Hadoop的起源,不得不说到一个传奇的IT公司—全球IT技术的引领者Google.Google(自称)为云计算概念的提出者,在自身多年的搜索引擎业务中构建了突破性的GFS(Google File System),从此文件系统进入分布式时代.除此之外,Google在GFS上如何快速分析和处理数据方面开创了MapReduce并行计算框架,让以往的高端服务器计算变为廉价的x86集群计算,也让许多互联网公司能够从IOE(IBM小型机.Oracle数据库以及EMC存储)中…

Hadoop学习笔记—6.Hadoop Eclipse插件的使用

开篇:Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率.但是,它也有一些缺点,如编码.调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高,开发难度大.因此,Hadop的开发者为了降低Hadoop的难度,开发出了Hadoop Eclipse插件,它可以直接嵌入到Hadoop开发环境中,从而实现了开发环境的图形界面化,降低了编程的难度. 一.天降神器插件-Hadoop Eclipse Hadoop Eclipse是Hadoop开发环境的…