1. eclipse插件安装步骤:

a).把插件复制到eclipse安装目录plugins文件夹下

b).打开eclipse的Window---Preference---Hadoop M/R---指向hadoop-2.2.0安装目录:只要在Windows上将hadoop-2.2.0.tar.gz解压即可

c).Window---open perspective---other:选中其中的MR

d).如果此时eclipse下方出现MR视图则跳过此步骤。window---show view---other---MR

e).在MR视图的右上角有两个图标,选择New Hadoop location。General配置界面:

Location name:Hadoop(随便填),Host:192.168.8.101,Port:9001(即NN所在IP及Prot)

User M/R Master host:勾选(伪分布式所以一样),User name:root

f).Advance parameters配置界面:

Hadoop.tmp.dir:与core-site.xml里hadoop.tmp.dir设置一致。

Dfs.replication:与hdfs-site.xml里面的dfs.replication一致

Dfs.permissions.enabled:false (HDFS操作不检查权限)

g).在eclipse左侧出现“DFS Locations”,就说明eclipse已经成功连上远程的hadoop了。

(注意,视图应切换到MR视图,而不是默认的Java视图)

2. 创建Hadoop项目

a).创建项目New---other---MR project,或在下面的MR文件夹选择更具体的Mapper类等。

b).配置参数Run As---Run Configurations---arguments:(路径写全称,逗号隔开)

hdfs://192.168.8.101:9000/wc/word0731

hdfs://192.168.8.101:9000/wcout/0731/073107

c).运行项目Run As---Run on Hadoop

3. 解决问题

 1)Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

配置Hadoop的环境变量path。【参考问题3】

不想重启电脑,可在MR程序中加上System.setProperty("hadoop.home.dir", "...");暂时缓缓。

 2)Could not locate executable D:\hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries.

Windows中Hadoop的安装目录bin下没有winutils.exe这个东西。去https://github.com/srccodes/hadoop-common-2.2.0-bin下载一个,将其内容替换到bin目录下即可。

 3)org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

两种解决办法:

a)  在系统变量中,新建HADOOP_HOME变量,属性值为D:\hadoop-2.2.0,也就是win中对应的hadoop目录。然后在系统变量的Path里,追加%HADOOP_HOME%/bin,最后必须重启电脑。

b)  将上次下载的\bin目录下的hadoop.dll拷到C:\Windows\System32下面。然后将hadoop-2.2.0-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\hadoop\io\nativeio\NativeIO.java文件复制到Eclipse当前项目对应的project中,然后修改436行为return true;如图所示:

 4)NoClassDefFoundError:org/apache/hadoop/yarn/util/Apps

添加hadoop-2.2.0安装文件中Yarn目录下的所有Jar包即可。

注意:凡是出现 classNotFound、NoClassDefFoundError之类的错误异常,多是jar包 未导入引起的。根据相应提示找相应目录下的jar包即可。

 5)user=L,access=WRITE,inode="/user/root/output":root:supergroup:drwxr-xr-x

在这个Linux的hadoop安装目录etc/hadoop下的hdfs-site.xml添加以下。修改完配置文件,还必须得重启hadoop集群,才可以使配置生效。

  <property>
<name>dfs.permissions</name>
<value>false</value>
</property>

 6)这里只是针对伪分布式环境下Local模式hadoop项目的简单测试,对于集群版的测试可以查看:

http://zy19982004.iteye.com/blog/2031172

hadoop2对应的eclipse插件使用的更多相关文章

  1. Hadoop2.2.0 eclipse插件编译及Ecliipse配置说明(图文版)

    一.引言: 最近在做一个城商行项目的POC测试it版本,涉及到编译Linux64bti的源码和开发插件使用,作为笔记分享给大家. 二.插件编译 Hadoop2x版本的Eclipse插件已经单独抽取成独 ...

  2. Hadoop2.x的Eclipse插件编译与安装

    Eclipse的Hadoop插件在开发hadoop应用程序中可以提供一些很方便的操作,可以直接Eclipse中浏览HDFS上的文件,可以直接新建选择MapReduce项目,项目自动包含所有需要的had ...

  3. hadoop2.6.0的eclipse插件编译和设置

    编译hadoop2.6.0的eclipse插件 下载源码: git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git 编译源码: ...

  4. 在fedora20下配置hadoop2.5.1的eclipse插件

    (博客园-番茄酱原创) 在我的系统中,hadoop-2.5.1的安装路径是/opt/lib64/hadoop-2.5.1下面,然后hadoop-2.2.0的路径是/home/hadoop/下载/had ...

  5. Hadoop-2.3.0的Eclipse插件编译

    Hadoop-2.3.0的Eclipse插件编译 #cd /usr/local/src/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugi ...

  6. hadoop 2.7.3 (hadoop2.x)使用ant制作eclipse插件hadoop-eclipse-plugin-2.7.3.jar

    为了做mapreduce开发,要使用eclipse,并且需要对应的Hadoop插件hadoop-eclipse-plugin-2.7.3.jar,首先说明一下,在hadoop1.x之前官方hadoop ...

  7. Hadoop2 自己动手编译Hadoop的eclipse插件

    前言:       毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环 ...

  8. Hadoop2.6.2的Eclipse插件的使用

    欢迎转载,且请注明出处,在文章页面明显位置给出原文连接. 本文链接:http://www.cnblogs.com/zdfjf/p/5178197.html 首先给出eclipse插件的下载地址:htt ...

  9. 从零自学Hadoop(07):Eclipse插件

    阅读目录 序 Eclipse Eclipse插件 新建插件项目 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并给出原文链接,谢谢合作. 文章是哥(mephisto)写 ...

随机推荐

  1. KVM虚拟机添加硬盘

    1,创建硬盘 qemu-img create -f raw /opt/GlusterFS1_data.img 30G 硬盘名称为GlusterFS1_data.img 大小为30G 2,编辑虚拟机配置 ...

  2. 在R语言中封装类读写sql操作工具类

    1.mysql_helper.R # 使用RMySQL操作数据库 # 载入DBI和RMySQL包 library(DBI) library(RMySQL) mysql_con <- functi ...

  3. R中基本命名(未完)

    ls() #查看 rm(list=ls()) #清除内存变量 library() #载入库包 help() #查看帮助文档 head(iris) #查看数据集 class(iris) #查看数据集的类 ...

  4. Oracle分配内存的基本单位:Granule(粒度)

    在9i后,SGA的内部组件大小可以动态调整,也可以由数据库自动管理,在设置内存大小的时候,分配的基本单位是粒度(granule) granule是一段连续的虚拟内存,大小区域决SGA_MAX_SIZE ...

  5. centos 7.5 最小化安装

    参考:https://www.tecmint.com/centos-7-installation/ ================================================== ...

  6. mysql创建用户,以及分配权限

    创建用户create user test identified by '123456'; 删除用户DROP USER ''@'localhost'; //删除所有host为localhost的用户 给 ...

  7. Yii框架2.0的安装过程

    Yii框架是个不错的php开发框架,大型项目上都可以使用.和大多框架一样他也是开源,而且采用了mvc结构的. Yii1.*,直接下载然后用脚步可以创建自己的项目了,最近看了下Yii2.0版本的,他推荐 ...

  8. icomoon.io生成字体图标

    1. 准备svg图片 2. 打开icomoon选择icomoon App 3. import icons 上传本地的svg图片 4. 点击选中以后点击generate fonts形成字体图标 5. p ...

  9. Jenkins部分常用插件

  10. 思辨“从外至内的认识和表达”——By Me at 20140928

                                                              从下面几个维度,来思辨“从外至内的认识和表达” [思考维度1]提到研发前期的架构工作 ...