Hadoop-eclipse-plugin插件安装

Hadoop-eclipse-plugin插件安装

学习Hadoop有一段时间了，以前每次的做法都是先在win下用eclipse写好Mapreduce程序，然后打成jar文件，上传到linux下用hadoop集群去运行jar文件。然后这样的话调试起来极其麻烦。

所以想到安装hadoop的eclipse插件，直接在eclipse下调试Mapreduce程序，会节省很多时间。

下面介绍一下hadoop的eclipse插件安装：

首先，下载hadoop-eclipse-plugin插件：我的集群环境是hadoop-1.0.3，所以我下载的插件式hadoop-1.0.3-eclipse-plugin

将hadoop-1.0.3-eclipse-plugin.jar复制到eclipse\plugins下面

重启eclipse

会发现打开open perspective选项卡，点击other，弹出窗口下会多出Mapreduce选项

配置本地Hadoop Install 目录

如下图：

新建一个Hadoop Location

点击 “New Hadoop Location”

会出现以下对话框

根据hadoop环境正确填写General和Advanced parameters内容，点击finish

生效后，就会在左侧导航栏看到以下情景。如下图：

至此，就可以hadoop-eclipse插件配置就已经完成，可以使用eclipse连接至hadoop集群，进行Mapreduce程序开发和调试了。

相关异常信心以及解决办法：

1.

 ERROR security.UserGroupInformation: PriviledgedActionException as: hadoop
 cause:java.io.IOException Failed to set permissions of path:\usr\hadoop\tmp\mapred\staging\hadoop753422487\.staging 
to 0700 Exception in thread "main" java.io.IOException: Failed to set permissions of path: \usr\hadoop\tmp \mapred\staging\hadoop753422487\.staging to 0700

解决办法：修改主机名与集群用户名一致，或者重新编译core.org.apache.fs.FileUtil类，

修改hadoop源代码，去除权限认证，修改FileUtil.java的checkReturnValue方法，如下：

private static void checkReturnValue(boolean rv, File p,
 
FsPermission permission
 
) throws IOException {
 
// if (!rv) {
 
// throw new IOException("Failed to set permissions of path: " + p +
 
// " to " +
 
// String.format("o", permission.toShort()));
 
// }
 
}

2.

org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.
AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop":hadoop:supergroup:rwxr-xr-x
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)

开放hdfs权限 hadoop fs –chmod 777 /user/MDSS

3. hadoop使用随记Mapreduce

在windows eclipse开发环境提交job到远处linux hadoop集群，运行mapred报错“IOException: Cannot run program "chmod": CreateProcess error=2”

原因：安装cygwin，而且需要设置"cygwin\bin"到环境变量PATH中，使用eclipse-plugin提交mapreduce程序，必须在window端安装cygwin，并将cygwin\bin"到环境变量PATH中，否则不行。

如果eclipse-plugin提交任务遇到这个错误：org.apache.hadoop.security.AccessControlException: Permission denied: user=cyg_server, access=EXECUTE, inode="job_201010161322_0003":heipark:supergroup:rwx------

解决：

1、刚开始还使用“./bin/hadoop dfs -chmod 777 ”，后来发现老是这样设置麻烦。可以取消hadoop hdfs的用户权限检查。打开conf/hdfs-site.xml，找到dfs.permissions属性修改为false（默认为true）OK了。注意生产环境处于安全考虑不要这么搞。

2、修改hadoop location参数，在advanced parameter选项卡中，找到hadoop.job.ugi项，将此项改为“你的hadoop用户名”,Tardis，这样就不会出现那个错误了

如果运行简单的hadoop mapreduce wordcount程序，点击run on hadoop出现以下错误：

11/08/16 10:31:39 WARN mapred.LocalJobRunner: job_local_0001
java.lang.OutOfMemoryError: Java heap
space
 at
org.apache.hadoop.mapred.MapTask$MapOutputBuffer.(MapTask.java:781)

at
org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:350)

at
org.apache.hadoop.mapred.MapTask.run(MapTask.java:307)
 at
org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:177)

11/08/16 10:31:39 INFO mapred.JobClient:  map 0%
reduce 0%
11/08/16 10:31:39 INFO mapred.JobClient:
Job complete: job_local_0001
11/08/16 10:31:39 INFO mapred.JobClient: Counters: 0
Exception in thread "main" java.io.IOException: Job failed!
 at
org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1252)

at
mapred.WordCount.main(WordCount.java:110)

原因：客户端程序运行时java虚拟机内存分配不够

解决：修改run
configuration（右键要执行的程序，run as >run configurations）,弹出窗口中左侧选择要执行的程序，右边选择Arguments选项卡，在VM arguments栏中加入-Xmx1024m，保存后执行没有问题（即将执行时虚拟机内存调大）