在开发hadoop的时候去查找了一下eclipse marketplace是没有找到hadoop的插件,上网又找了一下发现原来hadoop中其实是带有这样的插件的,

其实很简单只要将这个插件复制到eclipse/plugins目录下然后重启eclipse就可以了

重启之后就可以看到eclipse  == 》window  ==》 preferences  可以看到多了一个Hadoop Map/Reduce   点击Browse按钮找到你的hadoop的解压目录如图:

配置好了环境之后我们来创建一个本地连接,点击Windows==》show view  ==》 other 选择MapReduce Tools ==》Map/Reduce Location

然后我们新建一个本地连接,这这里右键  New hadoop Location

然后我们的配置host:这里的Map/Reduce Master对应hadoop配置文件中的mapred-site.xml

              DFS Master的配置对应core-site.xml详细请看图

配置好后的应该是这样的:

这里配置好之后我们可以启动hadoop来简单的测试一下

如果跟上面的输出信息一样证明正常启动了,如果没有正常启动估计是在配置的时候除了问题。下面我给几个简单的小测试程序可以运行一下

package com.hadoop.test;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path; /**
* copy local file to hadoop system 将文件拷贝到HDFS
* @author root
*
*/
public class ConpyFile { public static void main(String[] args) {
//get local system configuration
Configuration conf = new Configuration();
try { FileSystem hdfs = FileSystem.get(conf); Path src = new Path("/home/admin/test3");
Path dst = new Path("/"); hdfs.copyFromLocalFile(src, dst);; FileStatus files[] = hdfs.listStatus(dst); for(int i = 0; i < files.length; i++){
System.out.println("status :"+files[i]);
}
} catch (IOException e) {
e.printStackTrace();
} } }

这里注意我的文件是已经创建的然后拷贝到hdfs上如果在上传的时候找不到文件可能跟linux下的权限有关系。建议修改权限就可以了。

package com.hadoop.test;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path; /**
* create a hdfs file 创建hdfs文件
* @author root
*
*/
public class CreateHDFSFile { public static void main(String[] args) {
Configuration conf = new Configuration(); //获取系统的hadoop的配置环境
try {
FileSystem hdfs = FileSystem.get(conf);//获取文件系统对象
byte bytes[] = "Hello word !".getBytes();
Path dfs = new Path("/test");
FSDataOutputStream outputStream = hdfs.create(dfs);
outputStream.write(bytes, 0, bytes.length);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} } }

重命名hadoop系统中的一个文件的名称:

package com.hadoop.test;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path; /**
* rename hdfs file
* @author root
*
*/
public class ReNameHDFSFile { public static void main(String[] args) {
Configuration conf = new Configuration();
FileSystem hdfs;
try {
hdfs = FileSystem.get(conf);
Path frpath = new Path("/test3");
Path topath = new Path("/test1");
boolean isRename = hdfs.rename(frpath, topath);
System.out.println("rename is finish:"+isRename); } catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}

检查文件的最后的修改时间:

package com.hadoop.test;

import java.io.IOException;
import java.text.SimpleDateFormat;
import java.util.Date; import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path; /**
* check hdfs file last modify time
* @author root
*
*/
public class CheckFileLastModifyTime { public static void main(String[] args) {
Configuration conf = new Configuration();
try {
FileSystem hdfs = FileSystem.get(conf); Path fpath = new Path("/test1");
FileStatus fileStatus = hdfs.getFileStatus(fpath);
long lastModifyTime = fileStatus.getModificationTime(); SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
System.out.println("the last modify time is :"+sdf.format(new Date(lastModifyTime))); } catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} } }

eclipse添加hadoop开发插件的更多相关文章

  1. Ubuntu环境下eclipse的hadoop开发

    在安装好hadoop伪分布式后,开始搭建eclipse的hadoop开发环境 我的版本信息如下: Ubuntu 版本 12.10 Hadoop版本 1.2.1 Java版本  1.6.0_31(命令j ...

  2. [原创] 毕设---在myeclipes中安装Hadoop开发插件

    1.安装Hadoop开发插件 hadoop安装包contrib/目录下有个插件hadoop-0.20.2-eclipse-plugin.jar,拷贝到myeclipse根目录下/dropins目录下. ...

  3. 在ubuntu下使用Eclipse搭建Hadoop开发环境

    一.安装准备1.JDK版本:jdk1.7.0(jdk-7-linux-i586.tar.gz)2.hadoop版本:hadoop-1.1.1(hadoop-1.1.1.tar.gz)3.eclipse ...

  4. JBPM学习第2篇:为Eclipse添加JBPM开发支持

    1.Eclipse添加JBoss支持插件 参考:Eclipse添加JBoss支持 若已安装,直接跳过! 2.Eclipse添加Drools插件 jbpm-installer-full解压后的文件夹中找 ...

  5. 为Eclipse添加反编译插件,更好的调试

    为Eclipse添加反编译插件,更好的调试 一般来说,我们的项目或多或少的都会引用一些外部jar包,如果可以查看jar包的源代码,对于我们的调试可以说是事半功倍. 1.下载并安装jad.exe.将ja ...

  6. 在windows环境中用eclipse搭建hadoop开发环境

    1. 整体环境和设置 1.1 hadoo1.0.4集群部署在4台VMWare虚拟机中,这四台虚拟机都是通过NAT模式连接主机 集群中/etc/hosts文件配置 #本机127.0.0.1 localh ...

  7. 基于Eclipse搭建hadoop开发环境

    一.基础环境准备 1.Eclipse 下载地址:http://pan.baidu.com/s/1slArxAP 2.JDK1.8  下载地址:http://pan.baidu.com/s/1i5iNy ...

  8. perl环境配置以及Eclipse安装perl开发插件

    简介: 这篇文章将详细介绍 EPIC 组件的安装,EPIC 编辑环境,调试运行环境,着重介绍如何使用 EPIC 来快速.简便.准确地调试 Perl 语言程序,包括对于 Perl 程序的单步执行,断点用 ...

  9. eclipse基础及开发插件

    Eclipse:http://www.eclipse.org/downloads/ Compare Package:http://www.eclipse.org/downloads/packages/ ...

随机推荐

  1. UVA 11983 Weird Advertisement(线段树求矩形并的面积)

    UVA 11983 题目大意是说给你N个矩形,让你求被覆盖k次以上的点的总个数(x,y<1e9) 首先这个题有一个转化,吧每个矩形的x2,y2+1这样就转化为了求N个矩形被覆盖k次以上的区域的面 ...

  2. Spring JTA应用JOTM & Atomikos II JOTM

    上节建立了一个简单的Java Application以及所需要的数据库和数据表,本节将介绍JOTM在Spring中的配置. JOTM(Java Open Transaction Manager)是Ob ...

  3. hdoj 5391 Zball in Tina Town

    题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=5391 相关数论结论: 威尔逊定理——当且仅当p为素数时:( p -1 )! ≡ p-1 ( mod p ...

  4. webbench压力测试

    webbench最多可以模拟3w多个并发请求去测试网站负载能力. 一:获取webbench工具,安装编译: wget http://blog.zyan.cc/soft/linux/webbench/w ...

  5. My集合框架第六弹 左式堆

    左式堆(Leftist Heaps)又称作最左堆.左倾堆.左式堆作为堆的一种,保留了堆的一些属性. 第1,左式堆仍然以二叉树的形式构建: 第2,左式堆的任意结点的值比其子树任意结点值均小(最小堆的特性 ...

  6. 规范打log

    在公司工作快3年了,debug用的最多的还是分析程序打出来的log. 怎样打log,打什么样的log,也是很值得研究的事情.好的打log方式,能够很快的分析和解决问题. 下面总结两点: 1.在log中 ...

  7. android 工具类之SharePreference

    /** * SharedPreferences的一个工具类,调用setParam就能保存String, Integer, Boolean, Float, Long类型的参数 * 同样调用getPara ...

  8. UI:UITableView表视图

    表视图 UITableView,iOS中最重要的视图,随处可⻅见. 表视图通常⽤用来管理⼀一组具有相同数据结构的数据. UITableView继承⾃自UIScrollView,所以可以滚动,表视图的每 ...

  9. AForge学习笔记(列表)

    AForge学习笔记(11):AForge.Imaging.Textures Clouds texture:具有云彩的纹理效果,示例如下:             CloudsTexture text ...

  10. ao的编辑操作

    自从10.0以后,ArcMap的编辑界面发生了变化,原本的“目标图层”和“编辑任务”不见了,取而代之的是“要素构造”窗口,里面融合了目标图层和编辑任务功能.查看sdk发现,多了几个接口,前面已经讲过. ...