1.通过修改实例模板程序来实现自己的map-reduce:
为了让示例程序run起来:
1)安装eclipse
2)安装map-reduce的eclipse插件
eclipse的map-reduce插件可以很方便的创建hadoop项目(自动导入所依赖的map-reduce jar包)和打开map-reduce视图(在里面可以像查看本机文件系统一样直观的看到hdfs文件系统的结构)
安装详细步骤:
i)查找eclipse的安装路径:
$:whereis eclipse
1.通过修改实例模板程序来实现自己的map-reduce:
为了让示例程序run起来:
1)安装eclipse
2)安装map-reduce的eclipse插件
eclipse的map-reduce插件可以很方便的创建hadoop项目(自动导入所依赖的map-reduce jar包)和打开map-reduce视图(在里面可以像查看本机文件系统一样直观的看到hdfs文件系统的结构)
安装详细步骤:
i)查找eclipse的安装路径:
$:whereis eclipse

显然,我们的eclipse安装在/usr/lib/eclipse下,
将map-reduce的eclipse插件copy到/usr/lib/eclipse/plugins目录下:
sudo cp -rf [插件名称] /usr/lib/eclipse/plugins
ii)重启eclipse
iii)配置eclipse中map-reduce插件的设置:
在eclipse-window-preference中,配置当前hadoop的安装路径(eclispe会自动搜索路径下的jar包)

(IV)开启eclipse map-reduce视图:
window View中选择other view,选择map-reduce

(V)开启后,在eclispe的下边栏目中可以看到map-reduce的配置:

(VI)右键,点击配置hadoop的位置:

特别注意:这里的配置要与hadoop的配置文件一样:
Map/Reduce Master的配置在${HADOOP_HOME}/etc/hadoop/map-red.site文件中:
我的配置是:

DFS master的配置在
${HADOOP_HOME}/etc/hadoop/core-site.xml
我的配置是:

由于我配置的是伪分布式,因此map-red master和hdfs master位置都是localhost,将以上配置填入eclipse后确定,就可以在项目栏中看到:

我们可以方便的查看和下载上传本地文件到hdfs中

至此,hadoop map-reduce的eclispe开发环境已经搭建完成。

附件:
1)示例模板程序:

2)map-reduce eclipse插件下载
百度云盘: http://pan.baidu.com/s/1nt5jqyt

 转:http://blog.csdn.net/guoqingpei/article/details/45620123

hadoop——配置eclipse下的map-reduce运行环境 1的更多相关文章

  1. Hadoop简介(1):什么是Map/Reduce

    看这篇文章请出去跑两圈,然后泡一壶茶,边喝茶,边看,看完你就对hadoop整体有所了解了. Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Red ...

  2. SAAS云平台搭建札记: (二) Linux Ubutu下.Net Core整套运行环境的搭建

    最近做的项目,由于预算有限,公司决定不采购Windows服务器,而采购基于Linux的服务器. 一般的VPS服务器,如果使用Windows系统,那么Windows Server2012\2016安装好 ...

  3. Ubuntu 下部署asp.net运行环境

    在Ubuntu下部署asp.net运行环境,网上教程很多,基本都是编译Mono源码,然后安装jexus.但是可能是我最近RP不太好,编译Mono源码一直都是失败,无奈之下只好找另外的方法安装了. 网上 ...

  4. ODPS 下一个map / reduce 准备

    阿里接到一个电话说练习和比赛智能二选一, 真的很伤心, 练习之前积极老龄化的权利. 要总结ODPS下一个 写map / reduce 并进行购买预测过程. 首先这里的hadoop输入输出都是表的形式, ...

  5. hadoop入门级总结二:Map/Reduce

    在上一篇博客:hadoop入门级总结一:HDFS中,简单的介绍了hadoop分布式文件系统HDFS的整体框架及文件写入读出机制.接下来,简要的总结一下hadoop的另外一大关键技术之一分布式计算框架: ...

  6. eclipse下python的selenium自动化环境的搭建

    前提:安装python,我用的2.7.8版本,并在环境变量path里设置;E:\Python1.解压setuptools(Python包管理工具),cmd到目录执行python setup.py in ...

  7. eclipse下搭建Drools规则引擎环境

    插件下载地址:http://download.jboss.org/drools/release/ 1.点开对应的版本文件,选择标红的两个压缩包下载,其他的如有需要也可以自行选择: 2.将下载的压缩包解 ...

  8. windows下搭建绿色nodejs运行环境

    无意中在网上看到NodeJS的文章,发现最近还挺火的,正好我也是做技术的,那就下载个玩玩呗,试试它的魅力,也来亲自感受下. 网上nodejs的环境的搭建到处都是,我这里就不说了,今天我想通过我自己的环 ...

  9. 搭建Linux(Ubuntu)系统下的Differential Datalog运行环境

    DDlog is a bottom-up, incremental, in-memory, typed Datalog engine. It is well suited for writing pr ...

随机推荐

  1. Node 出现 uncaughtException 之后的优雅退出方案

    Node 的异步特性是它最大的魅力,但是在带来便利的同时也带来了不少麻烦和坑,错误捕获就是一个.由于 Node 的异步特性,导致我们无法使用 try/catch 来捕获回调函数中的异常,例如: try ...

  2. BFS+贪心 HDOJ 5335 Walk Out

    题目传送门 /* 题意:求从(1, 1)走到(n, m)的二进制路径值最小 BFS+贪心:按照标程的作法,首先BFS搜索所有相邻0的位置,直到1出现.接下去从最靠近终点的1开始, 每一次走一步,不走回 ...

  3. linux下使用crontab定时备份MYSQL数据库的方法:

    摘要 linux下使用crontab定时备份MYSQL数据库的方法: 只需按照下面3步做,一切都在你的掌控之下: 第一步:在服务器上配置备份目录代码: ------------------------ ...

  4. Centos环境下部署游戏服务器-Eclipse

    一直在想这篇文章该不该写,因为这篇文章更像是教你如何使用一个ide这种文章,毫无价值可言.但思来想去还是应给写.上篇文章主要说了编译原理和过程,这篇文章就是理论联系实际的典范.并且很多工程师一辈子都不 ...

  5. 计算CRC校验值(CRC16和CRC32)(网络传输检验)

    CRC有非常多的模式,我没有全部都做,目前支持 CRC16-Modbus CRC16-X25 CRC32 使用方法 auto data = QByteArray::fromHex( "01 ...

  6. static和const关键字

    C#与C++的static有两种用法:面向过程程序设计中的static和面向对象程序设计中的static.前者应用于普通变量和函数,不涉及类   面向过程 静态全局变量 静态全局变量在声明它的整个文件 ...

  7. 【重走Android之路】【Java面向对象基础(二)】细说String、StringBuffer和StringBuilder

    [重走Android之路][基础篇(二)][Java面向对象基础]细说String.StringBuffer和StringBuilder   1.String String是Java中的一个final ...

  8. Android APP安全评估工具 Drozer - 安装介绍

    一.Drozedr安装 注意事项:安装需要 JavaRuntime Environment (JRE) or Java Development Kit (JDK)环境, 没有安装的请先安装java环境 ...

  9. 统计MySQL数据表大小

    SELECT CONCAT(TRUNCATE(SUM(data_length)/1024/1024,2),'MB') AS data_size,CONCAT(TRUNCATE(SUM(max_data ...

  10. Struts2入门学习

    1.Struts2的前身是Opensymphony的Webwork2,实际上Strut和Webwork2合并后形成Struts2.   2.一个HelloWord示例 1)创建Web应用,所需要的Ja ...