Hadoop-MyEclipse安装配置
配置环境:Hadoop-1.2.1,MyEclipse,Centos6.5
网站上有很多关于Hadoop-eclipse的安装配置信息,但很少有讲到关于怎么在MyEclipse上配置Hadoop的相关操作。由于我的电脑只装了MyEclipse,所以我在这里将如何用MyEclipse安装Hadoop-eclipse插件记录下来。其实跟在eclipse上配置是大同小异的。
步骤:
1)将Hadoop-eclipse-Plugin-1.2.1.jar放到MyEclipse安装目录的dropins文件夹下,重新启动MyEclipse。会发现在Project Explorer下出现DFS Locations.表明MyEclipse已经识别Hadoop-eclipse-Plugin-1.2.1.jar插件。
注意:Hadoop-eclipse-Plugin-1.2.1.jar这个jar包在Hadoop-1.2.1的contrib目录下是找不到的,需要自己在网上下载,或者自己配置也行。
2)打开window-->Preferens,发现Hadoop Map/Reduce选项,说明插件安装成功,配置Hadoop installation directory为本地Hadoop安装解压的目录。(注意:前提是要在window下下载Hadoop-1.2.1,并解压)
3)选择window-->show view-->others,选择有大象图标的Map/Reduce,打开Map/Reduce的开发环境,下方多了一个Map/Reduce Location的框。
图中出现的大象linux是我已经配好了的。
4)选择Map/reduce Location标签,点击标签最右边的大象图标,即齿轮图标右侧的大象图标,打开参数设置页面。
注意:用红色框标注的参数设置一定要正确,首先,Location name设置为linux的主机名,可以用hostname查看。Host为linux主机用户名。左边的PortMapReduce的端口号,之前在linux下配置Hadoop的xml文件已经配过了,按照配置的端口号配置就可以了。右边的为hdfs的端口号。配置完后点finish。
5)接着点击Advanced parameters,从中找到hadoop.tmp.dir,修改为Hadoop集群core-site.xml中配置的值。
6)接着在Advanced parameters中配置dfs.permssions,修改为false,与Hadoop集群【hdfs-site.xml】中配置的一致;将dfs.replication的值改为1.
其实,这些配置信息的设置都可以参考http://linux.chaofn.org:50030/jobhistoryhome.jsp中红色框中的内容进行配置
7)配置完成后,若在Project Explorer中出现如下信息,这表明配置成功
Hadoop-MyEclipse安装配置的更多相关文章
- Hadoop单机安装配置过程:
1. 首先安装JDK,必须是sun公司的jdk,最好1.6版本以上. 最后java –version 查看成功与否. 注意配置/etc/profile文件,在其后面加上下面几句: export JAV ...
- Eclipse,myeclipse安装 配置Maven
本文转自http://www.cnblogs.com/timeng/archive/2013/05/07/maven_install.html myeclipse自带了maven插件,但是和原生插件还 ...
- Hadoop的安装配置(一)
一.Hadoop的安装①Hadoop运行的前提是本机已经安装了JDK,配置JAVA_HOME变量②在Hadoop中启动多种不同类型的进程 例如NN,DN,RM,NM,这些进程需要进行通信 ...
- Hadoop简单安装配置
Hadoop开始设计以Linux平台为运行目标,所以这里推荐在Linux发行版比如Ubuntu进行安装,目前已经有Hadoop for Windows出来,大家自行搜下文章. Hadoop运行模式分为 ...
- Hadoop详细安装配置过程
步骤一:基础环境搭建 1.下载并安装ubuntukylin-15.10-desktop-amd64.iso 2.安装ssh sudo apt-get install openssh-server op ...
- Hadoop HA- zookeeper安装配置
安装集群 1.1 虚拟机: 3台安装好JDK的centos Linux虚拟机 1.2 安装包: 把下载好的zookeeper安装包,官网:http://mirror.bit.edu.cn/apache ...
- 【大数据】Hadoop单机安装配置
1.解压缩hadoop-2.7.6.tar.gz到/home/hadoop/Soft目录中 2.创建软链接,方便hadoop升级 ln -s /home/hadoop/Soft/hadoop-2.7 ...
- hadoop搭建杂记:Linux下hadoop的安装配置
VirtualBox搭建伪分布式模式:hadoop的下载与配置 VirtualBox搭建伪分布式模式:hadoop的下载与配置 由于个人机子略渣,无法部署XWindow环境,直接用的Shell来操作, ...
- hadoop的安装配置
资源下载路径:https://archive.cloudera.com/cdh5/cdh/5/:https://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0 ...
- Docker Hadoop LAMP安装配置教程
以下教程来自九章算法. 1.How to install Dockerhttps://bupt.quip.com/YehSAR4qnGqB 2.How to set up hadoop environ ...
随机推荐
- django+Python数据库利用Echarts实现网页动态数据显示
这几天一直在思考前端--服务器--数据库的之间的数据交互,最后决定了用django来做,为什么呢?因为我这只是在开发阶段,所以就用了django自带的web服务器(很方便)而且呢,它还自带了数据库sq ...
- MySQL学习(二)复制
复制解决的问题是保持多个服务器之间的数据的一致性,就如同通过复制保持两个文件的一致性一样,只不过MySQL的复制要相对要复杂一些,其基本过程如下: 1)在主库上将数据更改记录到二进制日 ...
- 【java】多线程同步死锁
package 多线程; class A{ public synchronized void say(B b){ System.out.println("A说:你把你的本给我,我把我的笔给你 ...
- Java-单例模式详解(图文并茂,简单易懂)
PS:首先我们要先知道什么是单例,为什么要用单例,用的好处是什么等问题来看. 1:java中单例模式是一种常见的设计模式,单例模式的写法有好几种,这里主要介绍两种:懒汉式单例.饿汉式单例单例模式有以下 ...
- bat获取系统时间修改系统密码
@echo off %1 mshta vbscript:CreateObject("Shell.Application").ShellExecute("cmd.exe&q ...
- w 命令详解
作用: 用于显示已经登录系统的用户列表, 并显示用户正在执行的指令. 执行这个命令可得知目前登入系统的用户有哪些人, 以及他们正在执行的程序. 单独执行w 命令会显示所有的用户, 您也可指定用户名称 ...
- Spring Dynamic DataSource Routing
Use AbstractRoutingDataSource to dynamicly switch datasources, see http://spring.io/blog/2007/01/23/ ...
- Golang中的坑二
Golang中的坑二 for ...range 最近两周用Golang做项目,编写web服务,两周时间写了大概五千行代码(业务代码加单元测试用例代码).用Go的感觉很爽,编码效率高,运行效率也不错,用 ...
- [E::hts_idx_push] NO_COOR reads not in a single block at the end 10 -1
在分析转录组数据时,用bowtie2比对生成的bam文件,下一步call peak使用m6Aviewer,需要bam文件的index文件.所以我直接敲命令 samtools index xx.bam ...
- 摄像头脸部识别 (1)opencv 抓取视频数据并保存
摄像头脸部识别 (1)opencv 抓取视频数据并保存 基于python 和 opencv 3.4.0 (兼容 opencv 2.X 参考注释),详细如代码 import numpy as np im ...