Windows下Hadoop的环境安装[转]
1.下载并安装Cygwin,记得cygwin安装中要把SSH选择上,因为后面Hadoop会用到,不详述cygwin的安装过程.我是安装在D:\cygwin下
2.配置系统环境变量
在windows命令行中输入unix命令,可以执行则说明cygwin和环境变量配置成功.
3.打开D:\cygwin\Cygwin.bat,配置ssh,执行命令ssh-host-config
因为我已经配置过,并用ssh服务已经启动,所以报错了,你们在配置的时候一路YES即可,有兴趣的也可以看一下英文说明,都配置了哪些东东.
当看到"HAVE FUN"则表明配置成功.
这时候会在你的系统上增加一个SSH服务,启动之
4.配置生成RSA密钥对,使SSH可以无密码登陆,以方便后面Hadoop的启动
在cygwin的控制台中输入ssh localhost,这时候输入密码(当前windows登陆用户密码)按理说应该可以登进去.在此我纠结了很久,明明密码是对的,却怎么也登不了.这时要创建用户组与密码.
在cygwin的控制台中输入如下命令:
mkpasswd –cl > /etc/passwd
mkgroup --local > /etc/group
OK,现在可以生成RSA密钥对实现密码登陆了
cygwin的控制台中
1)输入"ssh-keygen"全部直接回车
2)"cd ~/.ssh"
此时应该有以上两个文件,id_rsa.pub即是公钥
3)"cp id_rsa.pub authorized_keys" authorized_keys是SSH登陆时候自动去取的公钥文件,当与id_rsa匹配时就可以无密码登陆.
4)"ssh localhost"已经不用密码了
-----------------------------------------------到此cygwin及SSH配置完成---割一下-----------------------------------------
5.解压hadoop-1.0.3.tar.gz到D:\hadoop\run,目录可以自己安排
以下要修改若干配置,兄弟们淡定
1)D:\hadoop\run\conf\hadoop-env.sh文件中配置 "export JAVA_HOME=D:/bea/jdk160_05" JDK为自己机器上JDK地址,记得要把这句话前面的"#"去掉
2)将D:\hadoop\run\src\core\core-defult.xml复制为D:\hadoop\run\conf\core-site.xml并替换原来文件
<property> |
修改红色部分,格式为hdfs://机器名:端口.此为HDFS的端口,可自行配置,但不要和已有端口冲突
3)将D:\hadoop\run\src\hdfs-defult.xml复制为D:\hadoop\run\conf\hdfs-site.xml并替换原来文件,无修改
4)将D:\hadoop\run\src\mapred-defult.xml复制为D:\hadoop\run\conf\mapred-site.xml并替换原来文件
<property> |
修改红色部分,可自行配置,但不要和已有端口冲突
6.Cygwin下进入hadoop的bin目录,执行./hadoop namenode -format 初始化HDFS
start-all.sh启动hadoop
stop-all.sh关闭hadoop
7.执行jps及./hadoop fs -ls /
成功则说明hadoop启动成功
------------------------------------------hadoop配置完成-------------------继续割------------------------
8.现在开始将myeclipse与hadoop结合起来,以方便以后的开发调试
我用的myeclipse版本为6.6,记得myeclipse要运行在jre1.6环境下,不然hadoop插件会报错.
如果你的myeclipse不是在1.6下运行,则将1.6的JRE复制并替换D:\Program Files\MyEclipse 6.6\jre即可
9.我使用的hadoop是1.0.3,所以我用的插件是hadoop-eclipse-plugin-1.0.3.jar.
检查hadoop-eclipse-plugin-1.0.3.jar的lib中是否有如图的jar包,如果没有则到D:\hadoop\run\lib下将相应的jar包复制过来
并且修改MANIFEST.MF文件,Bundle-ClassPath:下增加相应的jar包,例如:
Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.8.8.jar,lib/jackson-mapper-asl-1.8.8.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar
检查无误后将此jar包复制到D:\Program Files\MyEclipse 6.6\eclipse\plugins下,重启myeclipse
10.进入首选项配置hadoop安装目录
进入window中打开Perspective并打开Map/Reduce
新增hadoop location
配置如图
此时可以访问HDFS则说明配置成功
--------------------------------------------over------------------------------------------------------------
Windows下Hadoop的环境安装[转]的更多相关文章
- Windows下Hadoop编程环境配置指南
刘勇 Email: lyssym@sina.com 本博客记录作者在工作与研究中所经历的点滴,一方面给自己的工作与生活留下印记,另一方面若是能对大家有所帮助,则幸甚至哉矣! 简介 鉴于最近在研究 ...
- windows下的python环境安装
windows下python开发环境的搭建还是很方便的 python本体的下载可以通过官方渠道,也可以通过windows应用商店,这里推荐后者,因为前者还要设置环境变量,而且我设置了之后cmd下也没有 ...
- Windows 下Hadoop的环境变量配置
一.安装JDK 1.下载路径:http://www.oracle.com/technetwork/java/javase/downloads/index.html 2.安装到C:\Java\jdk1. ...
- windows 下的bash 环境安装npm
1.Git下载 node.js下载2.安装 git 和 node.js3.将git\bin node.js安装目录加入环境变量path中4.在D盘下建立目录gitrep 打开Git Bash初始 ...
- Windows下Java开发环境安装与配置
1. 前往Oracle网站下载JDK程序并安装. http://www.oracle.com/technetwork/java/javase/downloads/index.html 目前最新的版本为 ...
- [转]phoneGap3.0安装步骤(以windows下的android环境为例):
phoneGap3.0安装步骤(以windows下的android环境为例): 环境: WIN系统,JDK,Android,Eclipse,Ant,Git,PhoneGap3.x (Cordova) ...
- windows下配置lamp环境(1)---安装Apache服务器2.2.25
window下lamp成为wamp; 安装wamp环境的第一步是安装Apache服务器.下面开始安装步骤图文并茂. 一.双击安装包点“next”进行下一步,然后同意协议(这张图没有截):
- windows下spark开发环境配置
http://www.cnblogs.com/davidwang456/p/5032766.html windows下spark开发环境配置 --本篇随笔由同事葛同学提供. windows下spark ...
- Android学习——windows下搭建Cygwin环境
在上一篇博文<Android学习——windows下搭建NDK_r9环境>中,我们详细的讲解了在windows下进行Android NDK开发环境的配置,我们也讲到了在NDk r7以后,我 ...
随机推荐
- ASP.Net MVC 之FileResult
FileResult是一个基于文件的ActionResult,利用FileResult我们可以很容易地将从某个物理文件的内容响应给客户端.ASP.NET MVC定义了三个具体的FileResult,分 ...
- Android 聊天气泡
网上搜到的只有一篇是自定义的TextView,其使用比较麻烦,所以采用大众化的方法--使用9.png来实现. 这里主要介绍sdk tool的draw9patch.bat的使用. 这个bat执行文件打开 ...
- 关于List、Set集合以及Map的使用
package tingjizifu; import java.util.*; public class TongJi { /* * 使用Scanner从控制台读取一个字符串,统计字符串中每个字符出现 ...
- 查找Mysql数据库连接jar包和对应的Driver和Url
以前写jdbc连接向来都是直接copy,对于连接数据库的jar包在哪下载,对应的Driver类是哪一个,数据库连接串怎么找等等都没有做过,今天从零开始整了一遍. 使用的数据库是Mysql 一.已安装了 ...
- 关于keil单片机编程中的data,idata,xdata,pdata,code数据类型
从数据存储类型来说,8051系列有片内.片外程序存储器,片内.片外数据存储器,片内程序存储器还分直接寻址区和间接寻址类型,分别对应code.data.xdata.idata以及根据51系列特点而设定的 ...
- java学习笔记(12) —— Struts2 通过 xml /json 实现简单的业务处理
XML 1.引入dom4j-2.0.0.jar 2.引入jquery-1.8.2.js 3.新建common.js getInfo = function(){ $.post("getXmlA ...
- 在Mvc中创建WebApi是所遇到的问题
1.提示"The 'ObjectContent`1' type failed to serialize the response body for content type 'applica ...
- MAC OSX10.9.2上搭建Apache,php
mac osx10.9.* 自带了apache, php Apache配置 1- 启动 sudo apachectl start 启动后,访问 http://localhost/ 应该能看到" ...
- SQL Server 2012数据库还原所遇到的问题
在SQL Server2005及以下版本做数据库备份还原时,需要首先建立数据库,然后才能进行数据库还原操作:而在SQL Server2005以上版本做数据库还原时,不需要建立数据库,可以直接进行数据库 ...
- quartz2.2.1-测试02-通过servlet动态修改定时任务运行时间
/* * To change this license header, choose License Headers in Project Properties. * To change this t ...