Hadoop集群搭建文档
环境:
Win7系统装虚拟机虚拟机VMware-workstation-full-9.0.0-812388.exe
Linux系统Ubuntu12.0.4
JDK jdk-7u17-linux-i586.tar.gz
搭建步骤:
- 首先在win系统装虚拟机,执行VMware-workstation-full-9.0.0-812388.exe;
- 其次需要在虚拟机上装Ubuntu12.0.4;
- 安装完成Ubuntu12.0.4之后,需要安装JDK,(注意:安装JDK需要处理一些其他问题,JDK必须是Linux版本的,还有就是JDK要和操作系统的位数相符合,比如32位、64位都有对应的安装包):JDk的安装路径,我直接解压到/opt/jdk这个目录下;
- 安装完JDK需要配置环境变量,具体如下截图所示:需要修改两个地方environment 和 profile文件;
- 由于Ubuntu中一般安装有默认的JDK,如openjdk,所以,为了使默认使用的是我们安装的jdk,还要进行如下工作。sudo update-alternatives --install /usr/bin/java java /opt/jdk/jdk1.7.0_17/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac/opt/jdk/jdk1.7.0_17/bin/javac
300 - 在终端输入java –version / javac测试安装JDK是否成功;
- 每当Ubuntu安装成功时,我们的机器名都默认为:Ubuntu,但为了以后集群中能够容易分辨各台服务器,需要给每台机器取个不同的名字。机器名由 /etc/hostname文件决定。输入此命令,在打开的文件中修改机器名,我的机器名是Master;
- 安装SSH服务,实现无密码登陆;sudo apt-get install ssh openssh-server安装完成SSH后,可以查看SSH是否启动等;
- 安装SSH服务完成后就需要配置无密码登录,具体如下图所示:进入安装目录:刚开始可能没有authorized_keys和known_hosts文件,需要执行该命令;将产生的公钥加入到该文件中,可以打开看id_rsa.pub文件:有关ssh公钥与密钥的具体问题可以百度;执行如下命令将authorized_keys文件分发给其他节点;注意每个节点都需要生成公钥,然后将三个节点的公钥合并在一个文件中,三个节点的authorized_keys必须一致。如下图所示:注意文件的权限修改有可能导致ssh无密码登录配置失效,此处修改文件需要慎重;配置完成后就可实现无密码登陆;如下图所示:
- 安装hadoop,安装包拷贝到安装目录下;如下图所示:将安装包解压到该目录;执行如下命令:
- 安装完成后,需要配置hadoop,具体操作如下所示:需要修改的文件都在/opt/hadoop/hadoop-0.20.2/conf/目录下:
- 修改hadoop-env.sh文件:加入JDK的路径;
- 修改core-site.xml:
- 修改hdfs-site.xml:
- 修改mapred-site.xml:
- 配置masters文件:
节点机上需要配置Slaves文件,与该文件类似;
- 此时已完成hadoop配置;
- 在虚拟机的Manager-àClone中克隆新的节点,也可以不克隆,自己安装,安装完成需要将Master中的JDK、hadoop的文件拷贝过去。
- 我采用的是分布式;一个电脑安装了一个虚拟机做为Master,另外一个电脑安装了虚拟机,在虚拟机上安装的两个Ubuntu,即该机器模拟了两个节点,此实验需要三个节点。
Master |
10.18.12.47 |
|
Slave1 |
10.18.12.48 |
|
Slave2 |
10.18.12.254 |
- 虚拟机之间需要能ping通;此结果代表可以ping通;
- 做完所有的准备工作现在就可以启动hadoop集群,执行命令如下:启动:
- 查看集群是否启动;
- 也可以用该命令查看:
- 通过jsp页面查看:http://10.18.12.47:50030/jobtracker.jsphttp://10.18.12.47:50070/dfshealth.jsp
- 至此关于集群搭建结束,
Hadoop集群搭建文档的更多相关文章
- Apache Hadoop 集群安装文档
简介: Apache Hadoop 集群安装文档 软件:jdk-8u111-linux-x64.rpm.hadoop-2.8.0.tar.gz http://www.apache.org/dyn/cl ...
- kafka集群搭建文档
kafka集群搭建文档 一. 下载解压 从官网下载Kafka,下载地址http://kafka.apache.org/downloads.html 注意这里最好下载scala2.10版本的kafka, ...
- Ambari HDP集群搭建文档
一.配置主机和节点机器之间SSH无密登录 多台外网服务器配置时,需要在/etc/hosts中把本机的IP地址设置为内网IP地址 http://2d67df38.wiz02.com/share/s/0J ...
- Hadoop 集群搭建和维护文档
一.前言 -- 基础环境准备 节点名称 IP NN DN JNN ZKFC ZK RM NM Master Worker master1 192.168.8.106 * * * * * * maste ...
- 大数据初级笔记二:Hadoop入门之Hadoop集群搭建
Hadoop集群搭建 把环境全部准备好,包括编程环境. JDK安装 版本要求: 强烈建议使用64位的JDK版本,这样的优势在于JVM的能够访问到的最大内存就不受限制,基于后期可能会学习到Spark技术 ...
- HP DL160 Gen9服务器集群部署文档
HP DL160 Gen9服务器集群部署文档 硬件配置=======================================================Server Memo ...
- redis多机集群部署文档
redis多机集群部署文档(centos6.2) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下 ...
- Hadoop 集群搭建
Hadoop 集群搭建 2016-09-24 杜亦舒 目标 在3台服务器上搭建 Hadoop2.7.3 集群,然后测试验证,要能够向 HDFS 上传文件,并成功运行 mapreduce 示例程序 搭建 ...
- Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!)
Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!) 一.JDK的安装 安装位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安装在克隆三台机器的时候可以提前安装 ...
随机推荐
- 关于Cocos2d-x对象的定义和创建
游戏可以包含很多个场景,每个场景又包含很多的层,每个层又包含很多的节点,这些节点,层,场景都可以看成一个一个的对象,我们把每一个彼此不同但又是同类型的对象归为一个类,为它创建一个单独的类,这个类有这些 ...
- 获取platformVersion、deviceName、appPackage
命令获取如下: 手机与电脑连接 devicename: adb devices platformversion : adb shell getprop ro.build.version.re ...
- Altera特殊管脚的使用(适用全系列Altera FPGA,MSEL区别除外)-来自altera论坛
1.I/O, ASDO 在AS 模式下是专用输出脚,在PS 和JTAG 模式下可以当I/O 脚来用.在AS 模式下,这个脚是CII 向串行配置芯片发送控制信号的脚.也是用来从配置芯片中读配置数据的脚 ...
- C# 使用SkinSharp皮肤库
SkinSharp是Windows环境下一款强大的通用换肤库. SkinSharp作为通用换肤库,只需要在您的程序中添加一行代码,就能让您的界面焕然一新,并拥有多种主题风格和色调的动态切换功能以及Ae ...
- CentOS7怎么修改命令行启动
root用户下直接执行命令: systemctl set-default multi-user.target 然后reboot即可.
- c++ list erase()
STL中的容器按存储方式分为两类,一类是按以数组形式存储的容器(如:vector .deque):另一类是以不连续的节点形式存储的容器(如:list.set.map).在使用erase方法来删除元素时 ...
- JQuery上传插件Uploadify使用详解 asp.net版
先来一个实例 Uploadify插件是JQuery的一个文件支持多文件上传的上传插件,ajax异步上传,实现的效果非常不错,带进度显示.不过官方提供的实例时php版本的,本文将详细介绍Uploadif ...
- C#操作缓存--CacheHelper缓存帮助类
/// <summary>/// 类说明:Assistant/// 联系方式:361983679 /// 更新网站:<a href=\"http://www.cckan. ...
- UIScrollView的用法,属性
iOS开发学习笔记-UIScrollView的用法 转载地址:http://www.jianshu.com/p/bcaf5cdfaa7e# UIScrollView是用来在屏幕上显示那些在有限区域内放 ...
- java -jar Test.jar找不到main class问题
如果你写了一些class,编 译到一个jar里面,但是在执行这个jar的时候报错,找不到main class,但是你明明是有的,是不是很郁闷,检查一下你的jar吧. 解压你的jar,打开META-IN ...