VM搭建hadoop分布式集群
1. 安装VMware Workstation Pro
2.安装Ubuntu-16.04
3.以下全程使用sudo –s 切换root权限
4.更新deb软件包列表:apt-get update
5.安装系统更新 apt-get upgrade
6.安装JDK8到/opt/java8
改变所属组和用户
cd /opt
sudo chown cc:cc java8
7.设置CLASSPATH 和JAVA_HOME,这里我使用的是gedit /etc/profile的方式设置
export JAVA_HOME=/opt/java8
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
8.从http://hadoop.apache.org/下载hadoop-2.7.3.tar.gz
tar -zxvf hadoop-2.7.3.tar.gz 解压
改变所属组和用户
cd /opt
chown cc:cc hadoop-2.7.3
9.更新hadoop环境变量
gedit hadoop/conf/hadoop-env.sh
将#export JAVA_HOME= *** 这一行改为:
export JAVA_HOME=/opt/java8 (注:此处java_home 一定要硬编码)
10.gedit /etc/profile配置环境变量 export HADOOP_HOME=/opt/hadoop-2.7.3
11.配置ssh
apt-get install ssh
查看是否已经安装好ssh –V
检查是否生成/root/.ssh目录,没生成的话用mkdir生成一个,如图:
生成公钥:ssh-keygen
公钥密码可以留空
检查/root/.ssh目录是否生成文件authorized_keys,如果没有使用touch authorized_keys
生成一个
把公钥的内容复制到authorized_keys文件中cat
id_rsa.pub >> authorized_keys
修改authorized_keys权限为600: chmod 600
authorized_keys
验证是否配置成,命令:ssh localhost
12.克隆两台虚拟机
13.建立三台虚拟机的通信
新增的两台虚拟机会在电脑的网络连接里多两个连接
设置共享原来的本地连接
设置虚拟机连接
设置IP地址,DNS可以不设
在第一台虚拟机里新曾一个网络连接
分别再设置另两个CC02,CC03的IP分别为:192.168.100.129、192.168.100.131
之后三个虚拟机通信使用连接wired connection1
14.使用CC01为NameNode,CC03,CC03为DataNode
15.gedit /etc/hosts
添加数据:
192.168.198.140
CC01
192.168.198.141 CC02
192.168.198.142 CC03
16.配置SSH
在CC02\CC03上分别执行
scp root@CC01:/root/.ssh/id_rsa.pub
/root/.ssh/CC01_rsa.pub
cat CC01_rsa.pub
>> authorized_keys
在CC01上执行
scp root@CC01:/root/.ssh/id_rsa.pub /root/.ssh/CC01_rsa.pub
cat /root/.ssh/CC01_rsa.pub >>
/root/.ssh/authorized_keys
17.配置conf/masters , conf/slaves
在所有节点上:
gedit /opt/hadoop-2.7.3/etc/hadoop/加入一行:CC01
gedit /opt/hadoop-2.7.3/etc/hadoop/slaves加入行:
CC02
CC03
18.配置core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://CC01:9000</value>
</property>
</configuration>
19.配置hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///opt/hadoop-2.7.3/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///opt/hadoop-2.7.3/hdfs/data</value>
</property>
</configuration>
记得:
mkdir
/opt/hadoop-2.7.3/hdfs/name
mkdir
/opt/hadoop-2.7.3/hdfs/data
20.配置mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>CC01:9001</value>
</property>
</configuration>
21.格式化分布式文件系统
在namenode上
/opt/hadoop-2.7.3/bin/hdfs namenode
–format
22.启动HDFS,在namenode上
/opt/hadoop-2.7.3/sbin/start-dfs.sh
jps命令查看
VM搭建hadoop分布式集群的更多相关文章
- 超快速使用docker在本地搭建hadoop分布式集群
超快速使用docker在本地搭建hadoop分布式集群 超快速使用docker在本地搭建hadoop分布式集群 学习hadoop集群环境搭建是hadoop入门的必经之路.搭建分布式集群通常有两个办法: ...
- 使用docker搭建hadoop分布式集群
使用docker搭建部署hadoop分布式集群 在网上找了非常长时间都没有找到使用docker搭建hadoop分布式集群的文档,没办法,仅仅能自己写一个了. 一:环境准备: 1:首先要有一个Cento ...
- 使用Docker在本地搭建Hadoop分布式集群
学习Hadoop集群环境搭建是Hadoop入门必经之路.搭建分布式集群通常有两个办法: 要么找多台机器来部署(常常找不到机器) 或者在本地开多个虚拟机(开销很大,对宿主机器性能要求高,光是安装多个虚拟 ...
- 分布式计算(一)Ubuntu搭建Hadoop分布式集群
最近准备接触分布式计算,学习分布式计算的技术栈和架构知识.目前的分布式计算方式大致分为两种:离线计算和实时计算.在大数据全家桶中,离线计算的优秀工具当属Hadoop和Spark,而实时计算的杰出代表非 ...
- 在 Ubuntu 上搭建 Hadoop 分布式集群 Eclipse 开发环境
一直在忙Android FrameWork,终于闲了一点,利用空余时间研究了一下Hadoop,并且在自己和同事的电脑上搭建了分布式集群,现在更新一下blog,分享自己的成果. 一 .环境 1.操作系统 ...
- CentOS7.5搭建Hadoop分布式集群
材料:3台虚拟主机,ip分别为: 192.168.1.201 192.168.1.202 192.168.1.203 1.配置主机名称 三个ip与主机名称分别对应关系如下: 192.168.1.201 ...
- hadoop分布式集群的搭建
电脑如果是8G内存或者以下建议搭建3节点集群,如果是搭建5节点集群就要增加内存条了.当然实际开发中不会用虚拟机做,一些小公司刚刚起步的时候会采用云服务,因为开始数据量不大. 但随着数据量的增大才会考虑 ...
- Hadoop分布式集群搭建hadoop2.6+Ubuntu16.04
前段时间搭建Hadoop分布式集群,踩了不少坑,网上很多资料都写得不够详细,对于新手来说搭建起来会遇到很多问题.以下是自己根据搭建Hadoop分布式集群的经验希望给新手一些帮助.当然,建议先把HDFS ...
- 大数据系列之Hadoop分布式集群部署
本节目的:搭建Hadoop分布式集群环境 环境准备 LZ用OS X系统 ,安装两台Linux虚拟机,Linux系统用的是CentOS6.5:Master Ip:10.211.55.3 ,Slave ...
随机推荐
- bzoj 4819: [Sdoi2017]新生舞会【二分+最小费用最大流】
如果\( b[i]==0 \)那么就是裸的费用流/KM,当然KM快一些但是为什么不写KM呢因为我不会打板子了 考虑二分答案,那么问题变成了判定问题. \[ ans=\frac {a_1+a_2+... ...
- [Swift]编程语言:文档修订历史
★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★➤微信公众号:山青咏芝(shanqingyongzhi)➤博客园地址:山青咏芝(https://www.cnblogs. ...
- Luogu P1113 杂务 【拓扑排序】 By cellur925
题目传送门 这题我们一看就知道是拓扑排序,然而在如何转化问题上花了大工夫,一个小时后最后还是无奈看了题解qwq. 显然我们可以对于每个任务,从他的前导任务到他连一条边,最后我们可以得到一个DAG.在这 ...
- Oracle10g安装过程中ORA-27125问题解决
Oracle10g在CentOS7的安装过程中报错如下错误信息: ORA-: unable to create shared memory segment 解决办法: [root@dbsrv3 dat ...
- shell脚本中定义路径变量出现的BUG
=========================================================================== if 语句中的定义路径变量 引发命令的PATH路 ...
- php中 mysql 插入特殊字符(手机端的emoji表情)出现异常
今天在用mysql存储从微信服务器拉来的数据,出现插入数据异常,报 Incorrect string value: '\xF0\x9F\x98\x97\xF0\x9F 的错误. 最终在网上查了一下,有 ...
- ASP.NET中调用事务处理的方法
/// <summary> /// 事务处理 /// </summary> /// <param name="strSql"></para ...
- Mac下部署与启动STF
一.stf在Mac下的部署1.安装Java及jdk可自己谷歌(如果不能自建云梯)2.安装nodejs包(我是直接在官网下载的LTS版本) • Node.js v8.12.0 to /usr/local ...
- 锐动SDK应用于行车记录仪
方案架构 手机端直播与录播功能忠实记录旅途中各种突发事件,还原事实真相,与家人和朋友分享沿途美景,一同感受美妙之旅. 强大的视频编辑功能,像编辑图片一样给视频添加各种滤镜,配音,配乐,标题文字等特效. ...
- 玩转CPU运行曲线
Leaf 是不是从来没有想过看看cpu运行曲线啊骚年?顶多也就仅仅是看看cpu利用率,吓自己一跳后感觉关闭几个不该打开的程序~ 然而问题来了,微软公司要让你绘制cpu运行曲线啊!!不仅是固定的直线,还 ...