HDFS集群安装:

1.准备工作
虚拟机(电脑8G内存 磁盘500GB)
3台 linux系统(1台namenode 2台datanode) (1)关闭防火墙
firewall-cmd --state 查看防火墙状态
systemctl stop firewalld.service 关闭防火墙
systemctl disable firewalld.service 禁止开机启动 (2)远程连接(CRT) (3)永久设置主机名
vi /etc/hostname
注意:要reboot重启生效 (4)配置映射文件
vi /etc/hosts #127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
#::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.146.132 hd09-1
192.168.146.133 hd09-2
192.168.146.134 hd09-3 2.安装jdk
(1)上传tar包
SecureCRT 中 按alt + p进入sftp模式,拖拽上传文件 (2)解压tar包
tar -zxvf jdk-8u144-linux-x64.tar.gz (3)配置环境变量
vi /etc/profile export JAVA_HOME=/root/hd/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin source /etc/profile 加载环境变量 (4)发送到其它机器
scp -r hd/jdk1.8.0_144/ hd09-2:hd/jdk1.8.0_144
scp -r hd/jdk1.8.0_144/ hd09-3:hd/jdk1.8.0_144
scp -r /etc/profile hd09-2:/etc
scp -r /etc/profile hd09-3:/etc 注意:加载环境变量 source /etc/profile 3.配置ssh免密登录
ssh-keygen 生成密钥对
ssh-copy-id hd09-1
ssh-copy-id hd09-2
ssh-copy-id hd09-3 4.安装HDFS集群
(1)解压tar包
tar -zxvf hadoop-2.8.4.tar.gz (2)修改hadoop-env.sh
export JAVA_HOME=/root/hd/jdk1.8.0_144 (3)修改core-site.xml
<configuration>
//配置hdfs
<property>
<name>fs.defaultFS</name>
<value>hdfs://hd09-1:9000</value>
</property>
</configuration> (4)修改hdfs-site.xml
<configuration>
//配置元数据存储位置
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/hd/dfs/name</value>
</property>
//配置数据存储位置
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/hd/dfs/data</value>
</property>
</configuration> (5)配置hadoop环境变量
vi /etc/profile export JAVA_HOME=/root/hd/jdk1.8.0_144
export HADOOP_HOME=/root/hd/hadoop-2.8.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile 加载环境变量 (6)格式化namenode
hadoop namenode -format (7)分发hadoop到其他服务器
scp -r ~/hd/hadoop-2.8.4/ hd09-2:/root/hd/
scp -r ~/hd/hadoop-2.8.4/ hd09-3:/root/hd/ (8)分发hadoop环境变量
scp -r /etc/profile hd09-2:/etc
scp -r /etc/profile hd09-3:/etc 注意:加载环境变量 source /etc/profile (9)启动namenode
hadoop-daemon.sh start namenode (10)启动datanode
hadoop-daemon.sh start datanode (11)访问namenode提供的web端口:50070
hd09-1:50070 (12)访问hd09-1出错需要修改 windows电脑的 C:\Windows\System32\drivers\etc\hosts 文件
在下面加上
192.168.146.132 hd09-1
192.168.146.133 hd09-2
192.168.146.134 hd09-3
即可 5.自动批量的启动脚本
(1)修改配置文件slaves 加入
hd09-2
hd09-3 (2)执行启动命令
start-dfs.sh

HDFS分布式集群安装的更多相关文章

  1. HBase 1.2.6 完全分布式集群安装部署详细过程

    Apache HBase 是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,是NoSQL数据库,基于Google Bigtable思想的开源实现,可在廉价的PC Server上搭建大规模结构化存 ...

  2. day2-搭建hdfs分布式集群

    1.搭建hdfs分布式集群 4.1 hdfs集群组成结构: 4.2 安装hdfs集群的具体步骤: 一.首先需要准备N台linux服务器 学习阶段,用虚拟机即可! 先准备4台虚拟机:1个namenode ...

  3. (转)ZooKeeper伪分布式集群安装及使用

    转自:http://blog.fens.me/hadoop-zookeeper-intro/ 前言 ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品.在单机中,系统协作大都是进程级的 ...

  4. hadoop学习之hadoop完全分布式集群安装

    注:本文的主要目的是为了记录自己的学习过程,也方便与大家做交流.转载请注明来自: http://blog.csdn.net/ab198604/article/details/8250461 要想深入的 ...

  5. 一张图讲解最少机器搭建FastDFS高可用分布式集群安装说明

     很幸运参与零售云快消平台的公有云搭建及孵化项目.零售云快消平台源于零售云家电3C平台私有项目,是与公司业务强耦合的.为了适用于全场景全品类平台,集团要求项目平台化,我们抢先并承担了此任务.并由我来主 ...

  6. ZooKeeper伪分布式集群安装及使用

    ZooKeeper伪分布式集群安装及使用 让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户提供存储和计算的服务. 现在硬件越来越 ...

  7. Linux单机环境下HDFS伪分布式集群安装操作步骤v1.0

    公司平台的分布式文件系统基于Hadoop HDFS技术构建,为开发人员学习及后续项目中Hadoop HDFS相关操作提供技术参考特编写此文档.本文档描述了Linux单机环境下Hadoop HDFS伪分 ...

  8. Spark On YARN 分布式集群安装

    一.导读 最近开始学习大数据分析,说到大数据分析,就必须提到Hadoop与Spark.要研究大数据分析,就必须安装这两个软件,特此记录一下安装过程.Hadoop使用V2版本,Hadoop有单机.伪分布 ...

  9. Hadoop学习---CentOS中hadoop伪分布式集群安装

    注意:此次搭建是在ssh无密码配置.jdk环境已经配置好的情况下进行的 可以参考: Hadoop完全分布式安装教程 CentOS环境下搭建hadoop伪分布式集群 1.更改主机名 执行命令:vi  / ...

随机推荐

  1. 区别:Use MFC In A Shared DLL 和 Use MFC In A Static Library

    摘自:Programming Windows with MFC, 2nd Edition Choosing Use MFC In A Shared DLL minimizes your applica ...

  2. love2d教程32--碎图打包器texturepacker

    texturepacker是一个碎图打包器,可以把小图合并成一张大图,并对大图做优化.我用的是特别版(只好用xx版了, 不然导出的图片会被变成红色),网盘下载,文件会提示有毒,我也是在网上找的,其实是 ...

  3. love2d教程31--Tiled地图存档和动态修改

    Advanced-Tiled-Loader有点问题,我给作者发信,可惜作者没回. 好吧,毛主席教导我们“自己动手,丰衣足食”,只好自己修改了. 1.想把0.8里的函数改为0.9的 2.添加获取对象层里 ...

  4. Java反射机制在工厂模式中的应用

    在本篇文章中就不详细介绍工厂模式,主要介绍一下反射在工厂模式中的使用,让读者对反射机制带来的好处有更深的认识. 首先看一下简单工厂模式 简单工厂模式(simple factory)是类的创建模式,又叫 ...

  5. 删除Cookies

    网上一堆删除Cookies的JS代码 但是都删不了,找了好久终于在MSDN的论坛找到一个方法 function ClearCookie(name) { ****; var expDate = new ...

  6. Android不同版本下Notification创建方法

    项目环境 Project Build Target:Android 6.0 问题: 使用 new Notification(int icon, CharSequence tickerText, lon ...

  7. git chekout分支遇到问题:need merge

    解决步骤: 在master上, 1.git add . 2.git commit 3.新建分支,并且checkout到此分支,重新提交

  8. 【转】关于OnPaint的工作机制

    转载出处:http://blog.csdn.net/foreverhuylee/article/details/21889025 用了两年的VC++,其实对OnPaint的工作原理一直都是一知半解.这 ...

  9. 【RF库测试】Exit For Loop 相关

    1.Exit For Loop If:满足条件时,跳出循环,后面的循环不再执行 2.Continue For Loop If:满足条件时,跳出本次循环,继续执行后面的循环

  10. sys.argv 详细用法

    sys.argv 用于获取命令行参数,用法如下: [root@localhost ~]$ cat 1.py #!/usr/bin/env python #-*- coding:utf-8 -*- im ...