1 安装环境和必要软件

3 台 ubuntu 16.04

vim

2 创建hadoop用户

sudo useradd -m hadoop -s /bin/bash

sudo passwd hadoop

sudo adduser hadoop sudo

3 更新软件源

公司环境限制系统的的源无法下载java sdk所以这里更新到阿里源,3台服务器都需要

cd /etc/apt

cp sources.list sources.list.bak

vim sources.list

#al Xerus_ - Release amd64 (20160420.1)]/ xenial main restricted deb-src http://archive.ubuntu.com/ubuntu xenial main restricted #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted deb-src http://mirrors.aliyun.com/ubuntu/ xenial main restricted multiverse universe #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted deb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted multiverse universe #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial universe deb http://mirrors.aliyun.com/ubuntu/ xenial-updates universe deb http://mirrors.aliyun.com/ubuntu/ xenial multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-updates multiverse deb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse deb-src http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse #Added by software-properties deb http://archive.canonical.com/ubuntu xenial partner deb-src http://archive.canonical.com/ubuntu xenial partner deb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted deb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted multiverse universe #Added by software-properties deb http://mirrors.aliyun.com/ubuntu/ xenial-security universe deb http://mirrors.aliyun.com/ubuntu/ xenial-security multiverse

sudo apt-get update

4 更改计算机名称和IP映射

sudo vim /etc/hostname

sudo vim /etc/hosts

三台服务器都要改成只保留一个内部地址映射,以及对另外两条服务器的ip映射,完成后重启生效

 
 

5 安装ssh

sudo apt-get install openssh-server

这里直接配置对三台服务器的公用key,如果没有如果没有 ~/.ssh 目录,先执行一次ssh localhost

cd ~/.ssh #

rm ./id_rsa*

ssh-keygen -t rsa

Master服务器上

cat ./id_rsa.pub >> ./authorized_keys

其他两台Slave服务器,后续还要用scp复制文件到Slave

scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/

在设置为公用key

cd ~/.ssh #

cat ./id_rsa.pub >> ./authorized_keys

安装和配置JAVA JDK

直接用如下命令安装,如安装提示无法下载,要更新源,安装的版本都是1.8

sudo apt-get install default-jre default-jdk

配置java 到环境变量中

vim ~/.bashrc

export JAVA_HOME=/usr/lib/jvm/default-java   #在打开的bashrc开头添加

source ~/.bashrc

6 安装 Hadoop

因为java-sdk是1.8 目前用2.9到3.0版本没发现问题,现在Master服务器上安装

下载网址:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.0

如果不行请使用如下地址

https://mirrors.cnnic.cn/apache/hadoop/common/

http://mirror.bit.edu.cn/apache/hadoop/common/

下载hadoop

sudo wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz

我的是下载在HOME下,复制到/usr/local/中

cp hadoop-2.9.0.tar.gz /usr/local

在/usr/local/ 解压

sudo tar -zxf hadoop-2.9.0.tar.gz

重命名文件夹并更改权限

sudo mv ./hadoop-2.9.0/ ./hadoop

sudo chown -R hadoop ./hadoop

在解压的hadoop文件中切换到配置文件目录,配置code-site.xml /hdfs-site.xml/ mapred-site.xml /yarn-site.xml

后面有时间深入研究一下配置文档节点的含义。

但是注意的是3.0版本以上的对应配置的web 端口有变化,后续补充一下。

cd ./etc/hadoop/

code-site.xml

 
 

hdfs-site.xml

 
 

mapred-site.xml 默认文件名为 mapred-site.xml.template 需修改名称

 
 

yarn-site.xml

 
 

复制到两个Slave服务器上:

scp -r ./hadoop Slave2:/home/

正常配置了ssh公钥登录是不需要输入账号的,如提示没权限用如下复制,添加账号进行,提示yes/no 一定要完整的输入

scp -r ./hadoop hadoop@Slave1:/home/

登录到Slave上,将/home中的hadoop复制到/usr/local中,并添加权限

sudo cp hadoop/ /usr/local

sudo chown -R hadoop /usr/local/hadoop

7 添加Hadoop到path变量中

 
 

8 启动服务

Master服务器上格式化NameNode和启动hadoop

hdfs namenode -format   #如果配置好执行一次就好,多次自行会导致后续在启动时Slave datanode无法启动

start-dfs.sh

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

执行jps查看运行的进程:

 
 

在Master服务器上执行 hdfs dfsadmin -report,查看data节点的信息

 
 

打开网页端 http://10.19.52.80:50070 的结果:

 
 

后面再记录一下 用Python开发 HDFS 的上传下载

作者:SMILE_NO_09
链接:https://www.jianshu.com/p/11ad16ea03c2
來源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

Hadoop原生态版安装的更多相关文章

  1. Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS

    摘自:http://www.powerxing.com/install-hadoop-cluster/ 本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否 ...

  2. Hadoop完全分布式安装教程

    一.软件版本 Hadoop版本号:hadoop-2.6.0.tar: VMWare版本号:VMware-workstation-full-11.0.0-2305329 Ubuntu版本号:ubuntu ...

  3. Hadoop完全分布式安装

    一.软件版本 Hadoop版本号:hadoop-2.6.0.tar: VMWare版本号:VMware-workstation-full-11.0.0-2305329 Ubuntu版本号:ubuntu ...

  4. Hadoop社区版搭建

    1.环境准备 1.1 硬件配置 设备名 参数 数量 6台 系统 centos6.5 内存 64G 硬盘 32T/台 CPU 16核/台 1.2 软件版本 Hadoop-2.x 下载地址 JDK1.7  ...

  5. 【大数据系列】hadoop单节点安装官方文档翻译

    Hadoop: Setting up a Single Node Cluster. HADOOP:建立单节点集群 Purpose Prerequisites Supported Platforms R ...

  6. hadoop集群安装配置详细教程

    在上一篇的分享文章中我是给大家分享了运行部署hadoop的一些安装准备工作,这篇接上一篇继续为大家分享一些个人的学习经验总结.我学习用的是大快发行版DKHadoop,所以所有的经验分享都是以DKHad ...

  7. spark,hadoop集群安装注意

    安装步骤严格参看厦门大学数据实验室教程 Spark 2.0分布式集群环境搭建(Python版) 安装Hadoop并搭建好Hadoop集群环境 遇到的问题 1.ubuntu 安装后升级.python是3 ...

  8. 2 Hadoop集群安装部署准备

    2 Hadoop集群安装部署准备 集群安装前需要考虑的几点硬件选型--CPU.内存.磁盘.网卡等--什么配置?需要多少? 网络规划--1 GB? 10 GB?--网络拓扑? 操作系统选型及基础环境-- ...

  9. phpstorm10.0.3破解版安装教程及汉化方法

    phpstorm是一个轻量级且便捷的PHP IDE,其旨在提供用户效率,可深刻理解用户的编码,提供智能代码补全,快速导航以及即时错误检查.不但是php开发的利器,前端开发也是毫不逊色的.下面记录php ...

随机推荐

  1. linux alias 别名设置【转载】

    功能说明:设置指令的别名. 语 法:alias[别名]=[指令名称] 形如: alias cp=“cp -i” : 补充说明:用户可利用alias,自定指令的别名.若仅输入alias,则可列出目前所有 ...

  2. Linux内核分析作业 NO.8 完结撒花~~~

    进程的切换和系统的一般执行过程 于佳心  原创作品转载请注明出处  <Linux内核分析>MOOC课程http://mooc.study.163.com/course/USTC-10000 ...

  3. MyBatis中if,where,set标签

    <if>标签 <select id="findActiveBlogWithTitleLike" resultType="Blog"> S ...

  4. HDU 5702 Solving Order

    http://acm.hdu.edu.cn/showproblem.php?pid=5702 Problem Description Welcome to HDU to take part in th ...

  5. 数据驱动测试之—— Excel+TestNG

    对于利用Webdriver做自动化的童鞋,对于如何将元素或者输入数据如何和编码分离都应该不会太陌生,本着一边学习一边分享的心态,大概总结了一下关于利用CSV.XML以及Excel来存放数据,然后在结合 ...

  6. Docker(十五)-Docker的数据管理(volume/bind mount/tmpfs)

    Docker提供了三种不同的方式用于将宿主的数据挂载到容器中:volumes,bind mounts,tmpfs volumes.当你不知道该选择哪种方式时,记住,volumes总是正确的选择. vo ...

  7. [转帖]老狼:你知道哪些关于 Windows 10 的骚操作?

    作者:老狼链接:https://www.zhihu.com/question/265781599/answer/579939418来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注 ...

  8. 关于封装了gevent的request grequest库的使用与讨论

    最近迷上了gevent所以研究很多gevent相关的东西. 但是我现在不想写相关gevent和greenlet的东西.因为这一块内容实在太多太大太杂,我自己也还没有完全弄明白,所以等我完全搞清楚测试也 ...

  9. Linux基础学习(8)--权限管理

    第八章——权限管理 一.ACL权限 1.ACL权限简介与开启: (1)ACL权限简介: (2)查看分区ACL权限是否开启: (3)临时开启分区ACL权限: (4)永久开启分区ACL权限: 2.查看与设 ...

  10. python学习笔记四——循环及冒泡排序

    3.3.3 break 和 continue语句 break:跳出整个循环 continue:跳出当前循环继续后面的循环 例: x=int(input("please input the ' ...