版本:(centos7.6)

在开始搭建平台前我已经预装了MySQL

  ps:MySQL创建用户并授权:

 grant all privileges on *.* to 'root'@'localhost' identified by '' with grant option

好了,不多说,开始配置:

  我采用了master,slave1,slave2三个节点,我自己是利用kvm化的虚拟机。

对应IP地址: 

    master:172.16.90.145

    slave1:172.16.90.147

    slave2:172.16.90.148

  1、为了方便,加上自己在虚拟机上搭建,关闭Selinux,firewalld

  2、更改hosts,即配置主机映射,更改完成scp拷贝

 echo '172.16.90.145 master' >> /etc/hosts
echo '172.16.90.147 slave1' >> /etc/hosts
echo '172.16.90.148 slave2' >> /etc/hosts scp /etc/hosts slave1:/etc/hosts
scp /etc/hosts slave2:/etc/hosts

  3、配置ssh免密:(这里为了方便我设置的空密码,并做的三方免密)

ssh-keygen

ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

  4、安装jdk(即Java)

    导入jdk后解压,创建软连接,加入环境变量,source环境变量文件,最后查看版本号

tar zxvf  jdk-8u111-linux-x64.tar.gz

ln -s  /usr/local/jdk1..0_111 /usr/local/java

echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
echo 'JAVA_HOME=/usr/local/jdk1.8.0_111' >> /etc/profile source /etc/profile java -version

  5、安装Hadoop:

    解压

tar zxvf hadoop-2.9..tar.gz

    创建软连接

ln -s /usr/local/hadoop-2.9./ /usr/local/hadoop

    加入环境变量并使之生效

echo 'HADOOP_HOME=/usr/local/hadoop-2.9.0/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin,sbin' >> /etc/profile
source /etc/profile

    修改配置文件

      在master主机上建立namenode本地数据目录

mkdir  -p /data/nn

      在slave1,slave2中建立datanode本地数据目录

mkdir  -p /data/dn

      在master中编辑core-site.xml,在 <configuration> 节点中增加如下内容

<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value></value>
</property>

      在master中编辑 hdfs-site.xml,在 <configuration> 节点中增加如下内容

<property>
<name>dfs.nameslave.name.dir</name>
<value>file:///data/nn</value>
</property>
<property>
<name>dfs.dataslave.data.dir</name>
<value>file:///data/dn</value>
</property>
<property>
<name>dfs.replication</name>
<value></value>
</property>
<property>
<name>dfs.nameslave.secondary.http-address</name>
<value>master:</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</proper

      在master中,将mapred-site.xml.template 复制一份 ,变成mapred-site.xml,编辑mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>master:</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>http://master:9001</value>
</property>

      在master中,编辑yarn-site.xml,

<property>
<name>yarn.slavemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.slavemanager.auxservices.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.slavemanager.resource.memory-mb</name>
<value></value>
</property>

     将 master服务器上已经完成的 hadoop 配置 复制到各个节点对应位置上,输入以下命令进行 scp 传送:

scp -r    /usr/local/hadoop/*  slave1:  /usr/local/hadoop/
scp -r /usr/local/hadoop/* slave2: /usr/local/hadoop/

     在master中,初始化hadoop的namenode

     启动hadoop

hadoop-daemon.sh  namenode   -format
./start-all.sh

    最后使用jps命令查看节点启动的服务是否正确

    

    启动成功可以查看web界面了

Hadoop原生搭建的更多相关文章

  1. 【转】RHadoop实践系列之一:Hadoop环境搭建

    RHadoop实践系列之一:Hadoop环境搭建 RHadoop实践系列文章,包含了R语言与Hadoop结合进行海量数据分析.Hadoop主要用来存储海量数据,R语言完成MapReduce 算法,用来 ...

  2. hadoop环境搭建之关于NAT模式静态IP的设置 ---VMware12+CentOs7

    很久没有更新了,主要是没有时间,今天挤出时间验证了一下,果然还是有些问题的,不过已经解决了,就发上来吧. PS:小豆腐看仔细了哦~ 关于hadoop环境搭建,从单机模式,到伪分布式,再到完全分布式,我 ...

  3. 服务器Hadoop+Hive搭建

    出于安全稳定考虑很多业务都需要服务器服务器Hadoop+Hive搭建,但经常有人问我,怎么去选择自己的配置最好,今天天气不错,我们一起来聊一下这个话题. Hadoop+Hive环境搭建 1虚拟机和系统 ...

  4. 通过hadoop + hive搭建离线式的分析系统之快速搭建一览

    最近有个需求,需要整合所有店铺的数据做一个离线式分析系统,曾经都是按照店铺分库分表来给各自商家通过highchart多维度展示自家的店铺经营 数据,我们知道这是一个以店铺为维度的切分数据,非常适合目前 ...

  5. hadoop分布式搭建

    1.新建三台机器,分别为: hadoop分布式搭建至少需要三台机器: master extension1 extension2 本文利用在VMware Workstation下安装Linux cent ...

  6. eclipse工具下hadoop环境搭建

    eclipse工具下hadoop环境搭建:    window10操作系统中搭建eclipse64开发系统,配置hadoop的eclipse插件,让eclipse可以查看Hdfs中的文件内容.     ...

  7. 大数据学习之Hadoop环境搭建

    一.Hadoop的优势 1)高可靠性:因为Hadoop假设计算元素和存储会出现故障,因为它维护多个工作数据副本,在出现故障时可以对失败的节点重新分布处理. 2)高扩展性:在集群间分配任务数据,可方便的 ...

  8. Hadoop环境搭建、启动和管理界面查看

    一.hadoop环境搭建: 1. hadoop 6个核心配置文件的作用:core-site.xml:核心配置文件,主要定义了我们文件访问的格式 hdfs://hadoop-env.sh:主要配置我们的 ...

  9. Ubuntu中Hadoop环境搭建

    Ubuntu中Hadoop环境搭建 JDK安装 方法一:通过命令行直接安装(不建议) 有两种java可以安装oracle-java8-installer以及openjdk (1)安装oracle-ja ...

随机推荐

  1. Spring 动态代理 之 but was actually of type 'com.sun.proxy.$Proxy14 Exception

    今天在写Spring的引介代理的时候,报了一个错: Exception in thread "main" org.springframework.beans.factory.Bea ...

  2. [知识图谱]利用py2neo从Neo4j数据库获取数据

    # -*- coding: utf-8 -*- from py2neo import Graph import json import re class Neo4jToJson(object): &q ...

  3. 爬虫之selenium爬取京东商品信息

    import json import time from selenium import webdriver """ 发送请求 1.1生成driver对象 2.1窗口最大 ...

  4. PHP判断是否为手机端的方法

    PHP判断是否为手机端的方法 private function ismobile() { // 如果有HTTP_X_WAP_PROFILE则一定是移动设备 if (isset($_SERVER['HT ...

  5. SqlServer2005 查询 第三讲 between

    在数据库的查询中最重要的是要知道命令的顺序,因为在sql命令中有许多的参数,例如distinct,top,in,order by,group by.......如果你不能理解什么时候该执行什么的话,很 ...

  6. pandas的使用(3)

    pandas的使用(3)

  7. nuxt遇到的问题(一)window 或 document is not defined

    因为用了VUE做的官网,既然是官网了避免不了SEO的问题了(该死当初就不应该选择用vue) 很自然就是选择了使用nuxt.js来做ssr预渲染了. 因为网站不是响应式的,PC / 移动端要进行对应跳转 ...

  8. Python数据挖掘入门与实战PDF电子版加源码

    Python数据分析挖掘实战讲解和分析PDF加源码 链接: https://pan.baidu.com/s/1SkZR2lGFnwZiQNav-qrC4w 提取码: n3ud 好的资源就要共享,我会一 ...

  9. QQ是怎样创造出来的?——解密好友系统的设计

    本篇介绍笔者接触的第一个后台系统,从自身见闻出发,因此涉及的内容相对比较基础,后台大牛请自觉略过. 什么是好友系统? 简单的说,好友系统是维护用户好友关系的系统.我们最熟悉的好友系统案例当属QQ,实际 ...

  10. nyoj 46-最少乘法次数 (递推)

    46-最少乘法次数 内存限制:64MB 时间限制:1000ms Special Judge: No accepted:5 submit:18 题目描述: 给你一个非零整数,让你求这个数的n次方,每次相 ...