1.我搭建的是三台centos7的环境 首先准备三个centos7(文中出现的所有的链接都是我自己的)

  centos7下载地址(也可以上官网自行下载):https://pan.baidu.com/s/1Y_EVLDuLwpKv2hU3HSiPDA 提取码:05mi

2.安装完成后需要修改ip,都改为静态的ip

  vi /etc/sysconfig/network-scripts/ifcfg-ens33(有可能不是ifcfg-ens33,自行判断),以下是我的配置,你们可以参考下

需要修改的配置 : BOOTPROTO="dhcp"  修改为 BOOTPROTO="static"

   需要添加的属性:

  

ONBOOT=yes #开机自动启用网络连接
IPADDR=192.168.111.10 # 静态ip地址
NETMASK=255.255.255.0 #设置子网掩码
GATEWAY=192.168.111.2 #设置网关 (网关查看步骤,vmware workstation==》编辑==》虚拟网络编辑器==》点VMnet8模式==》NAT设置==》网关IP)
DNS1=119.29.29.29 #设置主DNS
DNS2=210.2.4.8 #设置备DNS

三台虚拟机都需要配置 我的三台机器是

 master:192.168.111.10  master

slave1:192.168.111.11   slave1

slave2:192.168.111.12   slave2

设置完毕重启网卡systemctl restart network

 curl www.baidu.com  返回正常即可

3.修改hostname

  https://www.cnblogs.com/zhangjiahao/p/10990093.html

4.安装java环境(jdk)

  https://www.cnblogs.com/zhangjiahao/p/8551362.html

5.配置多个虚拟机互信(免密登录)

  https://www.cnblogs.com/zhangjiahao/p/10989245.html

6.安装配置hadoop

(1)下载

  链接:https://pan.baidu.com/s/1m0IXN1up0nk2rxDUMgEC-g
       提取码:mhxa

(2)上传解压

  rz  选择你的文件进行上传

    tar -zxvf 刚才上传的包进行解压

(3)配置

打开hadoop下的etc/hadoop

  修改slaves文件  将里面的localhost修改为slave1,slave2 (修改成你的子节点名称即可)

  找到hadoop-env.sh和yarn-env.sh 在里面添加JAVA_HOME=/usr/local/src/java1.8.0_172(你的jdk安装路径)

  编辑core-site.xml:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
          <description>HDFS的URI</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/src/hadoop-2.6.1/tmp</value>
          <description>节点上本地的hadoop临时文件夹</description>
</property>
</configuration>

编辑hdfs-site.xml:

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9091</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/src/hadoop-2.6.1/dfs/name</value>
     <description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/src/hadoop-2.6.1/dfs/data</value>
     <description>datanode上数据块的物理存储位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
     <description>副本个数,默认是3,应小于datanode机器数量</description>
</property>
</configuration>

输入 cp mapred-site.xml.template mapred-site.xml 将mapred-site.xml.template文件复制到当前目录,并重命名为mapred-site.xml

  编辑mapred-site.xml:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
     <description>指定mapreduce使用yarn框架</description>
</property>
</configuration>

  编辑yarn-site.xml:

<!--hadoop2.6.1配置-->
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration> <!--hadoop2.7.3配置-->
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
     <description>指定resourcemanager所在的hostname</description>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
     <description>
NodeManager上运行的附属服务。需配置成mapreduce_shuffle,才可运行MapReduce程序
</description>
</property>
</configuration>

7.将hadoop配置分发到各个节点

   scp -r hadoop2.6.1 root@slave1:/usr/local/src

  scp -r hadoop2.6.1 root@slave2:/usr/local/src

8.新增hadoop环境变量,将配置分发到各个节点

  export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.1/(你的hadoop路径)
  export PATH=${HADOOP_HOME}/bin:$PATH

   scp -r /etc/profile root@slave1:/etc

  scp -r /etc/profile root@slave2:/etc

9.配置生效

   source /etc/profile

10.在主节点初始化集群

cd/hadoop2.6.1/

./bin/hadoop namenode -format

11.启动集群(./start-all.sh也行)

./start-dfs.sh    ./start-yarn.sh

12.输入jps命令查看集群是是否全部启动  

13.验证是否成功

  创建一个txt touch   1.txt

  给1.txt输入字  echo 123456 > 1.txt

  查看内容  cat 1.txt

  上传1.txt: hadoop fs -put 1.txt /

  hadoop fs -ls input  / 如果显示如下就说明上传成功:
        Found 1 items   *****你的文件信息

  

centos7安装hadoop2.6.1,详细教程的更多相关文章

  1. centos7安装zabbix3.0超详细步骤解析

    centos7安装zabbix3.0超详细步骤解析 很详细,感谢作者 以下是我操作的history 622 java -version 623 javac -version 624 grep SELI ...

  2. VMware12版虚拟机怎么安装win7系统(详细教程

    转自:http://jingyan.baidu.com/article/cd4c29791fcf1b756e6e6034.html VMware12版虚拟机怎么安装win7系统(详细教程) 现 在很多 ...

  3. CentOS7安装Hadoop2.7完整流程

    总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoo ...

  4. 【运维技术】VM虚拟机上使用centos7安装docker启动gogs服务教程【含B站视频教程】

    VM虚拟机上使用centos7安装docker启动gogs服务视频教程 BiliBili视频教程链接飞机票,点我 使用VMware Workstation安装Centos7 MinMal系统 第一步: ...

  5. CentOS7安装Hadoop2.7完整步骤

    总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoo ...

  6. 最新VMware虚拟机安装Linux系统-CentOS(详细教程)

    一.前言 最近有网友反应初学Linx不会安装,找了许多教程不是太全面,总会遇到一些要不是启动不了,要不是连不上网,各种问题,为了让大家能够顺利的安装,小乐写了一个非常详细的教程,让大家少入坑. 二.背 ...

  7. Windows 10平台安装PostgreSQL 14.2详细教程

    Windows 10平台安装postgreSQL 14.2.1,安装步骤很简单,基本上是点击下一步(next). 使用SQL Shell(psql)进行交互:使用pgAdmin工具进行管理. tips ...

  8. CentOS7安装Hadoop2.7流程

     准备3个虚拟机节点 其实这一步骤非常简单,如果你已经完成了第2步,此时你已经准备好了第一个虚拟节点,那第二个和第三个虚拟机节点如何准备?可能你已经想明白了,你可以按第2步的方法,再分别安装两遍lin ...

  9. centos7下安装python3.7.2详细教程

    1)下载安装python3.7.2 1:yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel r ...

随机推荐

  1. Android 自定义debug.keystore

    场景分析: 有时候,我们要使用第三方的服务,需要提供自己的包名以及keystore的sha1值,比如微信支付,百度地图,都需要包名和keystore的sha1值作为唯一标识.这时候我们测试的时候,如果 ...

  2. TCP/IP网络编程之优雅地断开套接字

    基于TCP套接字的半关闭 Linux的close函数和Windows的closesocket函数意味着完全断开连接,完全断开连接不仅指无法传输数据,而且也不能接收数据.因此,在某些情况下,通信一方调用 ...

  3. Python协程详解(一)

    yield有两个意思,一个是生产,一个是退让,对于Python生成器的yield来说,这两个含义都成立.yield这个关键字,既可以在生成器中产生一个值,传输给调用方,同时也可以从调用方那获取一个值, ...

  4. Flask With

  5. Hyper-V:利用差异磁盘安装多个Win2008

    签于成本的原因,在学习了解一项新的技术或是产品时,在没有部署到生产环境之中前,大家都会选择在虚拟机来搭建一套实验环境.但如何快速搭建呢?如何节省磁盘空间呢? 说到此都不得不说下Hyper-V的差异磁盘 ...

  6. 第一次接触php

    一.什么是PHP PHP的中文意思:超文本预处理器,英文名字: HyperText Preprocessor. PHP通常有两层含义: (1)PHP是一个编程语言. (2)PHP是处理PHP编程语言的 ...

  7. Monkey官方帮助翻译&介绍

    都说想学好就看原文,英文不好为了翻译这个可费了大劲了.表格从GOOGLE官网复制到WORD里编辑,结果贴上来格式全乱了,只得不弄表格了.表格中官网的事件不是最新的,比最新的少2个,具体我会另发一篇文章 ...

  8. Python + Selenium 自动化环境搭建过程

    1.  所需组建 1.1  Selenium for python 1.2  Python 1.3  Notepad++ 作为刚初学者,这里不建议使用Python IDE工具,选择一个功能强大的记事本 ...

  9. Leetcode 525.连续数组

    连续数组 给定一个二进制数组, 找到含有相同数量的 0 和 1 的最长连续子数组. 示例 1: 输入: [0,1] 输出: 2 说明: [0, 1] 是具有相同数量0和1的最长连续子数组. 示例 2: ...

  10. Codeforces Round #418 (Div. 2) A+B+C!

    终判才知道自己失了智.本场据说是chinese专场,可是请允许我吐槽一下题意! A. An abandoned sentiment from past shabi贪心手残for循环边界写错了竟然还过了 ...