1. 安装JDK

  JDK安装包复制到/opt文件夹

  cd /opt

  rpm -ivh jdk-8u121-linux-x64.rpm

  vim /etc/profile

  增加 JAVA_HOME=/usr/java/default

  PATH=$JAVA_HOME/bin:$PATH

  source /etc/profile

  验证 echo $JAVA_HOME

  java -version

2. 配置SSH(免密码登录),Hadoop集群间登录使用。

  a> 在客户端进行如下操作:

    ssh-keygen -t rsa  生成密钥

    cat id_rsa.pub >> authorized_keys  客户端注册公钥

    cat id_rsa.pub | ssh root@bigdata.mysql "cat - >> ~/.ssh/authorized_keys"  注册公钥到服务器

  b> 在服务器段进行:  

    chmod 700 -R .ssh

    chmod 600 .ssh/authorized_keys

  或者:在客户端直接 ssh-copy-id ~/.ssh/id_rsa.pub root@bigdata.mysql

  c> 测试

    在客户端:ssh bigdata.mysql

3. Hadoop集群搭建-Master

  tar zxf hadoop-2.7.3.tar.gz

  vim /etc/profile

  增加 HADOOP_HOME=/opt/hadoop-2.7.3

  PATH增加$HADOOP_HOME/bin:段

  source /etc/profile

  检查 echo $HADOOP_HOME

  cd /opt/hadoop-2.7.3/etc/hadoop/

  配置:core-site.xml; hdfs-site.xml; yarn-site.xml; mapred-site.xml; slaves

  core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://bigdata.hadoop.master:9000</value>
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-2.7.3/current/tmp</value>
</property> <property>
<name>fs.trash.interval</name>
<value>4320</value>
</property>

  mkdir -p /opt/hadoop-2.7.3/current/tmp

  hdfs-site.xml

<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-2.7.3/current/data</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-2.7.3/current/name</value>
</property> <property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-2.7.3/current/data</value>
</property> <property>
<name>dfs.replication</name>
<value>3</value>
</property> <property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property> <property>
<name>dfs.permission.superusergroup</name>
<value>staff</value>
</property> <property>
<name>dfs.permission.enabled</name>
<value>false</value>
</property>

  mkdir -p /opt/hadoop-2.7.3/current/name

  mkdir -p /opt/hadoop-2.7.3/current/data

  yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata.hadoop.master</value>
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property> <property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property> <property>
<name>yarn.resourcemanager.address</name>
<value>bigdata.hadoop.master:18040</value>
</property> <property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>bigdata.haddop.master:18030</value>
</property> <property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>bigdata.hadoop.master:18025</value>
</property> <property>
<name>yarn.resource.manager.admin.address</name>
<value>bigdata.hadoop.master:18141</value>
</property> <property>
<name>yarn.resourcemanager.webapp.address</name>
<value>bigdata.hadoop.master:18088</value>
</property> <property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property> <property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>86400</value>
</property> <property>
<name>yarn.log-aggregation.retain-check-interval-seconds</name>
<value>86400</value>
</property> <property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/tmp/logs</value>
</property> <property>
<name>yarn.nodemanager.remote-app-log-dir-suffix</name>
<value>logs</value>
</property>

  mapred-site.xml

  cp mapred-site.xml.template mapred-site.xml

  vim mapred-site.xml

 <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> <property>
<name>mapreduce.jobtracker.http.address</name>
<value>bigdata.hadoop.master:50030</value>
</property> <property>
<name>mapreduce.jobhistory.address</name>
<value>bigdata.hadoop.master:10020</value>
</property> <property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bigdata.hadoop.master:19888</value>
</property> <property>
<name>mapreduce.jobhistory.done-dir</name>
<value>/jobhistory/done</value>
</property> <property>
<name>mapreduce.intermediate-done-dir</name>
<value>/jobhistory/done_intermediate</value>
</propery> <property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>

  slaves

  bigdata.hadoop.master

  bigdata.hadoop.slave1

  bigdata.hadoop.slave2

  bigdata.hadoop.slave3

  vim /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

  export JAVA_HOME=/usr/java/default

4.  创建Slaves虚拟机

   bigdata.hadoop.slave1

  bigdata.hadoop.slave2

  bigdata.hadoop.slave3

5. SSH免密码登录

  在bigdata.hadoop.master上执行:

  ssh-keygen -t rsa  --生成密钥公钥,一路回车

  ssh-copy-id -i ~/.ssh/id_rsa.pub root@bigdata.hadoop.slave1

  ssh-copy-id -i ~/.ssh/id_rsa.pub root@bigdata.hadoop.slave2

  ssh-copy-id -i ~/.ssh/id_rsa.pub root@bigdata.hadoop.slave2

  cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

  测试免密码登录

  ssh bigdata.hadoop.slave1, ssh bigdata.hadoop.slave2, ssh bigdata.hadoop.slave3, ssh bigdata.hadoop.master

6. 关闭防火墙和SELIXNUX

  service iptables stop  --临时关闭防火墙

  chkconfig iptables off  --永久关闭

  chkconfig --list|grep iptables

  vi /etc/sysconfig/selinux

  SELINUX=disabled

  setenforce 0

  getenforce

7. Copy文件到虚拟机

  安装scp命令:yum install openssh-clients

  scp -r /opt/hadoop-2.7.3 root@bigdata.hadoop.slave1:/opt/

  配置Slaves的etc/profile

8. 格式化Hadoop

  在Master上执行: hdfs namenode -format

9. 启动Hadoop

  在Master上执行:/opt/hadoop-2.7.3/sbi/start-all.sh

10. 查看Hadoop状态

  在Master执行:JPS

    NodeManager;  NameNode;  SecondaryNameNode;  ResourceManager;  DataNode

  在Slaves上执行:JPS

    NodeManager;  DataNode;

  在外部访问:http://bigdata.hadoop.master:50070 和 http://bigdata.hadoop.master:18088

  打开ServiceHistoryServer

  /opt/hadoop-2.7.3/sbin/mr-jobhistory-daemon.sh start historyserver

  在外部访问:http://bigdata.hadoop.master:19888

11. 执行Map-Reduce任务

  词频统计

  1. 将1个txt文本上传到hdfs

    hdfs dfs -put testfile.txt /task1/input/testfile

  2. 执行Map-Reduce任务

    hadoop jar /opt/hadoop-2.7.3/share/hadoop/mareduce/hadoop-mapreduce-examples-2.7.3 jar wordcound /task1/input/testfile /task1/output

  3. 查看输出结果

    hdfs dfs -cat /task1/output/part-r-00000

  

  

BG.Hadoop.Master的更多相关文章

  1. Hadoop,master和slave简单的分布式搭建

    搭建过程中配置免密钥登录为了以后方便使用 [提醒]安装Hadoop中会遇到新建文件夹,配置路径等问题,这个不能生搬硬套,要使用自己配置的路径,灵活使用. Hadoop的部署配置文件在http://bl ...

  2. Hadoop分布式系统的安装部署

    1.关于虚拟机的复制 新建一台虚拟机,系统为CentOS7,再克隆两台,组成一个三台机器的小集群.正常情况下一般需要五台机器(一个Name节点,一个SecondName节点,三个Data节点.) 此外 ...

  3. 安装hadoop+zookeeper ha

    安装hadoop+zookeeper ha 前期工作配置好网络和主机名和关闭防火墙 chkconfig iptables off //关闭防火墙 1.安装好java并配置好相关变量 (/etc/pro ...

  4. Hadoop学习笔记—6.Hadoop Eclipse插件的使用

    开篇:Hadoop是一个强大的并行软件开发框架,它可以让任务在分布式集群上并行处理,从而提高执行效率.但是,它也有一些缺点,如编码.调试Hadoop程序的难度较大,这样的缺点直接导致开发人员入门门槛高 ...

  5. HADOOP安装指南-Ubuntu15.10和hadoop2.7.2

    Ubuntu15.10中安装hadoop2.7.2安装手册 太初 目录 1.      Hadoop单点模式... 2 1.1        安装步骤... 2 0.环境和版本... 2 1.在ubu ...

  6. 大数据系列(4)——Hadoop集群VSFTP和SecureCRT安装配置

    前言 经过前三篇文章的介绍,已经通过VMware安装了Hadoop的集群环境,当然,我相信安装的过程肯定遇到或多或少的问题,这些都需要自己解决,解决的过程就是学习的过程,本篇的来介绍几个Hadoop环 ...

  7. hadoop伪分布式平台搭建(centos 6.3)

    最近要写一个数据量较大的程序,所以想搭建一个hbase平台试试.搭建hbase伪分布式平台,需要先搭建hadoop平台.本文主要介绍伪分布式平台搭建过程. 目录: 一.前言 二.环境搭建 三.命令测试 ...

  8. 搭建ubuntu14.04的hadoop集群【docker容器充当服务器】

    首先弄出来装有hadoop.java.ssh.vim的镜像起名badboyf/hadoop.做镜像有两种方法,一种是用Dockerfile来生成一个镜像,一种是基于ubuntu14.04的基础镜像生成 ...

  9. Hadoop安装及配置

    一.系统及软件环境 1.操作系统 CentOS release 6.5 (Final) 内核版本:2.6.32-431.el6.x86_64 master.fansik.com:192.168.83. ...

随机推荐

  1. Unity/C#基础复习(3) 之 String与StringBuilder的关系

    参考资料 [1] @毛星云[<Effective C#>提炼总结] https://zhuanlan.zhihu.com/p/24553860 [2] <C# 捷径教程> [3 ...

  2. sql添加字段说明

    1,sql字段说明 添加 exec sp_addextendedproperty  N'MS_Description', N'主键', N'user', N'dbo', N'table', N'Fre ...

  3. 敏捷项目-依赖项拖动change

    1. 2.类方法插入数据.

  4. Flask基础-基础实例

    1. 10行代码的迷你程序 flask项目 from flask import Flask app = Flask(__name__) @app.route("/index") d ...

  5. D - 统计同成绩学生人数

    点击打开链接 读入N名学生的成绩,将获得某一给定分数的学生人数输出.  Input 测试输入包含若干测试用例,每个测试用例的格式为  第1行:N  第2行:N名学生的成绩,相邻两数字用一个空格间隔.  ...

  6. jvm高级特性(6)(线程的种类,调度,状态,安全程度,实现安全的方法,同步种类,锁优化,锁种类)

    JVM高级特性与实践(十三):线程实现 与 Java线程调度 JVM高级特性与实践(十四):线程安全 与 锁优化 一. 线程的实现 线程其实是比进程更轻量级的调度执行单位. 线程的引入,可以把一个检查 ...

  7. class字节码结构(二)(访问标志、类索引、父类索引、接口索引集合)

    <Java虚拟机原理图解>1.3.class文件中的访问标志.类索引.父类索引.接口索引集合 字节码总体结构: 访问标志(access_flags)能够表示什么? 访问标志(access_ ...

  8. 微信小程序开发笔记2,底部导航栏tablebar

    底部导航(要在app.js里面配置,也就是把导航的代码写到app.js) 官方文档说最少2个导航最多5个 , "tabBar": { "color": &quo ...

  9. Java之集合(十)EnumMap

    转载请注明源出处:http://www.cnblogs.com/lighten/p/7371744.html 1.前言 本章介绍Map体系中的EnumMap,该类是专门针对枚举类设计的一个集合类.集合 ...

  10. 【Java并发编程】:Runnable和Thread实现多线程的区别

    Java中实现多线程有两种方法:继承Thread类.实现Runnable接口,在程序开发中只要是多线程,肯定永远以实现Runnable接口为主,因为实现Runnable接口相比继承Thread类有如下 ...