在opt目录创建install software test other四个目录

/opt/installed #安装包
/opt/software #软件包
/opt/other #其他
/opt/test #测试

1.上传hadoop

  yum install lrzsz //安装lrzsz用于上传

  cd install //进入Install文件夹

  输入rz

  找到本地下载好的hadoop压缩包 点击hadoop-2.7.7.tar.gz上传

  因hadoop使用java编写,所以需要jdk

  rz jdk-8u181-linux-x64.tar.gz

2.解压hadoop

  tar   -zxvf   jdk-8u181-linux-x64.tar.gz -C /opt/software

  tar   -zxvf   hadoop-2.7.7.tar.gz -C  /opt/software #把角度看和hadoop解压到指定的software文件夹中

  cd ../software

  mv jdk1.8.0_221 jdk1.8 //把jdk改名

3.配置环境

  vim /etc/profile

  在末尾加:

      JAVA_HOME=/opt/software/jdk1.8
      CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
      Path=$PATH:$JAVA_HOME/bin

  :wq退出

  source /etc/profile  #linux内核 重新加载某个文件  

4. 测试 是否配置成功

   java -version

  显示如下则成功

  

5.hadoop目录说明

   cd hadoop-2.7.7     #进入Hadoop安装目

  bin 普通命令目录
  etc #所有的配置文件
  include #C语言相关文件
  lib/native #C语言相关类库
  libexec #C语言相关类库2
  logs #日志文件
  sbin #管理命令目录
  share #jar包和源码

6.配置六个文件

  cd  etc/hadoop的目录

  1. vim hadoop-env.sh

    25行 JAVA_HOME=/opt/software/jdk1.8 #JDK的存放目录

    33行 export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop

  2.vim core-site.xml #我们在x-site中配置 实际上就是将系统原来的配置给覆盖了

    <configuration>

      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://主机名:9000</value>
      </property>

      <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/software/hadoop-2.7.7/tmp</value>
      </property>

    </configuration>

  3.vim hdfs-site.xml

    <configuration>

      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
    </configuration>

  4.cp mapred-site.xml.template  mapred-site.xml

    vim mapred-site.xml

    <configuration>

      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
    </configuration>

  5.vim yarm-site.xml

    <configuration>

      <!-- Site specific YARN configuration properties -->
      <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>主机名</value>
      </property>

      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>

    </configuration>

  6.vim slaves

    加入 主机名

  vim /etc/hosts

   加入  ip地址 主机名

7.配置一下环境变量

  vim /etc/profile

  JAVA_HOME=/opt/software/jdk1.8
  CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  HADOOP_HOME=/opt/software/hadoop-2.7.7
  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  source /etc/profile

8.配置一个免密

  ssh-keygen #生成公钥

  ssh-copy-id 主机名

9.格式化文件系统

   hadoop namenode -format

  如果看到 has been successfully formatted. 则成功

10.运行服务器

  start-all.sh  开启

  stop-all.sh  关闭

Hadoop的伪分布式安装和部署流程的更多相关文章

  1. Hadoop的伪分布式安装和部署的流程

    1.准备工作 下载一些用到的命令 yum install -y vim yum install -y lrzsz yum install net-tools 目录约定 /opt #工作目录 /opt/ ...

  2. Hadoop开发第3期---Hadoop的伪分布式安装

    一.准备工作 1. 远程连接工具的安装 PieTTY 是在PuTTY 基础上开发的,改进了Putty 的用户界面,提供了多语种支持.Putty 作为远程连接linux 的工具,支持SSH 和telne ...

  3. Hadoop之伪分布式安装

    一.Hadoop的安装模式有3种 ①单机模式:不能使用HDFS,只能使用MapReduce,所以单击模式主要用于测试MR程序. ②伪分布式模式:用多个线程模拟真实多台服务器,即模拟真实的完全分布式环境 ...

  4. 【Hadoop】伪分布式安装

    创建hadoop用户 创建用户命令: sudo useradd -m hadoop -s /bin/bash 创建好后需要更改hadoop用户的密码,命令如下: sudo passwd hadoop ...

  5. 【hadoop】 hadoop 单机伪分布式安装

    准备: 虚拟机(CentOS 6.9) JDK1.8 hadoop2.8.0 一.JDK安装及配置 rpm -ivh jdkxxxx 安装 配置环境变量 vim /etc/profile export ...

  6. 伪分布式安装core-site.xml和hdfs-site.xml配置文件

    hadoop的伪分布式安装流程如下所示: 其中core-site.xml和hdfs-site.xml是两个很重要的配置文件. core-site.xml <configuration> & ...

  7. 伪分布式安装Hadoop

    Hadoop简单介绍 Hadoop:适合大数据分布式存储与计算的平台. Hadoop两大核心项目: 1.HDFS:Hadoop分布式文件系统 HDFS的架构: 主从结构: 主节点,只有一个:namen ...

  8. hadoop 2.7.3伪分布式安装

    hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...

  9. Hadoop单机和伪分布式安装

    本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit   本机名称 hadoop001   本机IP ...

随机推荐

  1. pr cs6安装教程

    这是通过我自己实践操作,网上查询整理的安装流程: 安装 1.下载:http://www.smzy.com/smzy/smzy93225.html 2.断网,安装 如果到2%显示安装失败,在这里有详细解 ...

  2. Ajax学习系列——创建XMLHttpRequest对象

    Ajax - 创建XMLHttpRequest对象 首先介绍什么是XMLHttpRequest: XMLHttpRequest是Ajax的基础.中文可以解释为可扩展超文本传输请求.术语缩写为XHR. ...

  3. SpringBoot#RestControllerAdvice

    __震惊! 不可避免的访问一些控制器会产生一些异常,这些异常不经处理传递到前台页面,会很难看. 涉及到的注解: org.springframework.web.bind.annotation.Rest ...

  4. 六、JavaScript之调用外部JavaScript文件

    一.外部JavaScript文件,不需要写<SCRIPT>标签,myScript.js代码如下: 二.index.php代码如下 三.运行效果如下 四.点击之后 myScript.php如 ...

  5. 二十九、SAP中输出漂亮的表格

    一.代码如下 二.输出效果如下 *&---------------------------------------------------------------------* *& ...

  6. zerone 01串博弈问题

    近日领到了老师的期末作业 其中有这道 01 串博弈问题: 刚开始读题我也是云里雾里 但是精读数遍 “细品” 之后,我发现这是一个 “动态规划” 问题.好嘞,硬着头皮上吧. 分析问题:可知对每个人有两手 ...

  7. Java中的String介绍

    一.概述 String是代表字符串的类,本身是一个最终类,使用final修饰,不能被继承. 二.String字符串的特征 1. 字符串在内存中是以字符数组的形式来存储的. 示例如下,可以从String ...

  8. 吴裕雄 Bootstrap 前端框架开发——Bootstrap 字体图标(Glyphicons):glyphicon glyphicon-facetime-video

    <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <meta name ...

  9. P4147 玉蟾宫(悬线法求最大子矩阵)

    P4147 玉蟾宫 悬线法 ,\(l_{i,j},r_{i,j},up_{i,j}\) 分别表示 \((i,j)\) 这个点向左,右,上能到达的远点.然后面积就很好办了.具体实现见代码. 然而,还有更 ...

  10. P 1026 程序运行时间

    转跳点: