在opt目录创建install software test other四个目录

/opt/installed #安装包
/opt/software #软件包
/opt/other #其他
/opt/test #测试

1.上传hadoop

  yum install lrzsz //安装lrzsz用于上传

  cd install //进入Install文件夹

  输入rz

  找到本地下载好的hadoop压缩包 点击hadoop-2.7.7.tar.gz上传

  因hadoop使用java编写,所以需要jdk

  rz jdk-8u181-linux-x64.tar.gz

2.解压hadoop

  tar   -zxvf   jdk-8u181-linux-x64.tar.gz -C /opt/software

  tar   -zxvf   hadoop-2.7.7.tar.gz -C  /opt/software #把角度看和hadoop解压到指定的software文件夹中

  cd ../software

  mv jdk1.8.0_221 jdk1.8 //把jdk改名

3.配置环境

  vim /etc/profile

  在末尾加:

      JAVA_HOME=/opt/software/jdk1.8
      CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
      Path=$PATH:$JAVA_HOME/bin

  :wq退出

  source /etc/profile  #linux内核 重新加载某个文件  

4. 测试 是否配置成功

   java -version

  显示如下则成功

  

5.hadoop目录说明

   cd hadoop-2.7.7     #进入Hadoop安装目

  bin 普通命令目录
  etc #所有的配置文件
  include #C语言相关文件
  lib/native #C语言相关类库
  libexec #C语言相关类库2
  logs #日志文件
  sbin #管理命令目录
  share #jar包和源码

6.配置六个文件

  cd  etc/hadoop的目录

  1. vim hadoop-env.sh

    25行 JAVA_HOME=/opt/software/jdk1.8 #JDK的存放目录

    33行 export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop

  2.vim core-site.xml #我们在x-site中配置 实际上就是将系统原来的配置给覆盖了

    <configuration>

      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://主机名:9000</value>
      </property>

      <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/software/hadoop-2.7.7/tmp</value>
      </property>

    </configuration>

  3.vim hdfs-site.xml

    <configuration>

      <property>
        <name>dfs.replication</name>
        <value>1</value>
      </property>
    </configuration>

  4.cp mapred-site.xml.template  mapred-site.xml

    vim mapred-site.xml

    <configuration>

      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
    </configuration>

  5.vim yarm-site.xml

    <configuration>

      <!-- Site specific YARN configuration properties -->
      <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>主机名</value>
      </property>

      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>

    </configuration>

  6.vim slaves

    加入 主机名

  vim /etc/hosts

   加入  ip地址 主机名

7.配置一下环境变量

  vim /etc/profile

  JAVA_HOME=/opt/software/jdk1.8
  CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  HADOOP_HOME=/opt/software/hadoop-2.7.7
  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  source /etc/profile

8.配置一个免密

  ssh-keygen #生成公钥

  ssh-copy-id 主机名

9.格式化文件系统

   hadoop namenode -format

  如果看到 has been successfully formatted. 则成功

10.运行服务器

  start-all.sh  开启

  stop-all.sh  关闭

Hadoop的伪分布式安装和部署流程的更多相关文章

  1. Hadoop的伪分布式安装和部署的流程

    1.准备工作 下载一些用到的命令 yum install -y vim yum install -y lrzsz yum install net-tools 目录约定 /opt #工作目录 /opt/ ...

  2. Hadoop开发第3期---Hadoop的伪分布式安装

    一.准备工作 1. 远程连接工具的安装 PieTTY 是在PuTTY 基础上开发的,改进了Putty 的用户界面,提供了多语种支持.Putty 作为远程连接linux 的工具,支持SSH 和telne ...

  3. Hadoop之伪分布式安装

    一.Hadoop的安装模式有3种 ①单机模式:不能使用HDFS,只能使用MapReduce,所以单击模式主要用于测试MR程序. ②伪分布式模式:用多个线程模拟真实多台服务器,即模拟真实的完全分布式环境 ...

  4. 【Hadoop】伪分布式安装

    创建hadoop用户 创建用户命令: sudo useradd -m hadoop -s /bin/bash 创建好后需要更改hadoop用户的密码,命令如下: sudo passwd hadoop ...

  5. 【hadoop】 hadoop 单机伪分布式安装

    准备: 虚拟机(CentOS 6.9) JDK1.8 hadoop2.8.0 一.JDK安装及配置 rpm -ivh jdkxxxx 安装 配置环境变量 vim /etc/profile export ...

  6. 伪分布式安装core-site.xml和hdfs-site.xml配置文件

    hadoop的伪分布式安装流程如下所示: 其中core-site.xml和hdfs-site.xml是两个很重要的配置文件. core-site.xml <configuration> & ...

  7. 伪分布式安装Hadoop

    Hadoop简单介绍 Hadoop:适合大数据分布式存储与计算的平台. Hadoop两大核心项目: 1.HDFS:Hadoop分布式文件系统 HDFS的架构: 主从结构: 主节点,只有一个:namen ...

  8. hadoop 2.7.3伪分布式安装

    hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...

  9. Hadoop单机和伪分布式安装

    本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit   本机名称 hadoop001   本机IP ...

随机推荐

  1. Maven插件方式使用Mybatis Generator

    Mybatis Generator Mybatis Generator简称MBG,可以根据数据库自动生成实体类.单表查询接口及其映射xml文件(也可以选择以注解方式生成). 下面介绍一下以maven插 ...

  2. POJ 1151:Atlantis 线段树+扫描线

    Atlantis Time Limit: 1000MS   Memory Limit: 10000K Total Submissions: 19374   Accepted: 7358 Descrip ...

  3. 用JS改变embed标签的src属性

    思路: A.先隐藏embed标签 B.清除embed元素 C.为embed重新赋值,加入Html页面中 1.html代码 <object id="forfun" classi ...

  4. error LNK2019: 无法解析的外部符号……

    在VS中开发程序的时候遇到一个问题,应该算是比较常见,所以记录下. 在编译程序的时候遇到一个错误,大致提示如下: "error LNK2019: 无法解析的外部符号--" 遇到这个 ...

  5. 从0到1完成微信小程序开发(2)

    一,小程序的文件结构 小程序包含一个描述程序的app和多个描述各自页面的page 一个小程序主体部分由三个文件组成,必须放在项目的根目录,如下: 一个小程序页面由四个文件组成,分别是: 下面是一个单页 ...

  6. UVA - 1605 Building for UN (联合国大楼)

    题意:一个联合国大楼每层都有数量相等大小相同的格子,将其分配给n个国家,使任意两个不同的国家都相邻(同层有公共边或相邻层的同一个格子). 分析:可以设计一个只有两层的大楼,第一层每个国家占一行,第二层 ...

  7. hdu3359 Kind of a Blur

    因为变化出来的是平均数,那么就可以对每一个变化出来的列方程,直接高斯消元就行了. #include<bits/stdc++.h> #define N 100005 #define LL l ...

  8. Python模拟登录哔哩哔哩

    嘿,各位小伙伴中午好呀,今天要带来点什么干货呢,就从我的实际开发中来给大家带来一个案例吧,如何自动登录哔哩哔哩. ! 接到老大通知,让我自动写一个自动登录哔哩哔哩的脚本,我当然是二话不说直接开怼,咱们 ...

  9. MyBatis 关联查询的实现:一对一

    有2个实体:用户.会员卡,一个用户只能办理一张会员卡,即一对一. user_tb : 需要在一方引入另一方的主键作为外键. card_tb: 使用扩展类 (1)在pojo包下新建User类: pack ...

  10. java web实现在线编辑word,并将word导出(三)

    前面说到前台呈现的页面是img标签,因此需要在后台生成相应的图片,在img的src内容中改为相应的路径地址:而在生成文档的过程中需要替换相应的img标签.后一部分上篇文章已经讲过,本片主要讲前一部分. ...