Hadoop 单机安装教程

本文原始地址:https://sitoi.cn/posts/24540.html

安装环境

  • Fedora 29
  • openjdk version "1.8.0_191"

安装步骤

  • 创建 Hadoop 帐号
  • 下载 Hadoop 安装包
  • 解压 Hadoop 安装包
  • 配置环境变量
  • 配置 Hadoop 文件
  • 启动集群
  • 查看状态

创建 Hadoop 帐号

为 Hadoop 创建一个专门的账号
sudo adduser hadoop
sudo passwd hadoop
授予 Hadoop root 权限

为了测试,图方便,这里给Hadoop root权限,生产环境不建议这样做。

使用root权限编辑/etc/sudoers:

sudo vim /etc/sudoers

末尾添加一行:

hadoop  ALL=(ALL) ALL

切换到Hadoop账号:

su hadoop
配置 SSH 无密码登录

首先生成公私密钥对

ssh-keygen -t rsa

指定 key pair 的存放位置

回车默认存放于/home/hadoop/.ssh/id_rsa输入passphrase,这里直接回车,为空,确保无密码可登陆。

拷贝生成的公钥到授权 key 文件(authorized_keys)

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

改变 key 权限为拥有者可读可写(0600)

chmod 0600 ~/.ssh/authorized_keys

chomod命令参考:

chmod 600 file – owner can read and write
chmod 700 file – owner can read, write and execute
chmod 666 file – all can read and write
chmod 777 file – all can read, write and execute

测试是否成功

ssh localhost

下载 Hadoop 安装包

cd ~
wget http://192.168.1.60/apache/hadoop/common/hadoop-3.0.1/hadoop-3.0.1.tar.gz

解压 Hadoop 安装包

最好做个关联 ln -s hadoop-3.0.1 hadoop

tar -zxvf hadoop-3.0.1.tar.gz
mv hadoop-3.0.1 hadoop

配置环境变量

编辑 ~/.bashrc 文件

vim ~/.bashrc

添加以下环境变量

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

使配置文件生效

source ~/.bashrc

配置 Hadoop 文件

修改 hadoop/core-site.xml 配置文件

vim $HADOOP_HOME/etc/hadoop/core-site.xml

修改以下内容:

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

修改 hadoop/hdfs-site.xml 配置文件

vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

修改以下内容:

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property> <property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
</property> <property>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
</property>
</configuration>

修改 hadoop/mapred-site.xml 配置文件

vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

修改以下内容:

 <configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

修改 hadoop/yarn-site.xml 配置文件

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

修改以下内容:

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

启动集群

格式化 Hadoop 文件系统
hdfs namenode -format
启动 HDFS
$HADOOP_HOME/sbin/start-dfs.sh

注:若是 JAVA_HOME 没设置错误

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

在末尾加上:

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
启动 YARN
$HADOOP_HOME/sbin/start-yarn.sh

查看状态

查看 HDFS 状态,浏览器访问: http://localhost:9870

Hadoop 单机安装教程的更多相关文章

  1. centos中-hadoop单机安装及伪分布式运行实例

    创建用户并加入授权 1,创建hadoop用户 sudo useradd -m hadoop -s /bin/bash 2,修改sudo的配置文件,位于/etc/sudoers,需要root权限才可以读 ...

  2. hadoop入门篇-hadoop下载安装教程(附图文步骤)

    在前几篇的文章中分别就虚拟系统安装.LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤. 在此之前有必要做一个简单的说明:分享的所有内容 ...

  3. hadoop分布式安装教程(转)

    from:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Ap ...

  4. Hadoop单机安装配置过程:

    1. 首先安装JDK,必须是sun公司的jdk,最好1.6版本以上. 最后java –version 查看成功与否. 注意配置/etc/profile文件,在其后面加上下面几句: export JAV ...

  5. hadoop单机安装

    1.解压hadoop-1.0.3-bin.tar.gz放到指定目录下. 2.安装java环境,参照文档 3.Ssh无密登录 4.修改conf下四个文件 Hadoop-env.sh: export JA ...

  6. 最新hadoop虚拟机安装教程(附带图文)

    前两天看到有人留言问在什么情况下需要部署hadoop,我给的回答也很简单,就是在需要处理海量数据的时候才需要考虑部署hadoop.关于这个问题在很早之前的一篇分享文档也有说到这个问题,数据量少的完全发 ...

  7. 【大数据】Hadoop单机安装配置

    1.解压缩hadoop-2.7.6.tar.gz到/home/hadoop/Soft目录中 2.创建软链接,方便hadoop升级  ln -s /home/hadoop/Soft/hadoop-2.7 ...

  8. Fastdfs 单机安装 教程

    分布式存储 CentOS6.5虚拟机环境搭建FastDFS-5.0.5集群 详细的最新版fastdfs单机版搭建 分布式文件系统 - FastDFS 在64位CentOS 下配置安装部署

  9. Hadoop 单机安装配置

随机推荐

  1. 复旦大学2018--2019学年第二学期(18级)高等代数II期末考试第六大题解答

    六.(本题10分)  设 $A$ 为 $n$ 阶实对称阵, 证明: $A$ 有 $n$ 个不同的特征值当且仅当对 $A$ 的任一特征值 $\lambda_0$ 及对应的特征向量 $\alpha$, 矩 ...

  2. spring cloud 服务链路追踪 skywalking 6.1

    随着微服务架构的流行,服务按照不同的维度进行拆分,一次请求往往需要涉及到多个服务.互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发.可能使用不同的编程语言来实现.有可能布在了 ...

  3. C#开源录音组件、录像组件、录屏组件及demo源码

    在多媒体系统中,一般都会涉及到录音.录像.录屏问题,采集得到的数据可以用来传输.播放.或存储.所以,对于像课件录制系统.语音视频录制系统.录屏系统等,多媒体数据的采集就是最基础的功能之一. MCapt ...

  4. Java并发之多线程下竞态条件概念的理解

    一.简述 竞态条件(Race Condition):计算的正确性取决于多个线程的交替执行时序时,就会发生竞态条件. 二.常见竞态条件分析 最常见的竞态条件为 1.先检测后执行 执行依赖于检测的结果,而 ...

  5. kali 命令

    1.添加用户 如下命令是用root执行的 adduser dong 会直接在/home 目录创建 dong 目录 2.将用户划分到某个组 gpasswd -a user group 3.ifconfi ...

  6. Disable foreign key checks during import

    The command SET FOREIGN_KEY_CHECKS=0; sets the value of a variable in a session scope. So it affects ...

  7. Docker-Compose通过文件声明默认的环境变量

    写文目的 在写本文之前,我在做一个docker-compose项目,这里需要在docker-compose.yml配置中引用到宿主机的ip,然而docker-compose并没有命令行一个输入的选项, ...

  8. 关于暗网需要关闭JS的处理

    最近电视剧导致暗网热度很大,执法力度也大了很多,大部分暗网聚集地都不允许开JS权限访问(原因大家都懂,防止钓鱼执法)​ 因为是英文版而且是火狐,所以简单记录下,以防小白蛋疼 再打开就可以了 Tor协议 ...

  9. Kafka学习笔记之Kafka日志删出策略

    0x00 概述 kafka将topic分成不同的partitions,每个partition的日志分成不同的segments,最后以segment为单位将陈旧的日志从文件系统删除. 假设kafka的在 ...

  10. Lombok简介、使用、工作原理、优缺点

    1.Lombok简介官方介绍 Project Lombok is a java library that automatically plugs into your editor and build ...