Hadoop 单机安装教程
Hadoop 单机安装教程
安装环境
- Fedora 29
- openjdk version "1.8.0_191"
安装步骤
- 创建
Hadoop
帐号 - 下载
Hadoop
安装包 - 解压
Hadoop
安装包 - 配置环境变量
- 配置
Hadoop
文件 - 启动集群
- 查看状态
创建 Hadoop 帐号
为 Hadoop 创建一个专门的账号
sudo adduser hadoop
sudo passwd hadoop
授予 Hadoop root 权限
为了测试,图方便,这里给Hadoop root权限,生产环境不建议这样做。
使用root权限编辑/etc/sudoers:
sudo vim /etc/sudoers
末尾添加一行:
hadoop ALL=(ALL) ALL
切换到Hadoop账号:
su hadoop
配置 SSH 无密码登录
首先生成公私密钥对
ssh-keygen -t rsa
指定
key pair
的存放位置
回车默认存放于/home/hadoop/.ssh/id_rsa输入passphrase,这里直接回车,为空,确保无密码可登陆。
拷贝生成的公钥到授权 key 文件(authorized_keys)
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
改变 key 权限为拥有者可读可写(0600)
chmod 0600 ~/.ssh/authorized_keys
chomod命令参考:
chmod 600 file – owner can read and write
chmod 700 file – owner can read, write and execute
chmod 666 file – all can read and write
chmod 777 file – all can read, write and execute
测试是否成功
ssh localhost
下载 Hadoop 安装包
cd ~
wget http://192.168.1.60/apache/hadoop/common/hadoop-3.0.1/hadoop-3.0.1.tar.gz
解压 Hadoop 安装包
最好做个关联
ln -s hadoop-3.0.1 hadoop
tar -zxvf hadoop-3.0.1.tar.gz
mv hadoop-3.0.1 hadoop
配置环境变量
编辑 ~/.bashrc
文件
vim ~/.bashrc
添加以下环境变量
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native
使配置文件生效
source ~/.bashrc
配置 Hadoop 文件
修改 hadoop/core-site.xml
配置文件
vim $HADOOP_HOME/etc/hadoop/core-site.xml
修改以下内容:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改 hadoop/hdfs-site.xml
配置文件
vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml
修改以下内容:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
</property>
</configuration>
修改 hadoop/mapred-site.xml
配置文件
vim $HADOOP_HOME/etc/hadoop/mapred-site.xml
修改以下内容:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
修改 hadoop/yarn-site.xml
配置文件
vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
修改以下内容:
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
启动集群
格式化 Hadoop 文件系统
hdfs namenode -format
启动 HDFS
$HADOOP_HOME/sbin/start-dfs.sh
注:若是
JAVA_HOME
没设置错误
vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
在末尾加上:
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
启动 YARN
$HADOOP_HOME/sbin/start-yarn.sh
查看状态
查看 HDFS
状态,浏览器访问: http://localhost:9870
Hadoop 单机安装教程的更多相关文章
- centos中-hadoop单机安装及伪分布式运行实例
创建用户并加入授权 1,创建hadoop用户 sudo useradd -m hadoop -s /bin/bash 2,修改sudo的配置文件,位于/etc/sudoers,需要root权限才可以读 ...
- hadoop入门篇-hadoop下载安装教程(附图文步骤)
在前几篇的文章中分别就虚拟系统安装.LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤. 在此之前有必要做一个简单的说明:分享的所有内容 ...
- hadoop分布式安装教程(转)
from:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Ap ...
- Hadoop单机安装配置过程:
1. 首先安装JDK,必须是sun公司的jdk,最好1.6版本以上. 最后java –version 查看成功与否. 注意配置/etc/profile文件,在其后面加上下面几句: export JAV ...
- hadoop单机安装
1.解压hadoop-1.0.3-bin.tar.gz放到指定目录下. 2.安装java环境,参照文档 3.Ssh无密登录 4.修改conf下四个文件 Hadoop-env.sh: export JA ...
- 最新hadoop虚拟机安装教程(附带图文)
前两天看到有人留言问在什么情况下需要部署hadoop,我给的回答也很简单,就是在需要处理海量数据的时候才需要考虑部署hadoop.关于这个问题在很早之前的一篇分享文档也有说到这个问题,数据量少的完全发 ...
- 【大数据】Hadoop单机安装配置
1.解压缩hadoop-2.7.6.tar.gz到/home/hadoop/Soft目录中 2.创建软链接,方便hadoop升级 ln -s /home/hadoop/Soft/hadoop-2.7 ...
- Fastdfs 单机安装 教程
分布式存储 CentOS6.5虚拟机环境搭建FastDFS-5.0.5集群 详细的最新版fastdfs单机版搭建 分布式文件系统 - FastDFS 在64位CentOS 下配置安装部署
- Hadoop 单机安装配置
随机推荐
- 【Gamma阶段】第七次Scrum Meeting
冰多多团队-Gamma阶段第七次Scrum会议 工作情况 团队成员 已完成任务 待完成任务 卓培锦 编辑器风格切换(添加夜间模式) UI界面手势切换 牛雅哲 语音输入shell应用:基于pytorch ...
- LESS是一个CSS预处理器,跨浏览器友好,提供诸如变量,函数, mixins 和操作等功能,可以构建动态CSS
什么是LESS? LESS是一个CSS预处理器,可以为网站启用可自定义,可管理和可重用的样式表. LESS是一种动态样式表语言,扩展了CSS的功能. LESS也是跨浏览器友好. CSS预处理器是一种脚 ...
- centos6.5 安装hadoop1.2.1亲测版
本篇只简单介绍安装步骤 1. 角色分配 10.11.84.4 web-crawler--1.novalocal master/slave 10.11.84.5 web-crawler--2.nova ...
- mapreduce 函数入门 二
m apreduce三大组件:Combiner\Sort\Partitioner 默认组件:排序,分区(不设置,系统有默认值) 一.mapreduce中的Combiner 1.什么是combiner ...
- mknod命令的使用
1.mknod命令 在Linux系统下,mknod命令可用于系统下字符设备文件和块设备文件的创建. (1)命令语法 mknod(选项)(参数) (2)常用选项说明 -Z:设置安全的上下文. -m:设置 ...
- 在ensp上通过FTP进行文件操作
接下来的实验,我们使PC-1为用户端,需要访问FTP Server,不允许用户端上传到server. 在R1上员工不能上传文件到server,但是可以下载文件.同时R1也需要作为用户端从server下 ...
- ElasticSearch 线程池类型分析之 ExecutorScalingQueue
ElasticSearch 线程池类型分析之 ExecutorScalingQueue 在ElasticSearch 线程池类型分析之SizeBlockingQueue这篇文章中分析了ES的fixed ...
- ACM | 算法 | 快速幂
目录 快速幂 快速幂取模 矩阵快速幂 矩阵快速幂取模 HDU1005练习 快速幂 幂运算:\(x ^ n\) 根据其一般定义我们可以简单实现其非负整数情况下的函数 定义法: int Pow ( ...
- 从零开始学C语言
从零开始学C语言 @阆苑祁寒 更新时间:2019-09-13 写在前面:本文从一个初学者的角度,给出了对C语言的简单理解.如有谬误,敬请指出! Week1——基本语法 #include <std ...
- STM8L独立看门狗IWDG
简单扼要 void IWDG_Init(void)//初始化 { IWDG->KR = 0xcc;//启动IWDG IWDG->KR = 0x55;//解除PR及RLR的写保护 IWDG- ...