图解linux安装hadoop
安装步骤:
一、准备工作
1.解压文件
[root@localhost soft]# tar -zxvf hadoop-2.4.1.tar.gz
2.改名:
[root@localhost soft]# mv hadoop-2.4.1 hadoop 改名
3.关闭防火墙
iptables防火墙状态: service iptables status
开启防火墙: service iptables start
关闭防火墙: service iptables stop
service iptables stop #临时关闭,重启无效
chkconfig iptables off #永久关闭,重启生效
4.[root@master Desktop]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
注意:执行后需要重新启动linux,再进入桌面右键 Open in Terminal就进入master了
5. 配置master
[root@master Desktop]# vi /etc/hosts //注意重启后是要root身份才可以write
192.168.119.129 master (本机ip地址,可以通过ifconfig查询 要都能平通)
[root@master Desktop]# ping master
[root@master Desktop]# ping 192.168.119.129
6.配置无密钥ssh
[root@master Desktop]# cd
[root@master ~]$ ssh-keygen -t rsa #一直回车生成密钥
[root@master ~]# cd /root/.ssh
[root@master .ssh]# cat id_rsa.pub >> authorized_keys
安装完成,关闭即可。
二、配置hadoop
1、配置hadoop /etc/profile
[qq@master Desktop]$ su root
Password:
[root@master Desktop]# cd
[root@master ~]# vi /etc/profile
#set java environment
JAVA_HOME=/soft/jdk1.7.0_79
HADOOP_HOME=/soft/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/etc/sbin:$PATH
环境变量放到最后即可。
[root@master ~]# source /etc/profile
[root@master ~]#
2、(1)配置hadoop hadoop-env.sh
[root@master ~]# cd /soft
[root@master soft]# cd hadoop
[root@master hadoop]# cd etc
[root@master etc]# cd hadoop
[root@master hadoop]# vi hadoop-env.sh
export JAVA_HOME=/soft/jdk1.7.0_79
export HADOOP_CONF_DIR=/soft/hadoop/etc/hadoop/
配置文件位置:
[root@master hadoop]# source hadoop-env.sh
(2)设置环境变量jdk
1. [root@master hadoop]# vi ~/.bash_profile
//有以下2行
export JAVA_HOME=/soft/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
配置文件位置:
2.[root@master hadoop]# source ~/.bash_profile //立即生效
3、配置hadoop自身文件
[root@master hadoop]# vi core-site.xml
(1) core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
配置文件位置:
(2) mapred-site.xml
[root@master hadoop]# vi mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
原文件为空,添加文件位置:
(3) hdfs-site.xml
[root@master hadoop]# vi hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/soft/hadoop/hdfs/name</value>
<description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/soft/hadoop/hdfs/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本个数,配置默认是3,应小于datanode机器数量</description>
</property>
</configuration>
配置文件位置:
(4) [root@master hadoop]# vi yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8088</value>
</property>
</configuration>
配置文件位置:
4 格式化新的分布式文件系统(hdfs namenode -format 或 hadoop namenode -format)
[root@master hadoop]# cd
[root@master ~]# cd /soft/hadoop/sbin
[root@master sbin]# hadoop namenode -format
.....
17/01/13 23:26:25 INFO common.Storage: Storage directory /soft/hadoop/hdfs/name has been successfully formatted.
17/01/13 23:26:25 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
17/01/13 23:26:25 INFO util.ExitUtil: Exiting with status 0
17/01/13 23:26:25 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at master/192.168.119.129
************************************************************/
5 启动线程start-all.sh
[root@master sbin]# ./start-all.sh
注:有一个选择yes,一定要选!!!
6 测试安装hadoop成功
[root@master sbin]# jps
5395 DataNode
6926 NodeManager
6837 ResourceManager
7045 Jps
5289 NameNode
5624 SecondaryNameNode
我测试结果为:
[root@master sbin]# jps
3542 NameNode
3886 SecondaryNameNode
4028 ResourceManager
4431 Jps
4121 NodeManager
7.最后在linux的火狐浏览器中 localhost:8088 显示小象即配置成功。
END
图解linux安装hadoop的更多相关文章
- python相关软件安装流程图解——linux 安装python3——Python-3.7.1
请先确保已经安装了虚拟机 python相关软件安装流程图解——虚拟机安装——CentOS-7-x86_64-DVD-1810——CentOS-01下载 https://www.cnblogs.com/ ...
- linux安装hadoop 1.2.1
我的服务器里面会装很多东西,所以我在跟目录下面建立了个doc文档文件夹 1.创建存放软件的doc文件夹 mkdir doc 2.进去doc文件夹进行下载hadoop-1.2.1资源包或者到我的百度云下 ...
- 图解linux安装tomcat(附常用命令)
本例使用的是centos6.5版本,具体内容如下 一.首先到官方下载tomcat服务 http://tomcat.apache.org/download-70.cgi 二.将tomcat上传至linu ...
- 图解Linux安装jdk
测试是否安装成功: 查看Java的版本命令:java -version Windows:查看java版本的方法是:运行--->cmd,输入java –version.注意: linux:终端中输 ...
- Hadoop Linux安装
Hadoop Linux安装 步骤流程 1.硬件准备 2.软件准备(推荐CDH) 3.将Hadoop安装包分发到各个节点下 4.安装JDK 5.修改/etc/hosts配置文件 6.设置SSH免密码登 ...
- Linux下Hadoop集群环境的安装配置
1)安装Ubuntu或其他Linux系统: a)为减少错误,集群中的主机最好安装同一版本的Linux系统,我的是Ubuntu12.04. b)每个主机的登陆用户名也最好都一样,比如都是hadoop,不 ...
- Linux下Hadoop的简单安装
Hadoop 的安装极为简单,一共只有三步: 安装JDK 安装Hadoop 配置Hadoop 1,安装JDK 下载JDK,ftp传到linux或者linux中下载 切换 ...
- 在Linux上安装Hadoop
先决条件: Hadoop是用JAVA写的,所以首先要安装Java.在Ubuntu上安装JDK见:http://blog.csdn.net/microfhu/article/details/766739 ...
- Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)
1下载hadoop 2安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2检查机器名称 2.3修改/etc/hosts文件 2.4 给3个机器生成秘钥文件 2.5 在hserver1上创建 ...
随机推荐
- cssParser
//cssParser.h #include<iostream> using namespace std;struct MyAttribute{ MyAttribute* next; s ...
- spring事务隔离级别以及脏读 不可重复读 幻影读
隔离级别 声明式事务的第二个方面是隔离级别.隔离级别定义一个事务可能受其他并发事务活动活动影响的程度.另一种考虑一个事务的隔离级别的方式,是把它想象为那个事务对于事物处理数据的自私程度. 在一个典型的 ...
- STL stl_uninitialized.h
stl_uninitialized.h // Filename: stl_uninitialized.h // Comment By: 凝霜 // E-mail: mdl2009@vip.qq.com ...
- bzoj 2969: 矩形粉刷 概率期望
题目: 为了庆祝新的一年到来,小M决定要粉刷一个大木板.大木板实际上是一个W*H的方阵.小M得到了一个神奇的工具,这个工具只需要指定方阵中两个格子,就可以把这两格子为对角的,平行于木板边界的一个子矩形 ...
- bzoj 3754: Tree之最小方差树 模拟退火+随机三分
题目大意: 求最小方差生成树.N<=100,M<=2000,Ci<=100 题解: 首先我们知道这么一个东西: 一些数和另一个数的差的平方之和的最小值在这个数是这些数的平均值时取得 ...
- bzoj 4501: 旅行 01分数规划+概率期望dp
题目大意: http://www.lydsy.com/JudgeOnline/problem.php?id=4501 题解: 首先我们不考虑可以删除边的情况下,如何计算期望边数. 然后我们发现这是个有 ...
- 【Python】正则表达式中使用变量
我们有时想把变量放进正则表达式中来匹配想要的结果.Python中使用 re.compile(r''+变量+''),其中正则表达式中的“变量”应为字符串形式. import re regex_test_ ...
- python【事物 】【数据库锁】
1.数据库事物 1. 什么是事务 事务是应用程序中一系列严密的操作,所有操作必须成功完成,否则在每个操作中所作的所有更改都会被撤消.也就是事务具有原子性,一个事务中的一系列的操作要么全部成功,要么一 ...
- PUN介绍(干货)
PUN介绍 入门 Photon Unity Networking(首字母缩写PUN)是一个Unity多人游戏插件包.它提供了身份验证选项.匹配,以及快速.可靠的通过我们的Photon后端实现的游戏内通 ...
- 继承Application以实现全局资源共享
原文地址:http://www.cnblogs.com/Dentist/p/Mr_Dentist_.html 每个程序运行时会创建一个Application类的对象且仅有一个.在app结束时这个App ...