RedHat6.5上安装Hadoop单机
版本号:RedHat6.5 JDK1.8 Hadoop2.7.3
hadoop 说明:从版本2开始加入了Yarn这个资源管理器,Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop,单纯安装Hadoop并不依赖Zookeeper之类的其他东西。
基础环境准备:
RedHat6.5安装:RHEL 6.5系统安装配置图解教程(rhel-server-6.5)
JDK安装:http://blog.csdn.net/chongxin1/article/details/68957808
1下载hadoop 2.7.3
官网下载地址:https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
百度网盘下载:链接:http://pan.baidu.com/s/1eSAF7sm 密码:vdfp
2配置SSH免登录
2.1、SSH服务
由于在这里我使用的rhel-server-6.5-x86_64-dvd.iso,安装的时候自带了ssh服务,所以省去装SSH服务。
RedHat6.5安装可参考:RHEL 6.5系统安装配置图解教程(rhel-server-6.5)
输出 ssh localhost 是否已安装ssh服务,例如Ubuntu就需要安装openssh服务。
机器名称命名叫master,待会用hostname命令修改也行。
说明:为了免去后面一系列授权的麻烦,这里直接使用root账户登录和操作了。
使用ifconfig命令,查看这个机器的IP。我的机器名和ip的对应关系是:
192.168.168.200 master
2.2、检查机器名称
为了后续操作方便,确保机器的hostname是我们想要的。拿192.168.168.200这台机器为例,用root账户登录,然后使用hostname命令查看机器名称
如图:
发现,这个机器名称不是我们想要的。不过这个好办, 我给它改个名称,命令是:
hostname master #立即生效
如图:
sudo gedit /etc/sysconfig/network #永久生效
将HOSTNAME后面的值改为想要设置的主机名,然后重启即可。
2.3 、修改/etc/hosts文件
修改这台机器的/etc/hosts文件,在文件中添加以下内容:
192.168.168.200 master
sudo gedit /etc/hosts
如图:
配置完成后使用ping命令检查机器是否ping得通:
ping master
如图:
2.4、给机器生成秘钥文件
以master为例,执行命令,生成空字符串的秘钥(后面要使用公钥),命令是:
ssh-keygen -t rsa -P ''
如图:
因为我现在用的是root账户,所以秘钥文件保存到了/root/.ssh/目录内,可以使用命令查看,命令是:
ls /root/.ssh/
如图:
2.5、在master上创建authorized_keys文件
接下来要做的事情是在机器的/root/.ssh/目录下创建authorized_keys,文件内容是我们刚才为机器生成的公钥。为了方便,我下面的步骤是现在master上生成authorized_keys文件,然后把机器刚才生成的公钥加入到这个master的authorized_keys文件里。
首先使用命令,在master的/root/.ssh/目录中生成一个名为authorized_keys的文件,命令是:
touch /root/.ssh/authorized_keys
如图:
可以使用命令看,是否生成成功,命令是:
ls /root/.ssh/
如图:
其次将master上的/root/.ssh/id_rsa.pub文件内容复制到这个authorized_keys文件中。
master1机器上我的/root/.ssh/id_rsa.pub内容是:
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAs0/TeFAKiPvz9URSVsOlaTP80PUs8E7NZppX4Ko0gKHjRmC3Ovb+5BFBTlZgt1bfoGcv1Pj+m9Acgru9NGi6+KW4TYJLM/EFUAOMlk/8TdRz5+2Onb5jdFK4B8RiKunEVM2jH3QLC+het5xuN7j9yGT/CqThGFmKvcH8d6TsWuQC8PAJI21ej4lOzwr4763Qc4AeomraoBBpysPLzTwJC7asSbG69Da+7P6UVw8CCLzL7xwkQ1eCVk96dhVaoa+6X1NLTMMBGjYUSbs4KkN5F6/4O5zjIkDzE+Jc5Wl/QsV17VOgrbVPHQMyKC7Fhr98SFsQvJZCzJfAC1dItjqhKQ==
root@master
master机器上的/root/.ssh/authorized_keys文件内容是:
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAs0/TeFAKiPvz9URSVsOlaTP80PUs8E7NZppX4Ko0gKHjRmC3Ovb+5BFBTlZgt1bfoGcv1Pj+m9Acgru9NGi6+KW4TYJLM/EFUAOMlk/8TdRz5+2Onb5jdFK4B8RiKunEVM2jH3QLC+het5xuN7j9yGT/CqThGFmKvcH8d6TsWuQC8PAJI21ej4lOzwr4763Qc4AeomraoBBpysPLzTwJC7asSbG69Da+7P6UVw8CCLzL7xwkQ1eCVk96dhVaoa+6X1NLTMMBGjYUSbs4KkN5F6/4O5zjIkDzE+Jc5Wl/QsV17VOgrbVPHQMyKC7Fhr98SFsQvJZCzJfAC1dItjqhKQ== root@master
3安装hadoop
说明,为了省去一系列获取管理员权限,授权等繁琐操作,精简教程,这里都是使用root账户登录并且使用root权限进行操作。
3.1 必须首先安装JDK
3.2安装hadoop
3.2.1 上传文件并解压缩
在/usr/local目录下新建一个名为hadoop的目录,并将下载得到的hadoop-2.7.3.tar.gz上传到该目录下,如图:
进入到该目录,执行命令:
mkdir /usr/local/hadoop
cd /usr/local/hadoop
执行解压命令:
tar -xvf hadoop-2.7.3.tar.gz
3.2.2新建几个目录
在/root目录下新建几个目录,复制粘贴执行下面的命令:
mkdir /usr/local/hadoop
mkdir /usr/local/hadoop/tmp
mkdir /usr/local/hadoop/var
mkdir /usr/local/hadoop/dfs
mkdir /usr/local/hadoop/dfs/name
mkdir /usr/local/hadoop/dfs/data
3.2.3 修改etc/hadoop中的一系列配置文件
修改/usr/local/hadoop/hadoop-2.7.3/etc/hadoop目录内的一系列文件。
3.2.3.1 修改core-site.xml
修改/usr/local/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml文件
在<configuration>节点内加入配置:
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/usr/local/hadoop/tmp</value>
- <description>Abase for other temporary directories.</description>
- </property>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://192.168.168.200:9000</value>
- </property>
3.2.3.2 修改hadoop-env.sh
修改/usr/local/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件
将export JAVA_HOME=${JAVA_HOME}
修改为:
export JAVA_HOME=/usr/local/java/jdk1.8
说明:修改为自己的JDK路径
3.2.3.3 修改hdfs-site.xml
修改/usr/local/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml文件
在<configuration>节点内加入配置:
- <property>
- <name>dfs.name.dir</name>
- <value>/usr/local/hadoop/dfs/name</value>
- <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
- </property>
- <property>
- <name>dfs.data.dir</name>
- <value>/usr/local/hadoop/dfs/data</value>
- <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
- </property>
- <property>
- <name>dfs.replication</name>
- <value>2</value>
- </property>
- <property>
- <name>dfs.permissions</name>
- <value>false</value>
- <description>need not permissions</description>
- </property>
说明:dfs.permissions配置为false后,可以允许不要检查权限就生成dfs上的文件,方便倒是方便了,但是你需要防止误删除,请将它设置为true,或者直接将该property节点删除,因为默认就是true。
3.2.3.4 新建并且修改mapred-site.xml
在该版本中,有一个名为mapred-site.xml.template的文件,复制该文件,然后改名为mapred-site.xml,命令是:
- cp /usr/local/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template
- /usr/local/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml
修改这个新建的mapred-site.xml文件,在<configuration>节点内加入配置:
- <property>
- <name>mapred.job.tracker</name>
- <value>192.168.168.200:49001</value>
- </property>
- <property>
- <name>mapred.local.dir</name>
- <value>/usr/local/hadoop/var</value>
- </property>
- <property>
- <name>mapreduce.framework.name</name>
- <value>yarn</value>
- </property>
3.2.3.5 修改yarn-site.xml文件
修改/usr/local/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml文件,
在<configuration>节点内加入配置(注意了,内存根据机器配置越大越好,我这里只配2个G是因为机器不行)
- <property>
- <name>yarn.resourcemanager.hostname</name>
- <value>master</value>
- </property>
- <property>
- <description>The address of the applications manager interface in the RM.</description>
- <name>yarn.resourcemanager.address</name>
- <value>${yarn.resourcemanager.hostname}:8032</value>
- </property>
- <property>
- <description>The address of the scheduler interface.</description>
- <name>yarn.resourcemanager.scheduler.address</name>
- <value>${yarn.resourcemanager.hostname}:8030</value>
- </property>
- <property>
- <description>The http address of the RM web application.</description>
- <name>yarn.resourcemanager.webapp.address</name>
- <value>${yarn.resourcemanager.hostname}:8088</value>
- </property>
- <property>
- <description>The https adddress of the RM web application.</description>
- <name>yarn.resourcemanager.webapp.https.address</name>
- <value>${yarn.resourcemanager.hostname}:8090</value>
- </property>
- <property>
- <name>yarn.resourcemanager.resource-tracker.address</name>
- <value>${yarn.resourcemanager.hostname}:8031</value>
- </property>
- <property>
- <description>The address of the RM admin interface.</description>
- <name>yarn.resourcemanager.admin.address</name>
- <value>${yarn.resourcemanager.hostname}:8033</value>
- </property>
- <property>
- <name>yarn.nodemanager.aux-services</name>
- <value>mapreduce_shuffle</value>
- </property>
- <property>
- <name>yarn.scheduler.maximum-allocation-mb</name>
- <value>2048</value>
- <discription>每个节点可用内存,单位MB,默认8182MB</discription>
- </property>
- <property>
- <name>yarn.nodemanager.vmem-pmem-ratio</name>
- <value>2.1</value>
- </property>
- <property>
- <name>yarn.nodemanager.resource.memory-mb</name>
- <value>2048</value>
- </property>
- <property>
- <name>yarn.nodemanager.vmem-check-enabled</name>
- <value>false</value>
- </property>
说明:yarn.nodemanager.vmem-check-enabled这个的意思是忽略虚拟内存的检查,如果你是安装在虚拟机上,这个配置很有用,配上去之后后续操作不容易出问题。如果是实体机上,并且内存够多,可以将这个配置去掉。
3.3配置环境变量
修改相应的配置文件:
sudo gedit /etc/profile
增加如下内容:
- #set Hadoop enviroment
- export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
- export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
- export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
- export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
使配置文件立即生效
source /etc/profile
输入命令:hadoop 即可验证是否生效:
4启动hadoop
4.1在namenode上执行初始化
cd /usr/local/hadoop/hadoop-2.7.3/bin
执行初始化脚本,也就是执行命令:
./hadoop namenode -format
如图:
稍等几秒,不报错的话,即可执行成功,如图:
格式化成功后,可以在看到在/usr/local/hadoop/dfs/name/目录多了一个current目录,而且该目录内有一系列文件
4.2在namenode上执行启动命令
进入到master这台机器的/usr/local/hadoop/hadoop-2.7.3/sbin目录,也就是执行命令:
cd /usr/local/hadoop/hadoop-2.7.3/sbin
执行初始化脚本,也就是执行命令:
./start-all.sh
第一次执行上面的启动命令,会需要我们进行交互操作,在问答界面上输入yes回车
如图:
5测试hadoop
master是我们的namanode,该机器的IP是192.168.168.200,在浏览器访问如下地址:
自动跳转到了cluster页面
如图:
RedHat6.5上安装Hadoop单机的更多相关文章
- Ubuntu 12.04上安装Hadoop并运行
Ubuntu 12.04上安装Hadoop并运行 作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/ 在官网上下载好四个文件 在Ubuntu的/home/w ...
- 在Linux上安装Hadoop
先决条件: Hadoop是用JAVA写的,所以首先要安装Java.在Ubuntu上安装JDK见:http://blog.csdn.net/microfhu/article/details/766739 ...
- 在 Windows 上安装 Hadoop 教程(转)
在 Windows 上安装 Hadoop 教程 一见 2010.1.6 www.hadoopor.com/hadoopor@foxmail.com 1. 安装 JDK 不建议只安装 JRE,而是建议直 ...
- Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)--------hadoop环境的搭建
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)------https://blog.csdn.net/pucao_cug/article/details/71698903 ...
- 在Ubuntu上安装Hadoop(单机模式)步骤
1. 安装jdk:sudo apt-get install openjdk-6-jdk 2. 配置ssh:安装ssh:apt-get install openssh-server 为运行hadoop的 ...
- 1.如何在虚拟机ubuntu上安装hadoop多节点分布式集群
要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个had ...
- Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)
1下载hadoop 2安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2检查机器名称 2.3修改/etc/hosts文件 2.4 给3个机器生成秘钥文件 2.5 在hserver1上创建 ...
- 【大数据系列】win10上安装hadoop开发环境
为了方便采用了Cygwin模拟linux环境的方法 一.安装JDK以及下载hadoop hadoop官网下载hadoop http://hadoop.apache.org/releases.html ...
- Linux上安装Hadoop集群(CentOS7+hadoop-2.8.3)
https://blog.csdn.net/pucao_cug/article/details/71698903 1下载hadoop 2安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2 ...
随机推荐
- Day19作业及默写
三级菜单 menu = { '北京': { '海淀': { '五道口': { 'soho': {}, '网易': {}, 'google': {} }, '中关村': { '爱奇艺': {}, '汽车 ...
- Day10作业及默写
1,继续整理函数相关知识点,写博客. 2,写函数,接收n个数字,求这些参数数字的和.(动态传参) def func(*number): sum=0 for num in number: sum+=nu ...
- python socket 编程之三:长连接、短连接以及心跳(转药师Aric的文章)
长连接:开启一个socket连接,收发完数据后,不立刻关闭连接,可以多次收发数据包. 短连接:开启一个socket连接,收发完数据后,立刻关闭连接. 心跳:长连接在没有数据通信时,定时发送数据包(心跳 ...
- vue 之 key
key 的特殊属性主要用在 Vue的虚拟DOM算法,在新旧nodes对比时辨识VNodes.如果不使用key,Vue会使用一种最大限度减少动态元素并且尽可能的尝试修复/再利用相同类型元素的算法.使用k ...
- MYSQL escape用法--转义
在sql like语句中,比如 select * from user where username like '%nihao%',select * from user where username l ...
- ss server端配置
关于ss server的配置,可以参考一个网址 关于服务器的购买可以上VIRMACH购买 和本地安装ss类似,首先安装ss,pip install shadowsocks 配置服务器参数,vim /e ...
- Linux上统计文件夹下文件个数以及目录个数
对于linux终端用户而言,统计文件夹下文件的多少是经常要做的操作,于我而言,我会经常在谷歌搜索一个命令,“如何在linux统计文件夹的个数”,然后点击自己想要的答案,但是有时候不知道统计文件夹命令运 ...
- box布局中文字溢出问题
如果不设置-webkit-box-flex:1:会溢出,设置width也行,在电脑上模拟可能会有问题,手机上没问题
- P1220 关路灯 (区间dp)
题目链接:传送门 题目大意: 总共有N盏灯,老张从点C(1 ≤ C ≤ N)开始关灯(关灯不需要等待时间,C点的灯直接关掉),与此同时灯开始烧电(已知功率Pi). 老张每次可以往左走关最近的灯或者往右 ...
- C++学习(五)(C语言部分)之 运算符
运算符学习时的笔记(其实也没什么用,留着给自己看的) 运算符 用来对数据运算的符号 优先级 3+4*5+6 先乘除 然后加减 运算符优先级高就先算 40多个运算符 15层优先级 不需要背 1.查表 2 ...