安装hadoop2.7.3
hadoop3与hadoop2.x的变化很大,hadoop3很多东西现在做起来太麻烦了,这里先安装hadoop2.7.3
此贴学习地址http://www.yiibai.com/t/mapreduce/article-14.html,不过有些改动
1.下载解压hadoop包
wget http://apache.claz.org/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
tar zxf hadoop-2.7.3.tar.gz
mv hadoop-2.7.3/* to hadoop
2.设置hadoop
#刚刚解压的hadoop的位置
HADOOP_HOME=/home/xiabin/hadoop/hadoop
HADOOP_MAPRED_HOME=$HADOOP_HOME
HADOOP_COMMON_HOME=$HADOOP_HOME
HADOOP_HDFS_HOME=$HADOOP_HOME
YARN_HOME=$HADOOP_HOME
HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
保存退出文件
source ~/.bashrc让bashrc文件立即生效
3.进入hadoop的 etc/hadoop文件
cd $HADOOP_HOME/etc/hadoop
将export JAVA_HOME={JAVA_HOME}改成自己的java路径
我这里:JAVA_HOME=/usr/java/jdk1.8.0_112
4.编辑以下文件来配置Hadoop
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml
5.
core-site.xml 包含以下信息
用于Hadoop实例的端口号
存储器分配用于文件系统
内存限制用于存储数据
读/写缓存大小
打开core-site.xml,在标签之间添加以下属性
编辑:core-site.xml在configuration中加入
<property>
<name>fs.default.name</name>
<value>hdfs://0.0.0.0:9000</value>
</property>
6.hdfs-site.xml 包含以下信息
复制数据的值
NameNode的路径
本地文件系统的数据节点的路径(要存储Hadoop下文的地方)
在它的configuration中间加入
dfs.replication 1 dfs.name.dir file:///home/hadoop/hadoopinfra/hdfs/namenode dfs.data.dir file:///home/hadoop/hadoopinfra/hdfs/datanode
这是namenode和datanode的地址,这些地址可以根据自己的喜好配置
7.yarn-site.xml
此文件用于配置yarn 到Hadoop 。打开yarn-site.xml 文件,并在标记之间添加以下属性。
yarn.nodemanager.aux-services mapreduce_shuffle
8.mapred-site.xml
此文件用于指定我们正在使用MapReduce框架。默认情况下,Hadoop含有yarn-site.xml模板。首先,需要将文件从mapred-site.xml 复制。使用以下命令复制模板 mapred-site.xml 文件。
cp mapred-site.xml.template mapred-site.xml
在configuration中加入:mapreduce.framework.name yarn
9.设置名称节点使用命令 “hdfs namenode -format” 如下
$ cd ~
$ hdfs namenode -format
验证Hadoop dfs(节点)
$ start-dfs.sh
第3步 - 验证Yarn 脚本(管理节点的平台)
以下命令用于启动yarn 脚本。执行该命令将启动yarn 守护进程。
$ start-yarn.sh
10测试访问
IP:50070(如果在服务器上面配置的hadoop记得开启50070端口的防火墙)
访问IP:8088
11配置hdfs的下的文件
新建用户: hdfs dfs -mkdir /waterlufei
新建目录: hdfs dfs -mkdir /waterlufei/hadoop
新建目录: hdfs dfs -mkdir /waterlufei/hadoop/input
将dream.txt放入到input文件夹下: hdfs dfs -put dream.txt /waterlufei/hadoop/input
查看hdfs下所有的目录: hdfs dfs -ls /
查看hdfs下某个目录:hdfs dfs -ls /waterlufei/hadoop/input
安装hadoop2.7.3的更多相关文章
- 一、Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
一.在Ubuntu下创建hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户. 1.创建hadoop用户组 2.创 ...
- Ubuntu 14.04下安装Hadoop2.4.0 (单机模式)
转自 http://www.linuxidc.com/Linux/2015-01/112370.htm 一.在Ubuntu下创建Hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增 ...
- Ubuntu14.04下安装Hadoop2.5.1 (单机模式)
本文地址:http://www.cnblogs.com/archimedes/p/hadoop-standalone-mode.html,转载请注明源地址. 欢迎关注我的个人博客:www.wuyudo ...
- 二、Ubuntu14.04下安装Hadoop2.4.0 (伪分布模式)
在Ubuntu14.04下安装Hadoop2.4.0 (单机模式)基础上配置 一.配置core-site.xml /usr/local/hadoop/etc/hadoop/core-site.xml ...
- CentOS7安装Hadoop2.7完整流程
总体思路,准备主从服务器,配置主服务器可以无密码SSH登录从服务器,解压安装JDK,解压安装Hadoop,配置hdfs.mapreduce等主从关系. 1.环境,3台CentOS7,64位,Hadoo ...
- OS X Yosemite下安装Hadoop2.5.1伪分布式环境
最近开始学习Hadoop,一直使用的是公司配好的环境.用了一段时间后发现对Hadoop还是一知半解,故决定动手在本机上安装一个供学习研究使用.正好自己用的是mac,所以没啥说的,直接安装. 总体流程 ...
- CentOS7安装Hadoop2.7流程
准备3个虚拟机节点 其实这一步骤非常简单,如果你已经完成了第2步,此时你已经准备好了第一个虚拟节点,那第二个和第三个虚拟机节点如何准备?可能你已经想明白了,你可以按第2步的方法,再分别安装两遍lin ...
- CentOS上安装Hadoop2.7,添加数据节点,运行wordcount
安装hadoop的步骤比较繁琐,但是并不难. 在CentOS上安装Hadoop2.7 1. 安装 CentOS,注:图形界面并无必要 2. 在CentOS里设置静态IP,手工编辑如下4个文件 /etc ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十)安装hadoop2.9.0搭建HA
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
随机推荐
- 【Harmony】概述
原文来自本人的微信公众号文章 系统工程实验室 引言 基于模型的系统工程(简称MBSE,英文全称Model based System Engineering )的实践至少需要三个维度的支撑 ...
- Java面试01|JVM相关
1.JVM内存查看与分析,编写内存泄露实例 堆区.栈区.方法区.本机内存都有可能内存溢出.在这里编写堆区内存溢出实例.如下(来自<深入理解Java虚拟机>一书. // -Xms20m -X ...
- 升级后 VTE 类虚拟终端不工作
故障现象 运行 vte 终端,如 gnome terminal.sakura 等光标不出来.xterm 可以运行. 在 xterm 终端中运行 gnome terminal 出现一下错误: grant ...
- SEO-友情链接注意事项
为什么要专门给友链一个区域呢?由此就可以想象到友情链接对一个网站有多重要前期,网站没有权重的时候,跟别人换友链,人家基本是不会换的因为你网站没权重,加了友链他也获取不到权重,对网站没有多少好处一般我们 ...
- 关于极光推送在手机系统低于iOS10的手机上闪退的问题。
最近项目中用到了极光推送,升级到了最新的SDK 2.1.9版本,发现只能在iOS10 上运行,其他测试的时候真机闪退.贴上一个可能的原因:
- QT 的使用及编写代码遇到的问题和解决方法
QT 中将 QString 转化为 const char * 的问题 我开始的代码是这样的: QString qstr = "abcdef"; const char * cc = ...
- JavaScript的基本规范
1.不要在同一行声明多个变量: 2.请使用===/!==来比较true/false或者数值: 3.使用对象字面量替代new Array这种形式: 4.Switch语句必须带有default分支: 5. ...
- Redis命令总结及其基础知识讲述
1.redis的不同之处 Redis拥有其他数据库不具备的数据结构,又拥有内存存储(这使得redis的速度非常快),远程操作(使得redis可以与多个客户端和服务器进行连接).持久化(使得服务器可以在 ...
- 爬取软考试题系列之ip自动代理
马上5月份有个软件专业等级考试,以下简称软考,为了更好的复习备考,我打算抓取www.rkpass.com网上的软考试题. 以上为背景. 很久没有更新博客园的博客了,所以之前的代码没有及时的贴出来,咱们 ...
- 对JDBC的优化,BeanUtils和DBUtils
为了进一步简化jdbc的使用,就是用组件进一步的及优化 BeanUtils工具包,代替java本身蹩脚的javaBean,使对象的封装更加的简单易行 DBUtils工具包,是jdbc的操作更加的简单 ...