Hadoop学习笔记1:伪分布式环境搭建
在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下:
1、CentOS 6.7下安装JDK , 地址: http://blog.csdn.net/yulei_qq/article/details/51925673
2、CenOS虚拟机和Windows通信,地址:http://blog.csdn.net/yulei_qq/article/details/51930736
Hadoop 安装文件下载
Hadoop 伪分布式环境搭建
1、 在根目录下创建一个itcast目录
[root@itcast01 ~]# mkdir /itcast
2、解压缩刚下载的hadoop文件 到 itcast目录下.
[root@itcast01 ~]# tar -zxvf hadoop-2.4.1.tar.gz -C /itcast
3、进入该itcast目录下查看解压后的hadoop文件.
4、解压塑之后,就需要配置Hadoop的环境变量,跟配置JDK环境变量差不多。
root@itcast01 hadoop-2.4.1]# vim /etc/profile
5、Hadoop 配置文件修改.
(1) hadoop-env.sh 文件修改
[root@itcast01 hadoop]# vim hadoop-env.sh
(2) core-site.xml 文件修改
[root@itcast01 hadoop]# vim core-site.xml
<configuration>
<!--指定HDFS namenode的通信地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://itcast01:9000</value>
</property>
<!--指定Hadoop运行时产生文件的存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/itcast/hadoop-2.4.1/tmp</value>
</property>
</configuration>
(3)hdfs-site.xml 文件修改
<configuration>
<!--配置HDFS副本的数量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
(4) mapred-site.xml 文件修改.
[root@itcast01 hadoop]# mv mapred-site.xml.template mapred-site.xml
(5) yarn-site.xml 文件修改
<configuration>
<!--nodemanager获取数据的方式是shuffle-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定YARN的老大(ResourceManager)的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>itcast01</value>
</property>
</configuration>
6、初始化HDFS (格式化文件系统)
7、启动Hadoop
[root@itcast01 sbin]# pwd
/itcast/hadoop-2.4.1/sbin
[root@itcast01 sbin]# ll
total 116
-rwxr-xr-x. 1 67974 users 2752 Jun 21 2014 distribute-exclude.sh
-rwxr-xr-x. 1 67974 users 5814 Jun 21 2014 hadoop-daemon.sh
-rwxr-xr-x. 1 67974 users 1360 Jun 21 2014 hadoop-daemons.sh
-rwxr-xr-x. 1 67974 users 1597 Jun 21 2014 hdfs-config.cmd
-rwxr-xr-x. 1 67974 users 1427 Jun 21 2014 hdfs-config.sh
-rwxr-xr-x. 1 67974 users 2291 Jun 21 2014 httpfs.sh
-rwxr-xr-x. 1 67974 users 4063 Jun 21 2014 mr-jobhistory-daemon.sh
-rwxr-xr-x. 1 67974 users 1648 Jun 21 2014 refresh-namenodes.sh
-rwxr-xr-x. 1 67974 users 2145 Jun 21 2014 slaves.sh
-rwxr-xr-x. 1 67974 users 1727 Jun 21 2014 start-all.cmd
-rwxr-xr-x. 1 67974 users 1471 Jun 21 2014 start-all.sh
-rwxr-xr-x. 1 67974 users 1128 Jun 21 2014 start-balancer.sh
-rwxr-xr-x. 1 67974 users 1360 Jun 21 2014 start-dfs.cmd
-rwxr-xr-x. 1 67974 users 3705 Jun 21 2014 start-dfs.sh
-rwxr-xr-x. 1 67974 users 1357 Jun 21 2014 start-secure-dns.sh
-rwxr-xr-x. 1 67974 users 1524 Jun 21 2014 start-yarn.cmd
-rwxr-xr-x. 1 67974 users 1347 Jun 21 2014 start-yarn.sh
-rwxr-xr-x. 1 67974 users 1718 Jun 21 2014 stop-all.cmd
-rwxr-xr-x. 1 67974 users 1462 Jun 21 2014 stop-all.sh
-rwxr-xr-x. 1 67974 users 1179 Jun 21 2014 stop-balancer.sh
-rwxr-xr-x. 1 67974 users 1414 Jun 21 2014 stop-dfs.cmd
-rwxr-xr-x. 1 67974 users 3206 Jun 21 2014 stop-dfs.sh
-rwxr-xr-x. 1 67974 users 1340 Jun 21 2014 stop-secure-dns.sh
-rwxr-xr-x. 1 67974 users 1595 Jun 21 2014 stop-yarn.cmd
-rwxr-xr-x. 1 67974 users 1340 Jun 21 2014 stop-yarn.sh
-rwxr-xr-x. 1 67974 users 4278 Jun 21 2014 yarn-daemon.sh
-rwxr-xr-x. 1 67974 users 1353 Jun 21 2014 yarn-daemons.sh
http://192.168.8.118:8088 (MR管理界面)
Hadoop学习笔记1:伪分布式环境搭建的更多相关文章
- Hadoop学习笔记—22.Hadoop2.x环境搭建与配置
自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔 ...
- 【Hadoop】伪分布式环境搭建、验证
Hadoop伪分布式环境搭建: 自动部署脚本: #!/bin/bash set -eux export APP_PATH=/opt/applications export APP_NAME=Ares ...
- 大数据:Hadoop(JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作)
所有的内容都来源与 Hadoop 官方文档 一.Hadoop 伪分布式安装步骤 1)JDK安装 解压:tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app 添加到系 ...
- 【Hadoop离线基础总结】CDH版本Hadoop 伪分布式环境搭建
CDH版本Hadoop 伪分布式环境搭建 服务规划 步骤 第一步:上传压缩包并解压 cd /export/softwares/ tar -zxvf hadoop-2.6.0-cdh5.14.0.tar ...
- CentOS7下Hadoop伪分布式环境搭建
CentOS7下Hadoop伪分布式环境搭建 前期准备 1.配置hostname(可选,了解) 在CentOS中,有三种定义的主机名:静态的(static),瞬态的(transient),和灵活的(p ...
- Solr学习笔记之1、环境搭建
Solr学习笔记之1.环境搭建 一.下载相关安装包 1.JDK 2.Tomcat 3.Solr 此文所用软件包版本如下: 操作系统:Win7 64位 JDK:jdk-7u25-windows-i586 ...
- Hadoop2.5.0伪分布式环境搭建
本章主要介绍下在Linux系统下的Hadoop2.5.0伪分布式环境搭建步骤.首先要搭建Hadoop伪分布式环境,需要完成一些前置依赖工作,包括创建用户.安装JDK.关闭防火墙等. 一.创建hadoo ...
- hive-2.2.0 伪分布式环境搭建
一,实验环境: 1, ubuntu server 16.04 2, jdk,1.8 3, hadoop 2.7.4 伪分布式环境或者集群模式 4, apache-hive-2.2.0-bin.tar. ...
- HDFS 伪分布式环境搭建
HDFS 伪分布式环境搭建 作者:Grey 原文地址: 博客园:HDFS 伪分布式环境搭建 CSDN:HDFS 伪分布式环境搭建 相关软件版本 Hadoop 2.6.5 CentOS 7 Oracle ...
随机推荐
- 在容器中运行 Jenkins pipeline 任务
持续集成中的 pipeline 技术和 docker 都是当前正在发展的主流方向,当然把它们结合起来在 CI/CD 过程中发挥出更强大的威力也是大家共同的目标.本文将介绍如何在 Jenkins pip ...
- 常用linux命令备忘
备忘: 关闭防火墙:# systemctl stop firewalld 查看防火墙状态:# systemctl status firewalld 停止防火墙:# systemctl disabl ...
- [Luogu 3835]【模板】可持久化平衡树
Description 您需要写一种数据结构(可参考题目标题),来维护一些数,其中需要提供以下操作(对于各个以往的历史版本): 插入x数 删除x数(若有多个相同的数,因只删除一个,如果没有请忽略该操作 ...
- hdu 5583 Kingdom of Black and White
Kingdom of Black and White Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 65536/65536 K (Ja ...
- bzoj2560串珠子 状压dp+容斥(?)
2560: 串珠子 Time Limit: 10 Sec Memory Limit: 128 MBSubmit: 515 Solved: 348[Submit][Status][Discuss] ...
- LAN、WAN、WLAN、WiFi之间的区别
感觉这几个概念让人傻傻分不清,下面以最常见的路由器来解释这几个概念. LAN 1 LAN,全称Local Area Network,中文名叫做局域网. 顾名思义,LAN是指在某一区域内由多台计算机 ...
- c++ primer第15章这几个例子中的构造函数形式不太理解
//向基类构造函数传递实参p491 class Bulk_item : public Item_base{ public: Bulk_item(,double disc_rate = 0.0): It ...
- 我用 tensorflow 实现的“一个神经聊天模型”:一个基于深度学习的聊天机器人
概述 这个工作尝试重现这个论文的结果 A Neural Conversational Model (aka the Google chatbot). 它使用了循环神经网络(seq2seq 模型)来进行 ...
- 在java中String类为什么要设计成final
在java中String类为什么要设计成final? - 胖胖的回答 - 知乎 https://www.zhihu.com/question/31345592/answer/114126087
- Linux 下 HTTP连接超时
将项目部署到现场环境,HTTP请求莫名奇妙的连接超时,通过抓包定位了问题,是请求的IP被禁止掉.其中用到了抓包,将记录记录于此. tcpdump host 120.197.89.51 -i any - ...