hadoop 伪分布配置
配置 Hadoop 伪分布式
任务配置说明:
VMware 15
Centos 6.5
java -jdk 1.8
hadoop-2.6.0-cdh5.14.0.tar.gz
第一步
自行安装虚拟机
第二步 开始大配置
修改主机名和用户名
vim /etc/sysconfig/network --(将HOSTNAME=) 改为master(主机的意思)
vim /etc/hosts --(增加一行内容 ip master)
配置静态ip
vim /etc/sysconfig/network-scripts/ifcfg-eth0
修改内容如下:
DEVICE=eth0 (网卡名称)
HWADDR=00:0C:29:63:C3:47
TYPE=Ethernet
UUID=7cce5090-6637-40fc-a47e-9f5e2d561b46
ONBOOT=yes (必须设置 设置启动)
NM_CONTROLLED=yes
BOOTPROTO=static (静态)
IPADDR=192.168.65.21 --(你的ip)
NETMASK=255.255.255.0 --(子网掩码)
GATEWAY=192.168.65.1 --(网关)
DNS1=114.114.114.114 --(DNS)
配置SSH无密码连接
关闭防火墙
service iptables stop --(仅一次性关闭防火墙 再次开机防火墙就重新开启了)
chkconfig iptables off --(永久关闭防火墙 防止重启防火墙自启动)
配置 SSH
安装 ssh
yum install ssh
安装 rsync
yum install rsync
启动 SSH 服务命令
service sshd restart
检查 ssh 是否已经安装成功 可以执行 rpm -qa | grep openssh
出现
[hadoop@master ~]$ rpm -qa | grep openssh
openssh-server-5.3p1-94.el6.x86_64
openssh-clients-5.3p1-94.el6.x86_64
openssh-5.3p1-94.el6.x86_64
openssh-askpass-5.3p1-94.el6.x86_64代表成功
检查 rsync 是否安装成功 可执行 rpm -qa | grep rsync
出现
[hadoop@master ~]$ rpm -qa | grep rsync
rsync-3.0.6-12.el6.x86_64代表成功
生成 SSH 公钥 (只可以生成当前执行用户的秘钥)
ssh-keygen -t rsa --(连续回车即可)
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop(用户名)@master(主机名)
验证 ssh master
4.配置 java 环境
安装 Java jdk
卸载初始系统存在的jdk
检查 是否安装了jdk
rpm -qa | grep jdk
如果出现了返回值 那么使用 yum -y remove xxx(将返回值输入即可)
安装 JDK (需要实现上传)
tar -zxvf jdk-8u221-linux-x64.tar.gz --(解压压缩包)
修改环境配置文件
vim /etc/profile
文件末尾添加
#java --(注释代表java)
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_221 --(你java安装目录)
export PATH=$PATH:$JAVA_HOME/bin
让配置文件修改后生效
source /etc/profile
验证 java是否安装成功 --(输入java命令即可)
[hadoop@master jdk1.8.0_221]$ java
如若返回一大页东西则安装成功 java -version可以查看当前java版本信息
5.配置 hadoop 环境
老样子 先解压
tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz
修改配置文件信息
进入 hadoop 配置文件目录 cd /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
修改 hadoop-env.sh 文件 末尾追加以下内容
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_221
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.14.0
修改 core-site.xml 文件
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>修改 hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/app/hadoop-2.6.0-cdh5.14.0/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/app/hadoop-2.6.0-cdh5.14.0/hdfs/data</value>
</property>
</configuration>修改 mapred-site.xml
可以看到我们目录中没有mapred-site.xml 我们可以通过模板拷贝出来一个
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
添加如下内容
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
修改 yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8080</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8082</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>修改 slaves
master
至此,Hadoop 安装配置工作全部完成,为了能在任何路径下使用 Hadoop 命令,还需要配置环境变量
对 /etc/profile 追加如下信息
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.14.0
export PATH=$PATH:$HADOOP_HOME/bin对 环境配置文件生效
[hadoop@master hadoop]$ source /etc/profile
在第一次启动 Hadoop 之前,必须对 HDFS 格式化,执行命令
[hadoop@master hadoop]$ hadoop namenode -format
第三步
启动 Hadoop
格式化 Hadoop 完成后,便可以启动 hadoop ,不过首先我们赋予脚本可执行权限
[hadoop@master hadoop]$ chmod +x -R /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/sbin
然后就可以启动集群了 执行启动脚本 --(进入hadoop的sbin脚本目录)
[hadoop@master sbin]$ cd /home/hadoop/app/hadoop-2.6.0-cdh5.14.0/sbin
执行脚本
[hadoop@master sbin]$ bash start-all.sh
最后检查要启动的节点是否正常启动
[hadoop@master sbin]$ jps
9025 DataNode
9185 SecondaryNameNode
8899 NameNode
9335 ResourceManager
9432 NodeManager
9644 Jps至此 一切完成
第四步
我们可以打开浏览器查看我们的HDFS
如果 linux 有浏览器可以通过浏览器地址输入
master:50070 --(即可访问)
如果 想在windows访问 打开浏览器
linuxip:50070
例如我的:192.168.65.21:50070
大功告成了
hadoop 伪分布配置的更多相关文章
- Hadoop伪分布配置与基于Eclipse开发环境搭建
国内私募机构九鼎控股打造APP,来就送 20元现金领取地址:http://jdb.jiudingcapital.com/phone.html内部邀请码:C8E245J (不写邀请码,没有现金送)国内私 ...
- centos 6.4-linux环境配置,安装hadoop-1.1.2(hadoop伪分布环境配置)
1 Hadoop环境搭建 hadoop 的6个核心配置文件的作用: core-site.xml:核心配置文件,主要定义了我们文件访问的格式hdfs://. hadoop-env.sh:主要配置我们的j ...
- hadoop2.6.0 + hbase-1.0.0 伪分布配置
1 基本配置 主机名: 192.168.145.154 hadoop2 ======= 2 etc/hadoop下文件配置 1)core-site.xml <configuration> ...
- Data - Hadoop伪分布式配置 - 使用Hadoop2.8.0和Ubuntu16.04
系统版本 anliven@Ubuntu1604:~$ uname -a Linux Ubuntu1604 4.8.0-36-generic #36~16.04.1-Ubuntu SMP Sun Feb ...
- Hadoop伪分布安装配置
安装环境: 系统:Ubuntu 14.10 64bit hadoop:2.5.1 jdk:1.8.0_11 安装步骤: 一.安装JDK 安装 jdk,并且配置环境以及设置成默认 sudo gedi ...
- hadoop伪分布安装
解压 将安装包hadoop-2.2.0.tar.gz存放到/home/haozhulin/install/目录下,并解压 #将hadoop解压到/home/haozhulin/install路径下,定 ...
- Hadoop伪分布安装详解(五)
目录: 1.修改主机名和用户名 2.配置静态IP地址 3.配置SSH无密码连接 4.安装JDK1.7 5.配置Hadoop 6.安装Mysql 7.安装Hive 8.安装Hbase 9.安装Sqoop ...
- hadoop 伪分布启动-fs格式化
1.独立模式(standalone|local) nothing! 本地文件系统. 不需要启用单独进程. 2.pesudo(伪分布模式) 等同于完全分布式,只有一个节点. SSH: //(Socket ...
- Hadoop伪分布搭建
一.伪分布式的搭建 1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改 ...
随机推荐
- NKOJ3765 k个最小和
问题描述 有k个整数数组,各包含k个元素,从每个数组中选取一个元素加起来,可以得到k^k个和,求这些和中最小的k个值. 输入格式 第一行,一个整数k(k<=500)接下来k行,每行k个正整数(& ...
- C/C++知识总结 一 C/C++常识概述
C/C++常识概述 程序与计算机语言 C/C++简介与发展 C/C++异同 C/C++编译特点 学习编程建议 程序与计算机语言 程序:是一组计算机能识别和执行.预先编好的一些指令操作合集. 计算机语言 ...
- My背包九讲——概述
文章目录 什么是背包问题 背包问题的分类 [第一讲 01背包问题](https://blog.csdn.net/qq_34261446/article/details/103705068) 第二讲 完 ...
- Asp.Net.Core WebApi 版本控制
前言 在后端Api的开发过程中,无法避免的会遇到接口迭代的过程,如何保证新老接口的共存和接口的向前的兼容呢,这时候就需要对Api进行版本的控制,那如何优雅的控制Api的版本呢? 开始 Microsof ...
- 感动,我终于学会了Java对数组求和
前言 看到题目是不是有点疑问:你确定你没搞错?!数组求和???遍历一遍累加起来不就可以了吗??? 是的,你说的都对,都听你的,但是我说的就是数组求和,并且我也确实是刚刚学会.╮(╯▽╰)╭ 继续看下去 ...
- python工业互联网监控项目实战2—OPC
OPC(OLE for Process Control)定义:指为了给工业控制系统应用程序之间的通信建立一个接口标准,在工业控制设备与控制软件之间建立统一的数据存取规范.它给工业控制领域提供了一种标准 ...
- Linux如何配制Tcl编程环境
首先,打开终端. 接着在终端输入以下命令: sudo apt-get install tcl
- C++11中的四种类型转换
static_cast 基础数据类型转换(基本类型) 同一继承体系中类型的转换(父子类型) 任意类型与空指针(void *)之间的转换(指针类型) dynamic_cast 执行派生类指针或引用与基类 ...
- 史上最详细mac安装Qt教程
史上最详细mac安装Qt教程,小白看过来! 这是一篇非常适合Qt入门小白的的安装Qt教程,因为这学期我们小组的一个关于高速救援的项目要用到Qt与web进行交互式展现相关的图像,由于没有MSVC这个插件 ...
- Go语言 命令行解析(一)
命令行启动服务的方式,在后端使用非常广泛,如果有写过C语言的同学相信不难理解这一点!在C语言中,我们可以根据argc和argv来获取和解析命令行的参数,从而通过不同的参数调取不同的方法,同时也可以用U ...