Hadoop的伪分布式安装和部署的流程
1、准备工作
下载一些用到的命令
yum install -y vim
yum install -y lrzsz
yum install net-tools
目录约定
/opt #工作目录
/opt/install #安装包
/opt/softwar #软件包
/opt/other #其它
/opt/test #测试
cd /opt
mkdir install software other test #新建目录
JDK安装
cd /opt/install #进入安装包目录
rz jdk-8u221-linux-x64.tar.gz #上传JDK
tar -zxvf jdk-8u221-linux-x64.tar.gz #解压JDK
mv jdk1.8.0_221 jdk1.8 #改名为JDK1.8
mv jdk1.8 ../software #移动到/opt/software目录
配置jdk环境变量
vim /etc/profile #编辑环境变量
JAVA_HOME=/opt/software/jdk1.8 #添加JAVA_HOME变量
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
source /etc/profile #生效配置
修改主机名
vim /etc/hostname #编辑主机名
hdp01 #主机名以hdp01为例
修改主机映射
vim /etc/hosts #编辑主机映射
192.168.0.32 hdp01 #主机的ip对应主机名
配置免密登录
ssh-keygen #生成公钥
ssh-copy-id hdp01 #设置自己为免密登录
2、下载安装伪分布式
hadoop安装
cd /opt/install #进入安装包目录 rz hadoop-2.7.7.tar.gz #上传hadoop tar -zxvf hadoop-2.7.7.tar.gz #解压hadoop mv hadoop-2.7.7 ../software #移动到/opt/software目录
修改hadoop的6个配置文件
cd /opt/software/hadoop-2.7.7/etc/hadoop #进入配置文件目录
hadoop-env.sh
vim hadoop-env.sh #编辑配置文件hadoop-env.sh export JAVA_HOME=/opt/software/jdk1.8 #修改25行 export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop #修改33行
core-site.xml
vim core-site.xml #编辑配置文件core-site.xml <configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdp01:9000</value> #hdp01为 主机名
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/opt/software/hadoop-2.7.7/tmp</value>
</property> </configuration>
hdfs-site.xml
vim hdfs-site.xml #编辑配置文件hdfs-site.xml <configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml
cp mapred-site.xml.template mapred-site.xml #拷贝例子
vim mapred-site.xml #编辑配置文件mapred-site.xml <configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
vim yarn-site.xml #编辑配置文件yarn-site.xml <configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp01</value> #hdp01为主机名
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
slaves
vim slaves #编辑配置文件slaves hdp01 #主机名
配置hadoop的环境变量
vim /etc/profile #编辑环境变量 JAVA_HOME=/opt/software/jdk1.8
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
HADOOP_HOME=/opt/software/hadoop-2.7.7
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile #生效配置
格式化文件系统
hadoop namenode -format
运行服务器
start-all.sh #开启
stop-all.sh #关闭
查看系统端口
netstat -nltup
Hadoop的伪分布式安装和部署的流程的更多相关文章
- Hadoop的伪分布式安装和部署流程
在opt目录创建install software test other四个目录 /opt/installed #安装包/opt/software #软件包/opt/other #其他/opt/test ...
- Hadoop开发第3期---Hadoop的伪分布式安装
一.准备工作 1. 远程连接工具的安装 PieTTY 是在PuTTY 基础上开发的,改进了Putty 的用户界面,提供了多语种支持.Putty 作为远程连接linux 的工具,支持SSH 和telne ...
- Hadoop之伪分布式安装
一.Hadoop的安装模式有3种 ①单机模式:不能使用HDFS,只能使用MapReduce,所以单击模式主要用于测试MR程序. ②伪分布式模式:用多个线程模拟真实多台服务器,即模拟真实的完全分布式环境 ...
- 【Hadoop】伪分布式安装
创建hadoop用户 创建用户命令: sudo useradd -m hadoop -s /bin/bash 创建好后需要更改hadoop用户的密码,命令如下: sudo passwd hadoop ...
- 【hadoop】 hadoop 单机伪分布式安装
准备: 虚拟机(CentOS 6.9) JDK1.8 hadoop2.8.0 一.JDK安装及配置 rpm -ivh jdkxxxx 安装 配置环境变量 vim /etc/profile export ...
- 伪分布式安装core-site.xml和hdfs-site.xml配置文件
hadoop的伪分布式安装流程如下所示: 其中core-site.xml和hdfs-site.xml是两个很重要的配置文件. core-site.xml <configuration> & ...
- 伪分布式安装Hadoop
Hadoop简单介绍 Hadoop:适合大数据分布式存储与计算的平台. Hadoop两大核心项目: 1.HDFS:Hadoop分布式文件系统 HDFS的架构: 主从结构: 主节点,只有一个:namen ...
- hadoop 2.7.3伪分布式安装
hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...
- Hadoop单机和伪分布式安装
本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit 本机名称 hadoop001 本机IP ...
随机推荐
- MySQL - Schema和Database的区别
问题来源 在pycharm发现Create new schema的效果和新建数据库一样,所以产生这个问题 参考 https://stackoverflow.com/questions/11618277 ...
- xshell 快捷键总结
##快捷键 linux tab == 命令补全,路径补全.如果tab不到,就代表对于当前用户环境系统找不到这个目录或者路径,有可能有,但是没有放在PATH中 ctrl + a == a:26个字母的第 ...
- 例题3_1 TeX中的引号(TeX Quotes,UVa 272)
在TeX中,左双引号是“``”,右双引号是“''”.输入一篇包含双引号的文章,你的任务是把它转换成TeX的格式. 样例输入: "To be or not to be,"quoth ...
- spring 参数校验
1.了解下资源文件加载 MessageSource 需要国际化处理时使用这个类 (在需要处理国际化的地方使用messageSource.getMessage(this.getResponseCod ...
- Mongodb 分片原理
1.主从mongodb 模式 类似,MySQL的主从配置 参照:https://blog.csdn.net/liusong0605/article/details/11551699 mongoDB有 ...
- django之路由分组,路由分发,FBV,CBV,ORM框架
今日的内容: a. 路由系统 1. 创建app 2. 路由的分组 3. 路由的分发 - 正则表达式匹配 b. django的orm(模型model) 1. 创建模型的步骤 2. orm基本的增删改查 ...
- python的matplotlib的热门可视化动图
1.图 2.代码 import pandas as pd import matplotlib as mpl import matplotlib.pyplot as plt import matplot ...
- ASA-ACL类型
安全设备支持下面5种不同类型的ACl: 标准ACL 扩展ACL(可匹配v4&v6流量) EtherType ACL (以太网类型ACL) WebType ACL(Web类型ACL) 1.标准A ...
- 洛谷P1086花生采摘(简单模拟)
题目描述 鲁宾逊先生有一只宠物猴,名叫多多.这天,他们两个正沿着乡间小路散步,突然发现路边的告示牌上贴着一张小小的纸条:“欢迎免费品尝我种的花生!――熊字”. 鲁宾逊先生和多多都很开心,因为花生正是他 ...
- Jedis实现频道的订阅,取消订阅
第一步:创建一个发布者 package work; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; i ...