Hadoop的伪分布式安装和部署的流程
1、准备工作
下载一些用到的命令
yum install -y vim
yum install -y lrzsz
yum install net-tools
目录约定
/opt #工作目录
/opt/install #安装包
/opt/softwar #软件包
/opt/other #其它
/opt/test #测试
cd /opt
mkdir install software other test #新建目录
JDK安装
cd /opt/install #进入安装包目录
rz jdk-8u221-linux-x64.tar.gz #上传JDK
tar -zxvf jdk-8u221-linux-x64.tar.gz #解压JDK
mv jdk1.8.0_221 jdk1.8 #改名为JDK1.8
mv jdk1.8 ../software #移动到/opt/software目录
配置jdk环境变量
vim /etc/profile #编辑环境变量
JAVA_HOME=/opt/software/jdk1.8 #添加JAVA_HOME变量
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin
source /etc/profile #生效配置
修改主机名
vim /etc/hostname #编辑主机名
hdp01 #主机名以hdp01为例
修改主机映射
vim /etc/hosts #编辑主机映射
192.168.0.32 hdp01 #主机的ip对应主机名
配置免密登录
ssh-keygen #生成公钥
ssh-copy-id hdp01 #设置自己为免密登录
2、下载安装伪分布式
hadoop安装
cd /opt/install #进入安装包目录 rz hadoop-2.7.7.tar.gz #上传hadoop tar -zxvf hadoop-2.7.7.tar.gz #解压hadoop mv hadoop-2.7.7 ../software #移动到/opt/software目录
修改hadoop的6个配置文件
cd /opt/software/hadoop-2.7.7/etc/hadoop #进入配置文件目录
hadoop-env.sh
vim hadoop-env.sh #编辑配置文件hadoop-env.sh export JAVA_HOME=/opt/software/jdk1.8 #修改25行 export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop #修改33行
core-site.xml
vim core-site.xml #编辑配置文件core-site.xml <configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdp01:9000</value> #hdp01为 主机名
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/opt/software/hadoop-2.7.7/tmp</value>
</property> </configuration>
hdfs-site.xml
vim hdfs-site.xml #编辑配置文件hdfs-site.xml <configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml
cp mapred-site.xml.template mapred-site.xml #拷贝例子
vim mapred-site.xml #编辑配置文件mapred-site.xml <configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
vim yarn-site.xml #编辑配置文件yarn-site.xml <configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp01</value> #hdp01为主机名
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
slaves
vim slaves #编辑配置文件slaves hdp01 #主机名
配置hadoop的环境变量
vim /etc/profile #编辑环境变量 JAVA_HOME=/opt/software/jdk1.8
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
HADOOP_HOME=/opt/software/hadoop-2.7.7
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile #生效配置
格式化文件系统
hadoop namenode -format
运行服务器
start-all.sh #开启
stop-all.sh #关闭
查看系统端口
netstat -nltup
Hadoop的伪分布式安装和部署的流程的更多相关文章
- Hadoop的伪分布式安装和部署流程
在opt目录创建install software test other四个目录 /opt/installed #安装包/opt/software #软件包/opt/other #其他/opt/test ...
- Hadoop开发第3期---Hadoop的伪分布式安装
一.准备工作 1. 远程连接工具的安装 PieTTY 是在PuTTY 基础上开发的,改进了Putty 的用户界面,提供了多语种支持.Putty 作为远程连接linux 的工具,支持SSH 和telne ...
- Hadoop之伪分布式安装
一.Hadoop的安装模式有3种 ①单机模式:不能使用HDFS,只能使用MapReduce,所以单击模式主要用于测试MR程序. ②伪分布式模式:用多个线程模拟真实多台服务器,即模拟真实的完全分布式环境 ...
- 【Hadoop】伪分布式安装
创建hadoop用户 创建用户命令: sudo useradd -m hadoop -s /bin/bash 创建好后需要更改hadoop用户的密码,命令如下: sudo passwd hadoop ...
- 【hadoop】 hadoop 单机伪分布式安装
准备: 虚拟机(CentOS 6.9) JDK1.8 hadoop2.8.0 一.JDK安装及配置 rpm -ivh jdkxxxx 安装 配置环境变量 vim /etc/profile export ...
- 伪分布式安装core-site.xml和hdfs-site.xml配置文件
hadoop的伪分布式安装流程如下所示: 其中core-site.xml和hdfs-site.xml是两个很重要的配置文件. core-site.xml <configuration> & ...
- 伪分布式安装Hadoop
Hadoop简单介绍 Hadoop:适合大数据分布式存储与计算的平台. Hadoop两大核心项目: 1.HDFS:Hadoop分布式文件系统 HDFS的架构: 主从结构: 主节点,只有一个:namen ...
- hadoop 2.7.3伪分布式安装
hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...
- Hadoop单机和伪分布式安装
本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit 本机名称 hadoop001 本机IP ...
随机推荐
- Steam 游戏 《Crashlands(崩溃大陆)》修改器制作-[先使用CE写,之后有时间的话改用CheatMaker](2020年寒假小目标12)
日期:2020.02.15 博客期:155 星期六 [温馨提示]: 只是想要修改器的网友,可以直接点击此链接下载: 只是想拿CT文件的网友,可以直接点击此链接下载: 没有博客园账号的网友,可以将页面下 ...
- .NET Core快速入门教程 4、使用VS Code进行C#代码调试的技巧
一.前言 什么是代码调试? 通过调试可以让我们了解代码运行过程中的代码执行信息,比如变量的值等等.通常调试代码是为了方便我们发现代码中的bug. 本篇开发环境 1.操作系统: Windows 10 X ...
- lc 0228
目录 ✅ 412. Fizz Buzz 描述 解答 c数字转字符: other's c my c tdo py ✅ 235. 二叉搜索树的最近公共祖先 描述 解答 评价者 思路: c py ✅ 412 ...
- 静态成员、final成员、面向对象接口
静态成员 静态属性定义时在访问控制关键字后面加static 在类定义中使用静态成员的时候,用self关键字后面跟着::操作符,在访问静态成员的时候::后面需要跟$符号 在类定义外部访问静态属性,用类名 ...
- Android 短信模块分析(七) MMS数据库定义及结构整理
一. mmssms.db 数据库mmssms.db中表的定义见表4.1至4.18所示: 表4.1 addr(彩信地址) 字段名 类型 描述 备注 _id INTEGER PRIMARY_KEY 主键I ...
- 图书商城(基于Jsp+Servlet)
这个项目主要是加深一下对于servlet和jsp知识相关的了解以及简单业务逻辑的处理. 用户更新的逻辑: 1.点击修改用户的那一行可以获取到用户的id 2.跳转到一个servlet,去查询该用户的基本 ...
- Python之时间和日期模块
1.import time 先要导入时间模块 1)time.time()得到当前的时间,返回的是时间戳,表示自1970年1月1日起到程序运行时的秒数 import time print(time.ti ...
- 操作系统OS,Python - 多进程(multiprocessing)、多线程(multithreading)
多进程(multiprocessing) 参考: https://docs.python.org/3.6/library/multiprocessing.html 1. 多进程概念 multiproc ...
- PPT页面切换动画
想要自己的PPT更加炫酷一些的话,可以再给每个页面的切换,加上动画效果. 第一步,按住ctrl键,鼠标点击选择想要增加切换动画的页面,然后点击菜单栏的“切换” 第二步,在切换菜单下面选择具体的切换效果 ...
- String_Java
1.substring() 方法返回字符串的子字符串. 语法 public String substring(int beginIndex)//返回第beginIndex个字符以后的子字符串 或 pu ...