1、准备工作

下载一些用到的命令

yum install -y vim
yum install -y lrzsz
yum install net-tools

目录约定

/opt            #工作目录
/opt/install #安装包
/opt/softwar #软件包
/opt/other #其它
/opt/test #测试
cd /opt
mkdir install software other test #新建目录

JDK安装

cd /opt/install     #进入安装包目录

rz jdk-8u221-linux-x64.tar.gz #上传JDK

tar -zxvf jdk-8u221-linux-x64.tar.gz #解压JDK

mv jdk1.8.0_221 jdk1.8 #改名为JDK1.8

mv jdk1.8 ../software #移动到/opt/software目录

配置jdk环境变量

vim /etc/profile      #编辑环境变量

JAVA_HOME=/opt/software/jdk1.8 #添加JAVA_HOME变量
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin

source /etc/profile #生效配置

修改主机名

vim /etc/hostname   #编辑主机名

hdp01 #主机名以hdp01为例

修改主机映射

vim /etc/hosts    #编辑主机映射

192.168.0.32 hdp01 #主机的ip对应主机名

配置免密登录

ssh-keygen      #生成公钥

ssh-copy-id hdp01 #设置自己为免密登录

2、下载安装伪分布式

hadoop安装

cd /opt/install        #进入安装包目录

rz hadoop-2.7.7.tar.gz    #上传hadoop

tar -zxvf hadoop-2.7.7.tar.gz  #解压hadoop

mv hadoop-2.7.7 ../software    #移动到/opt/software目录

修改hadoop的6个配置文件

cd /opt/software/hadoop-2.7.7/etc/hadoop    #进入配置文件目录

hadoop-env.sh

vim hadoop-env.sh        #编辑配置文件hadoop-env.sh

export JAVA_HOME=/opt/software/jdk1.8  #修改25行

export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop  #修改33行

core-site.xml

vim    core-site.xml         #编辑配置文件core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hdp01:9000</value> #hdp01为 主机名
</property> <property>
<name>hadoop.tmp.dir</name>
<value>/opt/software/hadoop-2.7.7/tmp</value>
</property> </configuration>

hdfs-site.xml

vim    hdfs-site.xml         #编辑配置文件hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

mapred-site.xml

cp mapred-site.xml.template  mapred-site.xml    #拷贝例子
vim mapred-site.xml #编辑配置文件mapred-site.xml <configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

yarn-site.xml

vim yarn-site.xml         #编辑配置文件yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hdp01</value> #hdp01为主机名
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

slaves

vim slaves         #编辑配置文件slaves

hdp01        #主机名

配置hadoop的环境变量

vim /etc/profile        #编辑环境变量

JAVA_HOME=/opt/software/jdk1.8
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
HADOOP_HOME=/opt/software/hadoop-2.7.7
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile #生效配置

格式化文件系统

hadoop namenode -format

运行服务器

start-all.sh  #开启
stop-all.sh #关闭

查看系统端口

netstat -nltup

Hadoop的伪分布式安装和部署的流程的更多相关文章

  1. Hadoop的伪分布式安装和部署流程

    在opt目录创建install software test other四个目录 /opt/installed #安装包/opt/software #软件包/opt/other #其他/opt/test ...

  2. Hadoop开发第3期---Hadoop的伪分布式安装

    一.准备工作 1. 远程连接工具的安装 PieTTY 是在PuTTY 基础上开发的,改进了Putty 的用户界面,提供了多语种支持.Putty 作为远程连接linux 的工具,支持SSH 和telne ...

  3. Hadoop之伪分布式安装

    一.Hadoop的安装模式有3种 ①单机模式:不能使用HDFS,只能使用MapReduce,所以单击模式主要用于测试MR程序. ②伪分布式模式:用多个线程模拟真实多台服务器,即模拟真实的完全分布式环境 ...

  4. 【Hadoop】伪分布式安装

    创建hadoop用户 创建用户命令: sudo useradd -m hadoop -s /bin/bash 创建好后需要更改hadoop用户的密码,命令如下: sudo passwd hadoop ...

  5. 【hadoop】 hadoop 单机伪分布式安装

    准备: 虚拟机(CentOS 6.9) JDK1.8 hadoop2.8.0 一.JDK安装及配置 rpm -ivh jdkxxxx 安装 配置环境变量 vim /etc/profile export ...

  6. 伪分布式安装core-site.xml和hdfs-site.xml配置文件

    hadoop的伪分布式安装流程如下所示: 其中core-site.xml和hdfs-site.xml是两个很重要的配置文件. core-site.xml <configuration> & ...

  7. 伪分布式安装Hadoop

    Hadoop简单介绍 Hadoop:适合大数据分布式存储与计算的平台. Hadoop两大核心项目: 1.HDFS:Hadoop分布式文件系统 HDFS的架构: 主从结构: 主节点,只有一个:namen ...

  8. hadoop 2.7.3伪分布式安装

    hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...

  9. Hadoop单机和伪分布式安装

    本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit   本机名称 hadoop001   本机IP ...

随机推荐

  1. MySQL - Schema和Database的区别

    问题来源 在pycharm发现Create new schema的效果和新建数据库一样,所以产生这个问题 参考 https://stackoverflow.com/questions/11618277 ...

  2. xshell 快捷键总结

    ##快捷键 linux tab == 命令补全,路径补全.如果tab不到,就代表对于当前用户环境系统找不到这个目录或者路径,有可能有,但是没有放在PATH中 ctrl + a == a:26个字母的第 ...

  3. 例题3_1 TeX中的引号(TeX Quotes,UVa 272)

    在TeX中,左双引号是“``”,右双引号是“''”.输入一篇包含双引号的文章,你的任务是把它转换成TeX的格式. 样例输入: "To be or not to be,"quoth ...

  4. spring 参数校验

    1.了解下资源文件加载 MessageSource   需要国际化处理时使用这个类 (在需要处理国际化的地方使用messageSource.getMessage(this.getResponseCod ...

  5. Mongodb 分片原理

    1.主从mongodb 模式 类似,MySQL的主从配置  参照:https://blog.csdn.net/liusong0605/article/details/11551699 mongoDB有 ...

  6. django之路由分组,路由分发,FBV,CBV,ORM框架

    今日的内容: a. 路由系统 1. 创建app 2. 路由的分组 3. 路由的分发 - 正则表达式匹配 b. django的orm(模型model) 1. 创建模型的步骤 2. orm基本的增删改查 ...

  7. python的matplotlib的热门可视化动图

    1.图 2.代码 import pandas as pd import matplotlib as mpl import matplotlib.pyplot as plt import matplot ...

  8. ASA-ACL类型

    安全设备支持下面5种不同类型的ACl: 标准ACL 扩展ACL(可匹配v4&v6流量) EtherType ACL (以太网类型ACL) WebType ACL(Web类型ACL) 1.标准A ...

  9. 洛谷P1086花生采摘(简单模拟)

    题目描述 鲁宾逊先生有一只宠物猴,名叫多多.这天,他们两个正沿着乡间小路散步,突然发现路边的告示牌上贴着一张小小的纸条:“欢迎免费品尝我种的花生!――熊字”. 鲁宾逊先生和多多都很开心,因为花生正是他 ...

  10. Jedis实现频道的订阅,取消订阅

     第一步:创建一个发布者 package work; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; i ...