1.下载安装包

下载hadoop安装包

官网地址:https://hadoop.apache.org/releases.html

版本:建议使用hadoop-2.7.3.tar.gz

系统环境:CentOS 7

注:需要装有JDK支持,版本1.8或者更高

2.解压安装包

  • 默认软件安装路径为 /usr/soft,因此先传输安装包到该路径下
cd /usr/soft
tar -zxvf hadoop-2.7.3.tar.gz

3.环境变量配置

vi /ect/profile

文件末尾换行追加以下内容

export HADOOP_HOME=/usr/soft/hadoop-2.7.3
export HADOOP_MAPRED_HOME=HADOOP_HOME
export HADOOP_COMMON_HOME=HADOOP_HOME
export HADOOP_HDFS_HOME=HADOOP_HOME
export YARN_HOME=HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=HADOOP_HOME/lib/native
export PATH=PATH:HADOOP_HOME/sbin:HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

修改完配置后,更新文件

source /etc/profile

4.伪分布式配置

文件目录:/usr/soft/hadoop-2.7.3/etc/hadoop/

需要修改的文件:core-site.xml、hdfs-site.xml、mapred-site.xml 、yarn-site.xml

a) core-site.xml

先在hadoop文件夹内touch一个目录名为tmp

cd /usr/soft/hadoop-2.7.3
mkdir tmp

向文件中的configuration标签内添加以下内容:

1)fs.defaultFS = hdfs://192.168.0.103:9000 默认文件系统(本地默认 file:/位置)此处端口与HBASE端口设成一样

2)hadoop.tmp.dir=/usr/soft/hadoop-2.7.3/tmp

b) hdfs.site.xml

dfs.replication = 1 (副本个数,最少3个伪分布只写1个),进程于主机关系

c) mapred-site.xml

目录内并没有全名为mapred-site.xml的文件,但是有一个名为:mapred-site.xml.template

复制该文件重新命名为mapred-site.xml;

cd /usr/soft/hadoop-2.7.3/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml

修改配置文件:Mapreduce.framewok.name=yarn ,设置映射化简模型框架为yarn

<property>
<name>mapreduce.framewok.name</name>
<value>yarn</value>
</property>

d) yarn-site.xml

Yarn.resourcemanager.localhost=localhost //yarn站点名称

Yarn.nodemanager.aux-service=mapreduce_shuffle //辅助节点管理

e) hadoop-env.sh (可选)

最好将jdk配置的相对路径更改为绝对路径

文件修改完成!

5.配置SSH(安全套接字处理)

目的是使用脚步启动远程服务器的启动,必须使用shell登陆远程服务,但每个登陆都需要输入密码就非常麻烦,所有需要配置无密配置,需要在NameNode上生成私钥,把公钥发给DataNode

a) 生成秘钥对

ssh-keygen -t rsa

b)把公钥拷贝到秘钥库中

伪分布式时,复制到自己

cd ~/.ssh/
cat id_rsa.pub >> authorized_keys

完全分布式时,复制到DataNode(另一个计算机节点)

scp  root@主机名:~/.ssh/id_rsa.pub  ~/.ssh/id_rsa.pub
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

c) 把authorized_key权限设置为600

chmod 600 ~/.ssh/authorized_keys

注:想在宿主机中访问hadoop站点步骤

修改虚拟机中/etc/hosts文件删除127.0.0.1信息

增加信息

本机IP master
本机IP slave
本机IP localhost

6.格式化NameNode

hdfs namenode -format

如果提示没找到命令,重新检查第三步环境变量配置

7.启动Hadoop

启动命令(都存放在sbin 文件夹下)

cd /usr/soft/hadoop-2.7.3/sbin/

start-all.sh

start-dfs.sh
start-yarn.sh

8 检查启动状态

浏览器访问地址,出现页面即成功

本机地址:50070

CentOS7上安装伪分布式Hadoop的更多相关文章

  1. ubuntu 下安装伪分布式 hadoop

    安装准备: (1)hadoop安装包:hadoop-1.2.1.tar.gz (2)jdk安装包:jdk-7u60-linux-i586.gz (3)要是须要eclipse开发的话 还须要eclips ...

  2. ubuntu安装伪分布式Hadoop3.1.2

    作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 本文是基于已经安装好的ubuntu环境上搭建伪分布式hadoop,在 ...

  3. VMwareWorkstation 平台 Ubuntu14 下安装配置 伪分布式 hadoop

    VMwareWorkstation平台Ubuntu14下安装配置伪分布式hadoop 安装VmwareStation 内含注册机. 链接:https://pan.baidu.com/s/1j-vKgD ...

  4. 在centos7上安装Jenkins

    在centos7上安装Jenkins 安装 添加yum repos,然后安装 sudo wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins ...

  5. 在 CentOS7 上安装 zookeeper-3.4.9 服务

    在 CentOS7 上安装 zookeeper-3.4.9 服务 1.创建 /usr/local/services/zookeeper 文件夹: mkdir -p /usr/local/service ...

  6. 在 CentOS7 上安装 MongoDB

    在 CentOS7 上安装 MongoDB 1 通过 SecureCRT 连接至 CentOS7 服务器: 2 进入到 /usr/local/ 目录: cd /usr/local 3 在当前目录下创建 ...

  7. 在 CentOS7 上安装 MySQL5.7

    在 CentOS7 上安装 MySQL5.7 1 通过 SecureCRT 连接到阿里云 CentOS7 服务器: 2 进入到目录 /usr/local/ 中: cd /usr/local/ 3 创建 ...

  8. 在 CentOS7 上安装 Tomcat9

    在 CentOS7 上安装 Tomcat9 1 通过 SecureCRT 连接到阿里云 CentOS7 服务器: 2 进入到目录 /usr/local/ 中: cd /usr/local/ 3 创建目 ...

  9. 在CentOS7上安装JDK1.8

    在CentOS7上安装JDK1.8 1 通过 SecureCRT 连接到阿里云 CentOS7 服务器: 2 进入到目录 /usr/local/ 中: cd /usr/local/ 3 创建目录 to ...

随机推荐

  1. 虚拟局域网(VLAN)__语音VLAN

    1.语音VLAN特性使得访问端口能够携带来自IP电话的IP语音流量.当交换机连接到Cisco IP电话时,IP电话就用第3层IP优先级(precedence)和第2层服务级别(class of ser ...

  2. TCP/IP__TCP协议

    1.定位:传输控制协议(Transmission Control Protocol),是一种面向连接的.可靠的.基于字节流的传输层通信协议. 2.原理:应用层向TCP层发送用于网间传输的.用8位字节表 ...

  3. Flink-v1.12官方网站翻译-P010-Fault Tolerance via State Snapshots

    通过状态快照进行容错 状态后台 Flink管理的键控状态是一种碎片化的.键/值存储,每项键控状态的工作副本都被保存在负责该键的任务管理员的本地某处.操作员的状态也被保存在需要它的机器的本地.Flink ...

  4. 深入理解Js中的this

    深入理解Js中的this JavaScript作用域为静态作用域static scope,但是在Js中的this却是一个例外,this的指向问题就类似于动态作用域,其并不关心函数和作用域是如何声明以及 ...

  5. Codeforces Round #669 (Div. 2) A. Ahahahahahahahaha (构造)

    题意:有一个长度为偶数只含\(0\)和\(1\)的序列,你可以移除最多\(\frac{n}{2}\)个位置的元素,使得操作后奇数位置的元素和等于偶数位置的元素和,求新序列. 题解:统计\(0\)和\( ...

  6. 接口测试框架Requests

    目录 Requests Requests安装 Requests常见接口请求方法构造 请求目标构造 header构造 cookie 构造请求体 Get Query请求 Form请求参数 JSON请求体构 ...

  7. C# 类 (10) - 命名空间NameSpace

    NameSpace 命名空间是一系列 类型的集合,比如很多方法,很多类,集合在一个空间(myspace)里,谁想用就先 using myspace,然后直接用不using myspace的话,想用里面 ...

  8. Kafka 博文索引

    博文索引 KafkaBroker 简析 KafkaConsumer 简析 KafkaProducer 简析 KafkaMirrorMaker 的不足以及一些改进 Kafka 简介 数据是系统的燃料,系 ...

  9. Set DSL in Ubuntu 18.04

    Reference Solutions: Ctrl+Atl+t Type nmcli con edit type pppoe con-name ANY_NAME_OF_DSL_YOU_LIKE, wh ...

  10. React 性能优化 All In One

    React 性能优化 All In One Use CSS Variables instead of React Context https://epicreact.dev/css-variables ...