相关链接

   Hadoop 完全分布式安装


0. 说明

  SecondaryNameNode 的作用  参考【待补充】

  在 Hadoop 完全分布式的基础之上配置

  将 SecondaryNameNode 配置到 s105 节点上

  集群规划如下

服务器主机名 ip 节点配置
s101 192.168.23.101 NameNode / ResourceManager 
s102 192.168.23.102 DataNode / NodeManager
s103 192.168.23.103 DataNode / NodeManager
s104 192.168.23.104 DataNode / NodeManager
s105 192.168.23.105 SecondaryNameNode

1. 配置 root 用户的 SSH 免密登陆

  1.1 在 s101 节点上切换到 root 用户

  1. su root

  1.2 生成公私密钥对

  1. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

  1.3 配置免密登陆(完成后退出 root 用户)

  1. ssh-copy-id root@s101
  2. ssh-copy-id root@s102
  3. ssh-copy-id root@s103
  4. ssh-copy-id root@s104
  5. ssh-copy-id root@s105

2. 编写 xcall.sh 脚本

  说明

  xcall.sh 脚本编写是为了多个节点同时执行相同的命令

  xcall.sh 脚本如下:

  1. #!/bin/bash
  2.  
  3. # for循环
  4. for((i= ; i<=; i++)) ; do
  5. # 更改文本颜色
  6. tput setaf
  7. # 输出以下文本
  8. echo ==================== s$i $@ ===================
  9. # 更改文本颜色
  10. tput setaf
  11. # ssh 远程登陆主机 s$i ,执行输入的参数的命令
  12. ssh s$i $@
  13. done

  为 xcall.sh 赋予可执行权限

  1. chmod a+x xcall.sh

  编写完成之后,将其发送到 /usr/local/bin 下。

  1. mv xcall.sh /usr/local/bin

  创建 jps 软链接

  在 /usr/local/bin 中为 jps 创建软连接(每个服务器都要创建)

  1. ln -s /soft/jdk/bin/jps /usr/local/bin/jps

3. 编写 xsync.sh 脚本

  说明

  xsync.sh 脚本编写是为了从主节点同步配置文件到子节点

  xsync.sh 脚本如下:

  1. #!/bin/bash
  2.  
  3. # 指出当前用户名
  4. name=`whoami`
  5. # 指定文件所在文件夹名称
  6. dir=`dirname $`
  7. # 指定文件的文件名
  8. filename=`basename $`
  9. # 进入到dir中
  10. cd $dir
  11. # 得到当前目录的绝对路径
  12. fullpath=`pwd`
  13.  
  14. for((i= ; i<=; i++)) ; do
  15. tput setaf
  16. echo ==================== s$i $@ ===================
  17. tput setaf
  18. # 远程同步命令 l 保留软连接 r 递归文件夹
  19. rsync -lr $filename "$name"@s"$i":$fullpath
  20. done

  为 xsync.sh 赋予可执行权限

  1. chmod a+x xsync.sh

  编写完成之后,将其发送到 /usr/local/bin 下。

  1. mv xsync.sh /usr/local/bin

  使用 root 用户权限在所有机器上安装 rsync

  1. xcall.sh yum install -y rsync

4. 修改 & 分发配置文件

  4.1 修改配置文件 [ hdfs-site.xml ]

  位置在 /soft/hadoop/etc/hadoop/hdfs-site.xml

  添加配置

  1. <property>
  2. <name>dfs.namenode.secondary.http-address</name>
  3. <value>s105:50090</value>
  4. </property>

  4.2 分发配置文件

  删除其他节点的所有 hdfs-site.xml

  1. ssh s102 rm -r /soft/hadoop/etc/hadoop/hdfs-site.xml
  2. ssh s103 rm -r /soft/hadoop/etc/hadoop/hdfs-site.xml
  3. ssh s104 rm -r /soft/hadoop/etc/hadoop/hdfs-site.xml
  4. ssh s105 rm -r /soft/hadoop/etc/hadoop/hdfs-site.xml

  

  使用 xsync.sh 脚本将所有配置文件进行同步

  1. xsync.sh /soft/hadoop/etc/hadoop/hdfs-site.xml

5. 启动 Hadoop & 验证 SecondaryNameNode 配置成功

  启动 Hadoop

  1. start-all.sh

  验证 SecondaryNameNode 配置成功

  1. xcall.sh jps

  


将 SecondaryNameNode 配置到 s105 节点上的更多相关文章

  1. OpenStack-Ocata版+CentOS7.6 云平台环境搭建 — 6.在计算节点上安装并配置计算服务Nova

    安装和配置计算节点这个章节描述如何在计算节点上安装和配置计算服务. 计算服务支持几种不同的 hypervisors.为了简单起见,这个配置在计算节点上使用 :KVM <kernel-based ...

  2. 从0开始搭建SQL Server AlwaysOn 第四篇(配置异地机房节点)

    从0开始搭建SQL Server AlwaysOn 第四篇(配置异地机房节点) 第一篇http://www.cnblogs.com/lyhabc/p/4678330.html第二篇http://www ...

  3. TaskTracker节点上的内存管理器

    Hadoop平台的最大优势就是充分地利用了廉价的PC机,这也就使得集群中的工作节点存在一个重要的问题——节点所在的PC机内存资源有限(这里所说的工作节点指的是TaskTracker节点),执行任务时常 ...

  4. SQL Server Alwayson配置两个节点加共享文件夹仲裁见证

    标签:MSSQL/节点和共享文件夹多数 概述 之前讲过多数节点的仲裁配置,多数节点一般3个节点以上的奇数个节点:常见的是使用3个节点节点多了也是浪费因为Alwayson的只读路由只能利用到一个只读副本 ...

  5. OpenStack搭建Q版在控制节点上的环境准备(step2)

    接下来是只需要在控制节点上准备的环境配置.其中虽然NTP服务需要在所有节点上都安装,但NTP服务在控制节点和其他的节点上的配置是不同的,所以不把它放在step1的公共配置中进行准备.如下: 1.配置N ...

  6. NodePort 只能在node节点上访问,外部无法访问

    创建了一个NodePort类型的jenkins service,node port 30000,node节点ip为192.168.56.101, 在node节点上通过浏览器能正常访问http://19 ...

  7. OpenStack-Ocata版+CentOS7.6 云平台环境搭建 — 5.在控制节点上部署计算服务Nova

    计算服务Nova使用OpenStack Compute来托管和管理云计算系统. OpenStack Compute是基础架构即服务(IaaS)系统的主要部分. 主要模块用Python实现.OpenSt ...

  8. hdfs 如何实现退役节点快速下线(也就是退役节点上的数据块快速迁移)speed up decommission blocks removal

    以下是选择复制源节点的代码 代码总结: A=datanode上要复制block的Queue size与 target datanode没被选出之前待处理复制工作数之和. 1. 优先选择退役中的节点,因 ...

  9. 三、安装并配置Kubernetes Node节点

    1. 安装并配置Kubernetes Node节点 1.1 安装Kubernetes Node节点所需服务 yum -y install kubernetes   通过yum安装kubernetes服 ...

随机推荐

  1. 一次Linux服务器被入侵和删除木马程序的经历

    转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://wzlinux.blog.51cto.com/8021085/1740113 一.背景 晚上看到有台服 ...

  2. 面试:C++输入数据

    最近在做笔试题,相比与leetcode,笔试题都是要自己写输入输出的,每次在这里都浪费了不少时间,这篇文章总结了一下在C++中怎么向数组中输入数据. 1. 先输入数组大小,然后输入数据数据,中间以空格 ...

  3. Apache 源码安装

    8.20]# make[root@yahoo pcre-8.20]# make install 二.安装apache1.下载httpd-2.4.3.tar.gz,地址是:http://httpd.ap ...

  4. elasticSearch6源码分析(11)client

    1.RestClient /** * Client that connects to an Elasticsearch cluster through HTTP. * <p> * Must ...

  5. 百度前端技术学院task34源码——会指令的小块2

    任务描述 增加新的指令如下: TRA LEF:向屏幕的左侧移动一格,方向不变 TRA TOP:向屏幕的上面移动一格,方向不变 TRA RIG:向屏幕的右侧移动一格,方向不变 TRA BOT:向屏幕的下 ...

  6. UVA 227 Puzzle(基础字符串处理)

    题目链接: https://cn.vjudge.net/problem/UVA-227 /* 问题 输入一个5*5的方格,其中有一些字母填充,还有一个空白位置,输入一连串 的指令,如果指令合法,能够得 ...

  7. C# - 企业框架下的存储过程输出参数

    output 输出参数 在C# 中的获取方法 新建存储过程 create proc Test @ID int, @maxnum int output as begin declare @num int ...

  8. docker 第一次学习(一)--安装以及相关命令

    转自:https://www.jianshu.com/p/c69a2a3b4c7a https://docs.docker.com/ http://www.dockerinfo.net/documen ...

  9. php中parse_url函数解析

    1.在php开发过程中我们经常要用到用户上传文件这个功能,那么用户上传文件我们肯定要知道用户上传文件的合法性,那么我们就要从url中获取文件的扩展名.那么就会用到parse_url()这个函数. pa ...

  10. 微信小程序 发现之旅(二)—— 自定义组件

    组件化的项目开发中,组件应当划分为三个层次:组件.模块.页面 微信小程序已经为开发者封装好了基础组件,页面文件(pages)也有了详细的规定 而模块就需要自行开发,并且要和页面文件区分开,这就涉及到自 ...