1:按照上篇博客写的,将各个进程都启动起来: 集群规划:    主机名        IP                安装的软件                    运行的进程   master     192.168.3.129    jdk.hadoop                      NameNode.DFSZKFailoverController(zkfc)   slaver1    192.168.3.130   jdk.hadoop                  

一.横向扩容(参见:https://www.cnblogs.com/yangy1/p/12362565.html) 现在在此基础上再添加一个节点 1.克隆一台主机hdp03(克隆hdp02) 修改ip vim /etc/sysconfig/network-scripts/ifcfg-ens33 IPADDR=192.168.0.43 修改主机名及添加主机映射 vim /etc/hostname hdp03 vim /etc/hosts 192.168.0.43 hdp03 删除tmp下的目录文件

基础准备 在基础准备部分,主要是设置hadoop运行的系统环境 修改系统hostname(通过hostname和/etc/sysconfig/network进行修改) 修改hosts文件,将集群所有节点hosts配置进去(集群所有节点保持hosts文件统一) 设置NameNode(两台HA均需要)到DataNode的免密码登录(ssh-copy-id命令实现,可以免去cp *.pub文件后的权限修改) 修改主节点slave文件,添加新增节点的ip信息(集群重启时使用) 将hadoop的配置文件s

1.纵向扩容(添加硬盘) 1.1 添加硬盘 确定完成添加,运行 lsblk 查看硬盘使用情况 1.2 硬盘分区 fdisk /dev/sdb #对新硬盘sdb进行分区 m 帮助 n 添加一个分区 p 选择主分区 q 不保存退出 w 保存并退出 centerOS7的默认文件系统是xfs,centerOS6默认的文件系统是ext4 mkfs.xfs /dev/sdb1 #格式化并构建xfs文件系统 1.3 挂载 mount 分的区 被挂载的文件夹 注:umount /dev/sdb1 /sdb1 取

hadoop集群搭建(namenode是单点的)  http://www.cnblogs.com/kisf/p/7456290.html HA集群需要zk, zk搭建:http://www.cnblogs.com/kisf/p/7357184.html   zk可视化管理工具:http://www.cnblogs.com/kisf/p/7365690.html hostname ip 安装软件 启动进程 master1 10.112.29.9 jdk,hadoop NameNode,Resour

一.高可用简介 二.集群规划 三.前置条件 四.集群配置 五.启动集群 六.查看集群 七.集群的二次启动 一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多,所以它的实现也更加复杂,故下面先进行讲解: 1.1 高可用整体架构 HDFS 高可用架构如下: 图片引用自:https://www.edure

hadoop入门(一)   一.概述 1.什么是hadoop hadoop不仅是一个用于存储分布式文件系统,还是设计用来在有通用计算设备组成的大型集群上执行的分布式应用的基础框架. hadoop框架最核心的设计是mapreduce和HDFS 1.2为什么要选择hadoop 1)扩容:能可靠的处理和存储PB级数据 2)成本:可以通过普通机器组成服务器群来分发和处理数据,这些服务器总计可大上千节点 3)高效:通过分发数据,hadoop可以并行处理这些数据,使它们特别快速 4)可靠:hadoop可以通

一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多,所以它的实现也更加复杂,故下面先进行讲解: 1.1 高可用整体架构 HDFS 高可用架构如下: 图片引用自:https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-hig

一.高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多,所以它的实现也更加复杂,故下面先进行讲解: 1.1 高可用整体架构 HDFS 高可用架构如下: 图片引用自:https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-hig

3.    安装Hadoop 3.1. 解压程序 ※ 3台服务器分别执行 .tar.gz -C/opt/cloud/packages /opt/cloud/bin/hadoop /etc/hadoop /opt/cloud/etc/hadoop mkdir -p /opt/cloud/hdfs/name mkdir -p /opt/cloud/hdfs/data mkdir -p /opt/cloud/hdfs/journal mkdir -p /opt/cloud/hdfs/tmp/java

Hadoop 是一个开源框架,可编写和运行分布式应用处理大规模数据 Hadoop框架的核心是HDFS 和 MapReduce HDFS是分布式文件系统(存储) MapReduce是分布式数据处理模型和执行环境(计算) 作者:Doug Cutting Hadoop特点 扩容能力     能可靠地存储和处理千兆字节(PB)数据 成本低     可以通过普通机器组成的服务器群来分布以及处理数据,服务器群总计可达数千个节点 高效率(有待验证)     通过分发数据,hadoop可以在数据所在的节点上并行

非HA的安装步骤 https://www.cnblogs.com/live41/p/15467263.html 一.部署设定 1.服务器 c1   192.168.100.105    zk.namenode.zkfc.datanode.nodemanagerc2   192.168.100.110    zk.namenode.zkfc.datanode.nodemanager.resourcemanager.journalnodec3   192.168.100.115    zk.data

Docker 的优势和趋势我想不必再赘述,那么对于非互联网公司的传统企业客户,以及我们大量的围绕企业客户做集成.交付解决方案的服务提供商,需要考虑的一个问题就是怎么样把容器技术以高质量.低成本.易维护的方式落地到企业的生产环境中来.换句话说,如果把容器技术比做 KVM 和 Xen,我们需要一个容器界的 OpenStack 或是 CloudStack. Rancher 就是定位在提供“企业私有容器服务”这一核心业务需求上,并提出构建 “企业私有.混合容器云”.”像 AppStore 一样的企业应用

今天早上来公司发现cloudera manager出现了hdfs的警告,如下图: 解决的思路是: 1.首先解决简单的问题,查看警告提示的设置的阀值时多少,这样就可以快速定位到问题在哪了,果然JournalNode Sync Status提示最先消去: 2.然后解决Sync Status问题,首先找到提示语的解释,在官网上可见.然后查看配置参数有无问题,没问题就看log,果然在log中看到了报错信息: 3.最后可定位到该提示是由于JournalNode节点间同步文件没有保持一致,那么使用修复(优雅

1.在HADOOP扮演的角色 JournalNode是在MR2也就是Yarn中新加的,journalNode的作用是存放EditLog的, 在MR1中editlog是和fsimage存放在一起的然后SecondNamenode做定期合并,Yarn在这上面就不用SecondNamanode了. Active Namenode与StandBy Namenode之间的就是JournalNode,作用相当于NFS共享文件系统.Active Namenode往里写editlog数据,StandBy再从里面

先上图,文章以后再上 截图有先后 所以有些延迟,但是不耽误总体的理解(active-nn=a-nn=active-namenode; s-nn=standby-nn=standby-namenode; journalnode=jn:edits_log=elog : fsimage=fsg ) 一般认为journalnode有2n+1台,如果大于等于n+1台成功写入,就算写入jn成功. standby-nn 会定时拉取3台jn节点(假设有3台jn)的edits_log(只拉取处于finalized

错误1:刚搭建的新集群,启动journalnode以后,格式化namenode节点,出现如下错误 注意其中划红线的地方. 出现这个错误的原因是journalnode节点还没有准备好,而namenode就已经把尝试次数用完了.修改配置文件core-site.xml 修改core-site.xml中的ipc参数 <property> <name>ipc.client.connect.max.retries</name> <value>20</value&g

HDFS就是用来存取数据的,那么当数据太多的时候存不下,我们必需扩充硬盘容量,或者换个更大的硬盘. 由于它是分布式文件系统,有两种扩充HDFS集群容量的方法:横向扩容和纵向扩容 横向扩容 横向扩容就是往集群添加一个节点:https://www.cnblogs.com/lyx666/p/12361906.html 纵向扩容 纵向扩容就是往节点增加一块硬盘:步骤如下 1.虚拟机添加一块20G的硬盘 2.查看添加虚拟机的硬盘 这台添加的第二块硬盘 所以硬盘文件是sdc 3.使用fdisk创建分区表 具

hadoop 性能调优与运维 . 硬件选择 . 操作系统调优与jvm调优 . hadoop运维 硬件选择 1) hadoop运行环境 2)  原则一: 主节点可靠性要好于从节点 原则二:多路多核,高频率cpu.大内存, namenode 100万文件的元数据要消耗800M内存,内存决定了集群保存文件数的总量, resourcemanager同时运行的作业会消耗一定的内存. datanode 的内存需要根据cpu的虚拟核数(vcore) 进行配比,CPU的vcore数计算公式为=cpu个数 * 单

参考链接 Hadoop 完全分布式安装 ZooKeeper 集群的安装部署 0. 说明 在 Hadoop 完全分布式安装 & ZooKeeper 集群的安装部署的基础之上进行 Hadoop 高可用(HA)的自动容灾配置 Hadoop 高可用 High Availablility 相当于再配置一台 NameNode 单节点模式容易产生单点故障 冷备份和热备份的区别 热备份:有两个 NameNode 同时工作,其中一台机器处于 active 状态,另一台机器处于 standby 状态. 两个节点数据