一.横向扩容(参见:https://www.cnblogs.com/yangy1/p/12362565.html) 现在在此基础上再添加一个节点 1.克隆一台主机hdp03(克隆hdp02) 修改ip vim /etc/sysconfig/network-scripts/ifcfg-ens33 IPADDR=192.168.0.43 修改主机名及添加主机映射 vim /etc/hostname hdp03 vim /etc/hosts 192.168.0.43 hdp03 删除tmp下的目录文件…

基础准备 在基础准备部分,主要是设置hadoop运行的系统环境 修改系统hostname(通过hostname和/etc/sysconfig/network进行修改) 修改hosts文件,将集群所有节点hosts配置进去(集群所有节点保持hosts文件统一) 设置NameNode(两台HA均需要)到DataNode的免密码登录(ssh-copy-id命令实现,可以免去cp *.pub文件后的权限修改) 修改主节点slave文件,添加新增节点的ip信息(集群重启时使用) 将hadoop的配置文件s…

1.纵向扩容(添加硬盘) 1.1 添加硬盘 确定完成添加,运行 lsblk 查看硬盘使用情况 1.2 硬盘分区 fdisk /dev/sdb #对新硬盘sdb进行分区 m 帮助 n 添加一个分区 p 选择主分区 q 不保存退出 w 保存并退出 centerOS7的默认文件系统是xfs,centerOS6默认的文件系统是ext4 mkfs.xfs /dev/sdb1 #格式化并构建xfs文件系统 1.3 挂载 mount 分的区 被挂载的文件夹 注:umount /dev/sdb1 /sdb1 取…

hadoop入门(一)   一.概述 1.什么是hadoop hadoop不仅是一个用于存储分布式文件系统,还是设计用来在有通用计算设备组成的大型集群上执行的分布式应用的基础框架. hadoop框架最核心的设计是mapreduce和HDFS 1.2为什么要选择hadoop 1)扩容:能可靠的处理和存储PB级数据 2)成本:可以通过普通机器组成服务器群来分发和处理数据,这些服务器总计可大上千节点 3)高效:通过分发数据,hadoop可以并行处理这些数据,使它们特别快速 4)可靠:hadoop可以通…

Hadoop 是一个开源框架,可编写和运行分布式应用处理大规模数据 Hadoop框架的核心是HDFS 和 MapReduce HDFS是分布式文件系统(存储) MapReduce是分布式数据处理模型和执行环境(计算) 作者:Doug Cutting Hadoop特点 扩容能力     能可靠地存储和处理千兆字节(PB)数据 成本低     可以通过普通机器组成的服务器群来分布以及处理数据,服务器群总计可达数千个节点 高效率(有待验证)     通过分发数据,hadoop可以在数据所在的节点上并行…

Docker 的优势和趋势我想不必再赘述,那么对于非互联网公司的传统企业客户,以及我们大量的围绕企业客户做集成.交付解决方案的服务提供商,需要考虑的一个问题就是怎么样把容器技术以高质量.低成本.易维护的方式落地到企业的生产环境中来.换句话说,如果把容器技术比做 KVM 和 Xen,我们需要一个容器界的 OpenStack 或是 CloudStack. Rancher 就是定位在提供“企业私有容器服务”这一核心业务需求上,并提出构建 “企业私有.混合容器云”.”像 AppStore 一样的企业应用…

HDFS就是用来存取数据的,那么当数据太多的时候存不下,我们必需扩充硬盘容量,或者换个更大的硬盘. 由于它是分布式文件系统,有两种扩充HDFS集群容量的方法:横向扩容和纵向扩容 横向扩容 横向扩容就是往集群添加一个节点:https://www.cnblogs.com/lyx666/p/12361906.html 纵向扩容 纵向扩容就是往节点增加一块硬盘:步骤如下 1.虚拟机添加一块20G的硬盘 2.查看添加虚拟机的硬盘 这台添加的第二块硬盘 所以硬盘文件是sdc 3.使用fdisk创建分区表 具…

hbase是基于hadoop的hdfs框架做的分布式表格存储系统,所谓表格系统就是在k/v系统的基础上,对value部分支持column family和column,并支持多版本读写. hbase的工作原理是保证系统中key全局有序存储,每个regionserver负责的某一个key range,并在regionserver中数据量过大的时候由master负责通知其分列成2个key range,并将其中一个key range交给其他regionserver维护,通过修改meta表生效从而达到了自…

hadoop 性能调优与运维 . 硬件选择 . 操作系统调优与jvm调优 . hadoop运维 硬件选择 1) hadoop运行环境 2)  原则一: 主节点可靠性要好于从节点 原则二:多路多核,高频率cpu.大内存, namenode 100万文件的元数据要消耗800M内存,内存决定了集群保存文件数的总量, resourcemanager同时运行的作业会消耗一定的内存. datanode 的内存需要根据cpu的虚拟核数(vcore) 进行配比,CPU的vcore数计算公式为=cpu个数 * 单…

Hadoop家族成员概述 一.Hadoop简介 1.1 什么是Hadoop? Hadoop是一个分布式系统基础架构,由Apache基金会所开发,目前Yahoo!是其最重要的贡献者. Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS,用户可以在不了解分布式底层细节的情况下,开发分布式应用程序,充分利用集群的威力高速运算和存储. 1.2 Hadoop的特点 高扩容能力:能可靠地存储和处理千兆字节(PB)的数据. 成本低:可以通过普通机…