要想发挥Hadoop分布式.并行处理的优势,还须以分布式模式来部署运行Hadoop.单机模式是指Hadoop在单个节点上以单个进程的方式运行,伪分布模式是指在单个节点上运行NameNode.DataNode.JobTracker.TaskTracker.SeconderyNameNode5个进程,而分布式模式是指在不同节点上分别运行上述5个进程中的某几个,比如在某个节点上运行DataNode和TaskTracker. 前面几步和单机部署一样,可以参照Hadoop学习------Hadoop安装方…

Hadoop生态圈 存储数据HDFS(Hadoop Distributed File System),运行在通用硬件上的分布式文件系统.具有高度容错性.高吞吐量的的特点. 处理数据MapReduce,它是一种编程模型,Map(映射)和Reduce(归约),它极大地方便了分布式并行编程,与hdfs的高度融合,它是基于java来进行编程的. 数据仓库工具Hive,处理结构化SQL查询功能,将sql语句解释为MapReduce编程进行数据的处理,只能进行结构化的查询. Pig MapReduce之上的…

这里为了方便直接将单机部署过的虚拟机直接克隆,当然也可以不这样做,一个个手工部署. 创建完整克隆——>下一步——>安装位置.等待一段时间即可. 我这边用了三台虚拟机,分别起名master,slave1.slave2 1.修改主机名.ip 1.1关闭防火墙 CentOS系统默认开启了防火墙,在开启 Hadoop 集群之前,需要关闭集群中每个节点的防火墙.有防火墙会导致 ping 得通但 telnet 端口不通,从而导致 DataNode 启动了,但 Live datanodes 为 0 的情况.…

Hadoop 默认模式为单机(非分布式模式),无需进行其他配置即可运行.非分布式即单 Java 进程,方便进行调试. 1.创建用户 1.1创建hadoop用户组和用户 一般我们不会经常使用root用户运行hadoop,所以需要创建一个平常运行和管理hadoop的用户; 有2种方式,选择任意一种即可 方法1:先创建hadoop用户组 (不同Linux系统命令不同) sudo groupadd(或者addgroup) hadoop 再创建hadoop用户 sudo useradd(或者 adduse…

一.Hadoop-HA 1.1 Hadoop1.x带来的问题 1.单点故障 a. 每个群集只有一个NameNode,NameNode存在单点故障(SPOF). ​ b. 如果该计算机或进程不可用,则整个群集在整个NameNode重新启动或在另一台计算机上启 动之前将不可用 ​ c. 如果发生意外事件(例如机器崩溃),则在操作员重新启动NameNode之前,群集将不可 用. ​ d. 计划内的维护事件,例如NameNode计算机上的软件或硬件升级,将导致群集停机时间的延 长 2.水平扩展 将来服务…

Hbase Hbase的特点: Hbase是bigtable的开源的仿制版本 建立在HDFS之上 可靠性,靠性能 大:一个表可以有上亿行,上百万列 面向列:面向列(族)的存储和权限控制,列(族)独立检索. 稀疏:对于为空(null)的列,并不占用空间,因此,表可以设计的非常稀疏. 列存储 可伸缩 时间戳 不可修改数据 Hbase的检索: Row Key访问: 通过单个row key访问 通过row key的range 全表扫描 Row key行健(Row key)可以是任意字符串(最大长度是63…

MapReduce的原理 MapReduce的原理 NameNode:存放文件的元数据信息 DataNode:存放文件的具体内容 ResourceManager:资源管理,管理内存.CPU等 NodeManager:被ResourceManager管理,管理各个节点的资源 ApplicationMaster:管理要运行的程序 Container:运行第三方程序 MapReduce处理过程:…

1)集群规划:主机名        IP      安装的软件                     运行的进程master    192.168.199.130   jdk.hadoop                     NameNode.DFSZKFailoverController(zkfc)slaver1    192.168.199.131    jdk.hadoop                       NameNode.DFSZKFailoverController(…

一.MapReduce介绍 (最好以下面的两个示例来理解原理) 1. MapReduce的基本思想 Map-reduce的思想就是“分而治之” Map Mapper负责“分”,即把复杂的任务分解为若干个“简单的任务”执行 “ 简单的任务”有几个含义: 1 数据或计算规模相对于原任务要大大缩小: 2 就近计算,即会被分配到存放了所需数据的节点进行计算: 3 这些小任务可以并行计算,彼此间几乎没有依赖关系 一个HDFS block (input split)执行一个Map task. Map tas…

一.HDFS的相关基本概念 1.数据块 1.在HDFS中,文件诶切分成固定大小的数据块,默认大小为64MB(hadoop2.x以后是128M),也可以自己配置. 2.为何数据块如此大,因为数据传输时间超过寻到时间(高吞吐率). 3.文件的存储方式,按大小被切分成若干个block,存储在不同的节点上,默认情况下每个block有三个副本. 2.复制因子 就是一个block分为多少个副本,默认情况下是3个 3.fsimage文件作用: fsimage是元数据镜像文件(保存文件系统的目录树). 4.ed…