【Hadoop离线基础总结】Hadoop的架构模型

Hadoop的架构模型

---

1.x的版本架构模型介绍

• 架构图
  
  

• HDFS分布式文件存储系统（典型的主从架构）
  
  NameNode：集群当中的主节点，主要用于维护集群当中的元数据信息，以及接受用户的请求，处理用户的请求
  
  SecondaryNameNode：主要是辅助NameNode管理元数据信息
  
  DataNode：集群当中的从节点，主要用于存储数据
  
  什么是元数据？
  
  元数据就是描述数据的数据。简单的来说，一个文件的存放位置、文件名称、打开方式、创建人、修改时间、文件大小、文件权限等这些都是描述性的数据，都可以称为元数据。拿到现实生活中来说，判断一个人是否是我们想要找到的人，他的样貌、身高、体型、穿着这些都是描述性的信息，也就是元数据。

• mapReduce分布式计算系统
  
  JobTracker：主节点，接受用户请求，分配任务给taskTracker去执行
  
  TaskTracker：从节点，主要用于接受jobTracker分配的任务

---

2.x的版本架构模型介绍

• 第一种：NameNode和ResourceManager单节点架构模型
  
  
  
  HDFS文件存储系统（典型的主从架构）
  
  NameNode：集群当中的主节点，主要用于维护集群当中的元数据信息，以及接受用户的请求，处理用户的请求
  
  SecondaryNameNode：主要是辅助NameNode管理元数据信息
  
  DataNode：集群当中的从节点，主要用于存储数据

  Yarn资源调度系统

  ResourceManager：主节点，接受用户请求，分配资源（分配CPU、分配内存等）

   NodeManager：从节点，主要用于处理计算任务

• 第二种：NameNode单节点和ResourceManager高可用架构模型
  
  
• 第三种：NameNode高可用和ResourceManager单节点架构模型
  
  
  
  NameNode高可用
  
  NameNode Active：处于活跃的主节点，处理用户请求，维护元数据信息
  
  NameNode StandBy：处于待命的节点，当活跃的主节点出故障停止工作后，切换为活跃的主节点，对外提供服务
  
  JournalNode：专门用于同步元数据信息（因为，如果NameNode高可用，就一定要保证两个NameNode的元数据信息一致，否则就会出现脑裂的问题。JournalNode机制就是用来解决这个问题的）
  
  zkfc ( ZooKeeper FailLover Controller )：NameNode的守护进程，用于监听NameNode的状态，当NameNode Active出故障停机时，会立刻通知NameNode StandBy切换为活跃的主节点

• 第四种：NameNode高可用和ResourceManager高可用架构模型