Hadoop 3.1.1 - 概述 - 总览

Apache Hadoop 3.1.1

和之前发布的 3.0.X 版本线相比，Apache Hadoop 3.1.1 吸收了许多重要的改进。

总览

建议用户阅读完整的版本说明。本文提供了对主要变动的总览。

以下是对主要功能和改进的简短描述。

Yarn Service 框架为在 Yarn 原生环境里长时间运行的服务，提供了一流的支持和接口。

简言之，它扮演了容器编排系统的角色，统一管理 Yarn 上运行的容器化服务。它同时支持 Docker 容器和传统基于进程的 Yarn 容器。

详情请阅用户文档。

基于 Yarn 的一流的 GPU 调度和（对 Docker 和非 Docker 容器的）隔离。

详情请阅用户文档。

基于 Yarn 的一流的 FPGA 调度和（对 Docker 和非 Docker 容器的）隔离。

详情请阅用户文档。

在 Yarn 里支持更复杂的放置约束。这些约束对于应用程序的性能和伸缩非常关键，尤其是那些长时间运行的容器，如服务、机器学习和流式负荷。

举例来说，将一个作业的所有子任务分配在同一个机架上（亲和性约束）有利于减少网络传输开销，将所有子任务分散到不同的机器上（互斥性约束）有利于减少资源冲突，或者允许一定数量的子任务跑在同一个节点组里（基数约束）来获得前面两种约束的平衡。放置决定同样影响弹性，例如放置在同一个集群升级域的作业负荷可以同时下线。

详情请阅用户文档。

在百分比配置之外，支持管理员限定队列资源占用的绝对值，如内存使用量、CPU 虚拟核数、GPU 卡数等。这一功能使得管理员能更好地为队列配置需要的资源量。

详情请阅用户文档。

支持将外部存储映射为 HDFS 某一地址。这一功能建立在异构存储的设计上，在 DataNode 里引入了一种名为 PROVIDED 的存储类型。

详情请阅用户文档。

上手

本文档包含你开始使用 Hadoop 所需的所有信息。请从单节点安装开始，它展示了如何安装一个单机上运行的 Hadoop。然后，请移步集群安装，学习如何安装多机上运行的 Hadoop。