Apache Hadoop学习笔记一

官网：http://hadoop.apache.org/

1 什么是Hadoop？

Apache™Hadoop®项目开发了用于可靠，可扩展的分布式计算的开源软件。

Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。 它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。 该库本身不是依靠硬件来提供高可用性，而是设计用于检测和处理应用层的故障，从而在计算机集群之上提供高可用性服务，每个计算机都可能容易出现故障。

2 Hadoop模块

该项目包括以下模块：

•Hadoop Common：支持其他Hadoop模块的常用实用程序。

•Hadoop Distributed File System（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。

•Hadoop YARN：作业调度和集群资源管理的框架。

•Hadoop MapReduce：基于YARN的系统，用于并行处理大型数据集。

•Hadoop Ozone：Hadoop的对象存储。

•Hadoop Submarine：Hadoop的机器学习引擎。

3 Hadoop相关的项目

•HBase™：可扩展的分布式数据库，支持大型表的结构化数据存储。

•Hive™：一种数据仓库基础架构，可提供数据汇总和即席查询。

•Pig™：用于并行计算的高级数据流语言和执行框架。

•Spark™：用于Hadoop数据的快速通用计算引擎。 Spark提供了一种简单而富有表现力的编程模型，支持广泛的应用程序，包括ETL，机器学习，流处理和图形计算。

•ZooKeeper™：用于分布式应用程序的高性能协调服务。

参考：

Hadoop官网首页