Apache Flink学习笔记

简介

大数据的计算引擎分为4代

第一代：Hadoop承载的MapReduce。它将计算分为两个阶段，分别为Map和Reduce。对于上层应用来说，就要想办法去拆分算法，在上层应用实现多个Job串联，完成一个完整算法。例如：迭代计算

第二代：支持DAG框架的计算引擎，如Tez以及更上层的Oozie。

第三代：Spark为代表的计算引擎。特点是Job内部的DAG支持（不跨越Job），以及强调的实时计算。

第四代：Flink对流计算的支持，也可以支持Batch任务以及DAG的运算。

需要体会各个框架的差异，以及更适合的场景。并进行理解，没有哪一个框架可以完美的支持所有的场景，也就不可能有任何一个框架能够完全取代另一个。就像Spark没有取代Hadoop，Flink也不可能取代Spark。

Flink是一个针对流数据和批数据的分布式处理引擎。主要是由Java代码实现，目前还依靠开源社区的贡献发展。对Flink而言，所要处理的主要场景就是流数据。会把所有任务当做流来处理，也是最大的特点。

可以支持本地的快速迭代，以及一些环形的迭代任务。并且Flink可以定制化内存管理。就框架本身与应用场景来说，Flink更相似与Storm。

Client用来提交任务给JobManager

JobManager分发任务给TaskManager去执行，然后TaskManager会心跳的汇报任务状态。

Flink调度简述

在Flink集群中，计算资源被定义为Task Slot。每个TaskManager会拥有一个或多个Slots。JobManager会以Slot为单位调度Task。但这里的Task跟我们在Hadoop中的理解是有区别的。对Flink的JobManager来说，其调度的是一个Pipeline的Task，而不是一个点。

在Hadoop中Map和Reduce是两个独立调度的Task，并且都会去占用计算资源。对Flink来说MapReduce是一个Pipeline的Task，只占用一个计算资源。

在TaskManager中，根据其所拥有的Slot个数，同时会拥有多个Pipeline

因为Flink自身也需要简单的管理计算资源（Slot）。当Flink部署在Yarn上面之后，Flink并没有弱化资源管理。也就是说这时候的Flink再做一些Yarn该做的事情。

生态圈

Flink支持Scala和Java的API，Python在测试中。Flink通过Gelly支持了图操作，还有机器学习的FlinkML。Table是一种接口化的SQL支持，也就是API支持，而不是文本化的SQL解析和执行。

部署

Flink有三种部署模型，分别是Local，Standalone Cluster和Yarn Cluster。对于Local模式来说，JobManager和TaskManager会公用一个JVM来完成Workload。如果要验证简单的应用，Local模式是最方便的。实际应用中大多数使用Standalone或者Yarn Cluster

Standalone模式

搭建Standalone模式的Flink集群之前，需要先下载Flink安装包。

需要指定Master和Worker。Master机器会启动JobManager，Worker则会启动TaskManager。

需要修改conf目录中的master和slaves。在配置master文件时，需要指定JobManager的UI监听端口。

JobManager只需配置一个，Worker则需配置一个或多个。

在conf目录中找到文件flink-conf.yaml。文件中定义了Flink各个模块的基本属性，如RPC的端口。JobManager和TaskManager堆的大小等。一般只需要修改taskmanager.numberOfTaskSlots，拥有Slot个数。一般设置成CPU的core数。

Yarn Cluster模式

为了最大化利用集群资源，会在一个集群中同时运行多种类型的Workload。因此Flink也支持在Yarn上面运行。