使用DataStream API进行欺诈检测 Apache Flink提供了一个DataStream API,用于构建强大的.有状态的流式应用.它提供了对状态和时间的精细控制,这使得高级事件驱动系统的实现成为可能.在这个分步指南中,你将学习如何使用Flink的DataStream API来构建一个有状态的流应用. 你在建造什么? 在数字时代,信用卡诈骗是一个日益严重的问题.犯罪分子通过行骗或入侵不安全的系统来盗取信用卡号码.盗取的号码通过进行一次或多次小额购物来测试,通常是一美元或更少.如果这样…

术语表 Flink Application Cluster Flink应用集群是一个专用的Flink集群,它只执行一个Flink应用的Flink作业.Flink集群的寿命与Flink应用的寿命绑定. Flink Job Cluster Flink Job Cluster是一个专用的Flink Cluster,它只执行一个Flink Job.Flink Cluster的寿命与Flink Job的寿命绑定. Flink Cluster 一个分布式系统由(通常)一个JobManager和一个或多个Fl…

有状态程序 在本节中,您将了解Flink为编写有状态程序提供的API.请看一下Stateful Stream Processing来了解有状态流处理背后的概念. 带键值的数据流 如果要使用键控状态,首先需要在DataStream上指定一个键,这个键应该用来分割状态(也包括流中的记录本身).你可以在DataStream上使用keyBy(KeySelector)指定一个键.这将产生一个KeyedDataStream,然后允许使用keyed状态的操作. key selector函数将一条记录作为输入,…

生成水印 在本节中,您将了解 Flink 提供的 API,用于处理事件时间时间戳和水印.关于事件时间.处理时间和摄取时间的介绍,请参考事件时间的介绍. 水印策略介绍 为了使用事件时间,Flink需要知道事件的时间戳,这意味着流中的每个元素都需要分配其事件时间戳.这通常是通过使用TimestampAssigner从元素中的某个字段访问/提取时间戳来完成的. 时间戳分配与生成水印是同步进行的,水印告诉系统事件时间的进展.你可以通过指定一个WatermarkGenerator来配置. Flink AP…

执行模式(批处理/流处理) DataStream API 支持不同的运行时执行模式,您可以根据用例的要求和作业的特点从中选择.DataStream API 有一种 "经典 "的执行行为,我们称之为 STREAMING 执行模式.这应该用于需要连续增量处理并预计无限期保持在线的非绑定作业.此外,还有一种批式执行模式,我们称之为BATCH执行模式.这种执行作业的方式更容易让人联想到批处理框架,如MapReduce.这应该用于有边界的作业,对于这些作业,你有一个已知的固定输入,并且不会连续运…

Flink DataStream API编程指南 Flink中的DataStream程序是对数据流实现转换的常规程序(如过滤.更新状态.定义窗口.聚合).数据流最初是由各种来源(如消息队列.套接字流.文件)创建的.结果通过汇流返回,例如可以将数据写入文件,或标准输出(例如命令行终端).Flink程序可以在各种环境下运行,独立运行,或者嵌入到其他程序中.执行可以发生在本地JVM中,也可以发生在许多机器的集群中. 为了创建你自己的Flink DataStream程序,我们鼓励你从一个Flink程序的…

及时的流处理 介绍 及时流处理是有状态流处理的一种扩展,其中时间在计算中起着一定的作用.其中,当你做时间序列分析时,当做基于某些时间段(通常称为窗口)的聚合时,或者当你做事件处理时,事件发生的时间很重要时,都是这种情况. 在下面的章节中,我们将着重介绍一些您在使用及时Flink应用时应该考虑的主题. 时间概念:事件时间和处理时间 当在流程序中提到时间时(例如定义窗口),可以提到不同的时间概念. - 处理时间.处理时间指的是正在执行相应操作的机器的系统时间.
当流程序在处理时间上运行时,所有基于时…

概念-概览 实践培训解释了作为Flink的API基础的有状态和及时流处理的基本概念,并提供了这些机制如何在应用中使用的例子.有状态的流处理是在数据管道和ETL的背景下介绍的,并在容错部分进一步发展.在 "流分析 "一节中介绍了及时的流处理. 本概念深度部分提供了对Flink的架构和运行时如何实现这些概念的更深入理解. Flink的API Flink为开发流式/批处理应用提供了不同层次的抽象. - 最底层的抽象只是提供有状态和及时的流处理.它通过处理函数嵌入到DataStream API…

数据管道和ETL 对于Apache Flink来说,一个非常常见的用例是实现ETL(提取.转换.加载)管道,从一个或多个源中获取数据,进行一些转换和/或丰富,然后将结果存储在某个地方.在这一节中,我们将看看如何使用Flink的DataStream API来实现这种应用. 请注意,Flink的Table和SQL API很适合许多ETL用例.但无论你最终是否直接使用DataStream API,对这里介绍的基础知识有一个扎实的理解都会证明是有价值的. 无状态转换 本节介绍了map()和flatmap…

DataStream API介绍 本次培训的重点是广泛地介绍DataStream API,使你能够开始编写流媒体应用程序. 哪些数据可以流化? Flink的DataStream APIs for Java和Scala将让你流式处理任何它们可以序列化的东西.Flink自己的序列化器被用于 基本类型,即:字符串.长型.整数.布尔型.数组 复合类型.Tuples, POJOs, and Scala case classes. 而Flink又回到了Kryo的其他类型.也可以在Flink中使用其他序列化器…