在线收看地址:https://developer.aliyun.com/special/ffa2021/live#?utm_content=g_1000316459 Flink 是由 Apache 软件基金会开发的统一数据流处理与批处理的开源框架与分布式处理引擎. Flink Forward 是由 Apache 官方授权的 Apache Flink 社区官方技术大会,本届 Flink Forward Asia 于 2022 年 1 月 8-9 日在线上举办. 这次峰会的主题词是--"实时即未来…

11 月 28 - 30 日,北京迎来了入冬以来的第一场雪,2019 Flink Forward Asia(FFA)也在初雪的召唤下顺利拉开帷幕.尽管天气寒冷,FFA 实际到会人次超过 2000,同比去年增加近 100%. Flink Forward 是由 Apache 官方授权举办的会议,每年在欧洲.北美洲.亚洲各举办一场.通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到业界围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者的盛会.去年 12 月 F…

前言 2019.10.7~9号,随着70周年国庆活动的顺利闭幕,Flink Forward 也照例在他们的发源地柏林举办了第五届大会.虽然还没有拿到具体的数据,不过从培训门票已经在会前销售一空的这样的现象来看,Flink Forward 大会还是继续保持了一个良好的势头.本届大会不管是从参会人数上,提交的议题,以及参加的公司数量来看都继续创了一个新高.当然,这要去掉去年 Flink Forward 北京站的数据 ;-).阿里巴巴这次共派出了包括笔者在内的3名讲师,总共参加了4场分享和2个问答环节…

[源码分析] 从源码入手看 Flink Watermark 之传播过程 0x00 摘要 本文将通过源码分析,带领大家熟悉Flink Watermark 之传播过程,顺便也可以对Flink整体逻辑有一个大致把握. 0x01 总述 从静态角度讲,watermarks是实现流式计算的核心概念:从动态角度说,watermarks贯穿整个流处理程序.所以为了讲解watermarks的传播,需要对flink的很多模块/概念进行了解,涉及几乎各个阶段.我首先会讲解相关概念,然后会根据一个实例代码从以下几部分来…

[源码分析] 从实例和源码入手看 Flink 之广播 Broadcast 0x00 摘要 本文将通过源码分析和实例讲解,带领大家熟悉Flink的广播变量机制. 0x01 业务需求 1. 场景需求 对黑名单中的IP进行检测过滤.IP黑名单的内容会随时增减,因此是可以随时动态配置的. 该黑名单假设存在mysql中,Flink作业启动时候会把这个黑名单从mysql载入,作为一个变量由Flink算子使用. 2. 问题 我们不想重启作业以便重新获取这个变量.所以就需要一个能够动态修改算子里变量的方法. 3…

[源码解析] 从TimeoutException看Flink的心跳机制 目录 [源码解析] 从TimeoutException看Flink的心跳机制 0x00 摘要 0x01 缘由 0x02 背景概念 2.1 四大模块 2.2 Akka 2.3 RPC机制 2.3.1 RpcEndpoint:RPC的基类 RpcService:RPC服务提供者 RpcGateway:RPC调用的网关 2.4 常见心跳机制 0x03 Flink心跳机制 3.1 代码和机制 3.2 静态架构 3.2.1 Heart…

网上没什么资料,就分享下:) 简单模式:kafka传数据到Flink存储到mysql 可以参考网站: 利用Flink stream从kafka中写数据到mysql maven依赖情况: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma…

准备工作 1.安装查看 Java 的版本号,推荐使用 Java 8. 安装 Flink 2.在 Mac OS X 上安装 Flink 是非常方便的.推荐通过 homebrew 来安装. brew install apache-flink 3.检查安装: flink --version 结果: Version: 1.6.0, Commit ID: ff472b4 4.启动 flink zhisheng@zhisheng  /usr/local/Cellar/apache-flink/1.6.0/…

前言 本文主要译自Flink Forward 2017的柏林站中Robert Metzger的有关集群规划的How to size your flink cluster一文.该文中主要是考虑网络资源,博主结合自己的使用经验对文中省略的做了一定补充,同时也非常欢迎大伙留言补充. 本文非直译,原文链接如下:https://www.ververica.com/blog/how-to-size-your-apache-flink-cluster-general-guidelines 文中拿捏不准的地方,…

Flink入门-第一篇:Flink基础概念以及竞品对比 Flink介绍 截止2021年10月Flink最新的稳定版本已经发展到1.14.0 Flink起源于一个名为Stratosphere的研究项目主要是为了构建下一代大数据分析平台,在2014年成为Apache孵化器项目.2019 年 1 月,阿里巴巴实时计算团队宣布将经过双十一历练和集团内部业务打 磨的 Blink 引擎进行开源并向 Apache Flink 贡献代码,为Flink迎来了一次高速发展,此后的一年中,阿里巴巴实时计算团队与 Ap…