Flink 实战:如何解决生产环境中的技术难题?
大数据作为未来技术的基石已成为国家基础性战略资源,挖掘数据无穷潜力,将算力推至极致是整个社会面临的挑战与难题。
Apache Flink 作为业界公认为最好的流计算引擎,不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大数据引擎,以其高吞吐低延时的优异实时计算能力、支持海量数据的亚秒级快速响应帮助企业和开发者实现数据算力升级,并成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设实时计算平台的首选。
更好的释放 Flink 的强大算力,需要解决哪些问题?如何进行技术选型?针对业务的特点如何进行相应改进? 实践过程中需要规避哪些坑?
11 月 28-30日,Flink Forward Asia 重磅开启!由来自阿里巴巴及 Ververica 的 19 位 Flink 技术专家们倾力打造的四门培训课程,针对不同阶段、不同学习需求提供技术支持,赋能一线开发者,是小白同学也适合深度学习课程。
培训仅剩的少量名额开放预约中,详情可加微信(ID:candy1764)咨询,从基础概念的准确理解到上手实操的精准熟练,四门线下实战课程,帮你从容应对生产环境中的技术难题。最后一周,不容错过!
参与培训课程你能收获什么?
- 你将准确了解分布式数据流、事件时间和状态等核心概念以及在 API 中的体现,并学习如何将这些概念组合在一起来解决实际问题。
- 你能充分学习 Flink 应用程序的部署和操作相关的实践性介绍、Flink 运行中涉及的核心概念,以及用于部署、升级和监控 Flink 应用程序的主要工具。
- 你将知道如何更好的发挥用 SQL 编写 Flink 作业的潜力,现场研究流式 SQL 的不同案例,包括连接流数据、维表关联、窗口聚合、维护物化视图,以及使用 MATCH RECOGNIZE 子句进行模式匹配等。
- 你能够提前了解流计算作业从早期 PoC 阶段慢慢过渡到生产过程中最常见的挑战,并为大家提供超实用的故障诊断工具集,还将介绍例如监控、水印、序列化、状态后端等领域的最佳实践和技巧,帮助你从 Flink 小白成长为 Flink 技术专家。
重要提示:该培训项目由四个实践和教学环节组成,于 11 月 29 日 下午- 30 日全天(共计 1.5天)同时进行,旨在帮助您提升流处理的编程能力和对 Apache Flink 技能学习。
中阶一:Apache Flink 开发人员培训
课程介绍
课程时长:1.5 天
课程目标:
- 本课程是对想要学习构建流应用程序的 Java 和 Scala 开发人员进行的关于 Apache Flink 的实践介绍。
- 培训将重点介绍分布式数据流、事件时间和状态等核心概念。
- 这些练习将使您有机会了解这些概念在 API 中是如何被体现的,并了解如何将这些概念组合在一起来解决实际问题。
Tips:本课程为纯英文授课,同时配有中文技术专家支持解答问题。
讲师介绍:
主讲:
David:负责 Ververica 培训,Data Science Retreat 的老师和导师,建立了大数据工程课程并且带领团队构建了分析管道,推荐系统和可视化产品等。
协助:
- Qinjun:Ververica 解决方案架构师,因斯布鲁克大学博士,专注于分布式计算和系统架构。
- 戴资力(Gordon):Apache Flink PMC,Ververica Software Engineer,主要负责 Flink 的系统开发。
- 宋辛童(五藏):阿里巴巴高级开发工程师,主要负责 Apache Flink 及阿里云实时计算中资源调度与管理机制的研发工作。
课程目录:
- 介绍流计算和 Apache Flink
- DataStream API 的基础
- 为 Flink 开发做准备(包括练习)
- 有状态的流处理(包括练习)
- 时间、定时器和 ProcessFunction(包括练习)
- 连接多个流(包括练习)
- 测试(包括练习)
说明:不需要 Apache Flink 的相关知识。
中阶二:Apache Flink 运维培训
课程介绍
课程时长:1.5 天
课程目标:
- 本课程是针对 Apache Flink 应用程序的部署和操作相关的实践性介绍。
- 目标受众包括负责部署 Flink 应用程序和维护 Flink 集群的开发人员和运维人员。
- 演示将重点介绍 Flink 运行中涉及的核心概念,以及用于部署、升级和监控 Flink 应用程序的主要工具。
讲师介绍:
主讲:
- 徐帅(辅机):阿里巴巴实时计算平台高级专家,目前负责 Flink CEP 引擎及部分 Runtime 模块。
- 高赟(云骞):阿里巴巴技术专家,主要从事 Flink Runtime 层的设计与研发。
- 朱翥(长耕):阿里巴巴技术专家,主要负责阿里云实时计算的调度和容错相关的工作。
协助:
- 沙晟阳(成阳):阿里巴巴技术专家,目前主要关注 K8s 生态下的 Flink 研发。
- 赵开兴(纯庚):阿里巴巴技术专家,对 Flink 和阿里云实时计算产品的技术特点、应用场景、应用过程可能遇到的问题有丰富的经验和理解。
课程目录:
- 介绍流计算和 Apache Flink
- 数据中心里的 Flink
- 分布式架构介绍
- 容器化部署(包括实际操作)
- 状态后端和容错(包括实际操作)
- 升级和状态迁移(包括实际操作)
- 指标(包括实践)
- 容量规划
说明:不需要对 Apache Flink 有先验知识。
中阶三:SQL 开发人员培训
课程介绍
课程时长:1.5 天
课程目标:
- 您将学习到如何充分发挥使用 SQL 来编写 Apache Flink 作业的潜力。
- 我们将研究流式 SQL 的不同案例,包括连接流数据、维表关联、窗口聚合、维护物化视图,以及使用 MATCH RECOGNIZE 子句进行模式匹配(这是 SQL 2016 新提出的标准)。
讲师介绍:
主讲:
- 伍翀(云邪):Apache Flink PMC,阿里巴巴技术专家,Flink/Blink SQL 模块的核心开发之一。目前主要专注于分布式处理和实时计算。
- 李锐:Apache Hive PMC,阿里巴巴技术专家,主要参与 Hive、HDFS、Spark 等开源项目。
- 程鹤群(军长):阿里巴巴技术专家,核心参与 Flink Table API 相关的研发。
- 陈玉兆(玉兆):Apache Calcite PMC,阿里巴巴高级工程师,参与 Flink 相关的研发。
协助:
- 张冉,主要协助阿里巴巴集团内部及广大外部用户使用实时计算产品上的疑难杂症,致力于优化实时计算产品。
课程目录:
- 介绍 SQL on Flink
- 使用 SQL 查询动态表
- 连接动态表
- 模式匹配与 match_recognition
- 生态系统&写外部表
说明:不需要 Apache Flink 的先验知识,但是需要基本的 SQL 知识。
高阶:Apache Flink 调优和问题排查
课程介绍
课程时长:1.5 天
课程目标:
- 介绍将流计算作业从早期 PoC 阶段慢慢过渡到生产过程中最常见的挑战,并且帮助大家一起消除它。
- 提供有用的故障诊断工具集,并介绍例如监控、水印、序列化、状态后端等领域的最佳实践和技巧。
- 有机会使用新学习到的知识来解决一些异常 Flink 作业表现出来的问题。
- 归纳那些使作业没有进展或吞吐量没有达到预期,或作业延迟的常见原因。
讲师介绍:
主讲:
- 唐云(茶干):阿里巴巴高级研发工程师,长期从事 Flink state & Checkpoint 相关研发,目前也积极参与 Flink on K8s 相关软件化输出开发和社区开发推广工作。
- 邱从贤(山智):阿里巴巴高级研发工程师,专注于 Flink 核心引擎开发,主要从事 Flink State&Checkpoint 相关研发工作。
- 周凯波(宝牛): 阿里巴巴技术专家,专注于基于Flink的一站式计算平台的建设。
协助:
- 何健超(迟南):阿里巴巴技术专家,专注于基于 Flink 的新一代实时计算平台的建设。
- 方舒:参与阿里巴巴实时计算产品服务,为集团内部及广大外部用户使用实时计算提供技术支持及产品方案的优化。
课程目录:
- 时间和水印
- 状态处理和状态后端
- Flink 的容错机制
- 检查点和保存点
- DataStream API 和 ProcessFunction。
培训课程预约说明
培训系列课程为精品小班教学,19 位技术专家面对面指导,一天半深度实操教学,堪称 2019 年度最佳干货课程!大会倒计时最后一周,少量名额售完即止!课程详细说明:
- 参加培训请选择购买 VIP 套票。中阶培训购买 VIP 套票 1,高阶培训购买 VIP 套票 2。
- VIP 套票 1 可参与中阶所有课程,VIP 套票 2 可参与包括高阶、中阶培训在内的所有课程。
- 培训课程咨询:微信(ID:candy1764)
点击下方链接可了解更多培训课程与 Flink Forward Asia 2019 大会信息,越早预约越能抓住时代先机~
https://developer.aliyun.com/special/ffa2019-training?spm=a2c6h.13239638.0.0.108f7955H8hcQ7
本文作者:巴蜀真人
本文为云栖社区原创内容,未经允许不得转载。
Flink 实战:如何解决生产环境中的技术难题?的更多相关文章
- 使用Windbg找出死锁,解决生产环境中运行的软件不响应请求的问题
前言 本文介绍本人的一次使用Windbg分析dump文件找出死锁的过程,并重点介绍如何确定线程所等待的锁及判断是否出现了死锁. 对于如何安装及设置Windbg请参考:<使用Windbg和SoS扩 ...
- IBM Thread and Monitor Dump Analyzer for Java解决生产环境中的性能问题
这个工具的使用和 HeapAnalyzer 一样,非常容易,同样提供了详细的 readme 文档,这里也简单举例如下: #/usr/java50/bin/java -Xmx1000m -jar jca ...
- 理解Docker(6):若干企业生产环境中的容器网络方案
本系列文章将介绍 Docker的相关知识: (1)Docker 安装及基本用法 (2)Docker 镜像 (3)Docker 容器的隔离性 - 使用 Linux namespace 隔离容器的运行环境 ...
- 生产环境中CentOS7部署NET Core应用程序
NET Core应用程序部署至生产环境中(CentOS7) 阅读目录 环境说明 准备你的ASP.NET Core应用程序 安装CentOS7 安装.NET Core SDK for CentOS7. ...
- 生产环境中使用Docker Swarm的一些建议
译者按: 实践中会发现,生产环境中使用单个Docker节点是远远不够的,搭建Docker集群势在必行.然而,面对Kubernetes, Mesos以及Swarm等众多容器集群系统,我们该如何选择呢?它 ...
- Dubbo Mesh 在闲鱼生产环境中的落地实践
本文作者至简曾在 2018 QCon 上海站以<Service Mesh 的本质.价值和应用探索>为题做了一次分享,其中谈到了 Dubbo Mesh 的整体发展思路是“借力开源.反哺开源” ...
- Vue Nginx反向代理配置 解决生产环境跨域
Vue本地代理举例: module.exports = { publicPath: './', devServer: { proxy: { '/api': { target: 'https://mov ...
- SpringBoot+ShardingSphere彻底解决生产环境数据库字段加解密问题
前言 互联网行业公司,对于数据库的敏感字段是一定要进行加密的,方案有很多,最直接的比如写个加解密的工具类,然后在每个业务逻辑中手动处理,在稍微有点规模的项目中这种方式显然是不现实的,不仅工作量大而 ...
- .NET跨平台之旅:在生产环境中上线第一个运行于Linux上的ASP.NET Core站点
2016年7月10日,我们在生产环境中上线了第一个运行于Linux上的ASP.NET Core站点,这是一个简单的提供后端服务的ASP.NET Core Web API站点. 项目是在Windows上 ...
随机推荐
- 阶段1 语言基础+高级_1-3-Java语言高级_06-File类与IO流_09 序列化流_5_InvalidClassException异常_原理
序列化一遍 反序列化再来一遍 age的修饰符改为public 直接反序列化就会抛出异常 序列化的时候会给Person.class添加序列号,serialVersionUID,.反序列化需要对比这个se ...
- 基于nginx实现二维码下载安装apk文件
将apk文件置于nginx目录下 <!--进入nginx安装路径--> /usr/local/nginx <!--新建放apk的目录--> mkdir -p resources ...
- 3 Vue.js基础
Vue中的过滤器.钩子函数.指令.字符串填充.以及部分方法使用的案例(操作表单) <!DOCTYPE html> <html lang="en"> < ...
- [CCPC-Wannafly & Comet OJ 夏季欢乐赛(2019)]飞行棋
题目链接:https://www.cometoj.com/contest/59/problem/E?problem_id=2714 求期望并且一堆转移基本上就是期望dp了(叉腰 照常的设dp[i]表示 ...
- P1828 香甜的黄油 (spfa)
[题目描述] 农夫John知道每只奶牛都在各自喜欢的牧场(一个牧场不一定只有一头牛).给出各头牛在的牧场和牧场间的路线,找出使所有牛到达的路程和最短的牧场(他将把糖放在那). [题目链接] https ...
- Unity3D 优化
用UNITY开发手机游戏,背景图片和UI图片显示的比PC机上模糊非常多,怎么解决??在unity里选中资源 1.TextureType 改成 Advanced2.NonPower of 2 改成 no ...
- Log4Net 之将日志记录到数据库的后台实现 (二)
原文:Log4Net 之将日志记录到数据库的后台实现 (二) 大家下午好,昨天讲了配置,今天我们讲讲后台实现,在完成了后台实现后,我们才能真正意义上的解决把自定义属性字段值录入到数据库中. 在开写之前 ...
- Form表单组件验证
第一版:最基本版本 views源码 #——————————————————————form验证—————————————— from django import forms from django.f ...
- C#设计模式:享元模式(Flyweight Pattern)
一,什么是享元模式? 享元模式(Flyweight Pattern):采用共享技术来避免大量拥有相同内容对象的开销,主要用于减少创建对象的数量,以减少内存占用和提高性能 1,根本的思路就是对象的重用2 ...
- 帝国CMS 调用专题[eshowzt]标签改为灵动标签[e:loop]的方法
1.eshowzt说明及示例 [eshowzt]标签模板ID,专题类别ID,显示专题数[/eshowzt] 示例需求:将推荐专题后,显示9个指定专题 原来写法: <span>[eshowz ...