Flink作为流批统一的计算框架,在1.10中完成了大量batch相关的增强与改进.1.10可以说是第一个成熟的生产可用的Flink Batch SQL版本,它一扫之前Dataset的羸弱,从功能和性能上都有大幅改进,以下我从架构.外部系统集成.实践三个方面进行阐述. 架构 Stack 首先来看下stack,在新的Blink planner中,batch也是架设在Transformation上的,这就意味着我们和Dataset完全没有关系了: 我们可以尽可能的和streaming复用组件,复用代…

本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设,整理者叶里君.文章将从平台的架构.Flink 现状,Flink 应用以及未来计划四部分分享. 一．平台架构 1.Flink 应用时间线 首先是平台的架构,2018 年 3 月之前基本都是基于 Storm 和 Spark Streaming 来做的.目前,基本已经把 Spark Streaming 和 Storm 淘汰了,主要都是 Flink SQL 来做的.起初还比较传统,一般是接需求然后开发类似于 Flink SQL 的任务,基本是手工…

摘要:本文所介绍 Nebula Graph 连接器 Nebula Flink Connector,采用类似 Flink 提供的 Flink Connector 形式,支持 Flink 读写分布式图数据库 Nebula Graph. 文章首发 Nebula Graph 官网博客:https://nebula-graph.com.cn/posts/nebula-flink-connector/ 在关系网络分析.关系建模.实时推荐等场景中应用图数据库作为后台数据支撑已相对普及,且部分应用场景对图数据的…

转载一篇自己在公司博客上的文章 一.Druid介绍 Druid 是 MetaMarket 公司研发,专为海量数据集上的做高性能 OLAP (OnLine Analysis Processing)而设计的数据存储和分析系统,目前Druid已经在Apache基金会下孵化.Druid的主要特性: 交互式查询( Interactive Query ): Druid 的低延迟数据摄取架构允许事件在它们创建后毫秒内查询,因为 Druid 的查询延时通过只读取和扫描有必要的元素被优化.Druid 是列式存储,…

前不久,Flink社区发布了FLink 1.9版本,在其中包含了一个很重要的新特性,即state processor api,这个框架支持对checkpoint和savepoint进行操作,包括读取.变更.写入等等. savepoint的可操作带来了很多的可能性: 作业迁移 1.跨类型作业,假如有一个storm作业,将状态缓存在外部系统,希望更好的利用flink的状态机制来增加作业的稳定和减少数据的延迟,但如果直接迁移,必然面临状态的丢失,这时,可以将外部系统的状态转换为flink作业的save…

#jobManager的IP地址jobmanager.rpc.address: localhost #JobManager的端口号jobmanager.rpc.port: 6123 # JobManagerJVM heap 内存大小(任务提交阶段可再设置,优先级高于配置文件)jobmanager.heap.mb: 1024 # TaskManager JVM heap 内存大小(任务提交阶段可再设置,优先级高于配置文件)taskmanager.heap.mb: 2048 #每个TaskManag…

https://mp.weixin.qq.com/s?__biz=MzAxOTY5MDMxNA==&mid=2455759407&idx=1&sn=28390d7f5b26851912f33c83abdc87b2&chksm=8c686c0abb1fe51c367d62e0a4ca43b74ba1d2ba26ac9966245191e854177290d9644abd3e6e&scene=21#wechat_redirect…

​ 获取PDF版本 请关注"实时流式计算" 后台回复 "flink1015"…

https://mp.weixin.qq.com/s/gd0KMAt7z0WbrJL0RkMEtA 原创: 有赞技术 有赞coder 今天 文 | hujiahua on 大数据 一.前言 Flume 是一个分布式的高可靠,可扩展的数据采集服务. Flume 在有赞的大数据业务中一直扮演着一个稳定可靠的日志数据“搬运工”的角色.本文主要讲一下有赞大数据部门在 Flume 的应用实践,同时也穿插着我们对 Flume 的一些理解. 二.Delivery 保证 认识 Flume 对事件投递的可靠性保证…

人工智能是未来十年最重要的技术革命与驱动力,在各行各业产生着日益重要的作用,它与大数据的发展相辅相成,不仅推动人类社会迈入更智慧的世界,也为数据的应用带来无可估量的价值. 11 月 28 - 30 日,Flink Forward Asia 2019 人工智能专场将聚焦于 Flink 在机器学习上的新技术与新应用,内容包含: Flink 机器学习进度几何? 如何将 Flink 与 TensorFlow 等框架相结合? 有哪些 Flink 在机器学习上的生产实践应用? 为你呈现 Flink 机器学习…