目录 Introduction to Stateful Stream Processing Traditional Data Infrastructures Stateful Stream Processing The Evolution of Open Source Stream Processing Stream Processing Fundamentals Introduction to dataflow programming Processing infinite streams i…

flink在流处理上的source和在批处理上的source基本一致.大致有4大类 1.基于本地集合的source(Collection-based-source) 2.基于文件的source(File-based-source) 3.基于网络套接字的source(Socket-based-source) 4.自定义的source(Custom-source) 基于集合的source import org.apache.flink.streaming.api.scala.{StreamExecu…

flink的流处理特性: 支持高吞吐.低延迟.高性能的流处理 支持带有事件时间的窗口(Window)操作 支持有状态计算的Exactly-once语义 支持高度灵活的窗口(Window)操作,支持基于time.count.session,以及data-driven的窗口操作 支持具有Backpressure功能的持续流模型 支持基于轻量级分布式快照(Snapshot)实现的容错 一个运行时同时支持Batch on Streaming处理和Streaming处理 Flink在JVM内部实现了自己的…

Plink是一个基于Flink的流处理平台,旨在基于 [Apache Flink]封装构建上层平台. 提供常见的作业管理功能.如作业的创建,删除,编辑,更新,保存,启动,停止,重启,管理,多作业模板配置等. Flink SQL 编辑提交功能.如 SQL 的在线开发,智能提示,格式化,语法校验,保存,采样,运行,测试,集成 Kafka 等. 由于项目刚刚启动,未来还有很长的路要走,让我们拭目以待. 在 Windows 上部署 Plink Plink 进行独立单机部署,可以在 Windows 上进行…

前段时间详细地阅读了 <Apache Flink的流处理> 这本书,作者是 Fabian Hueske&Vasiliki Kalavri,国内崔星灿翻译的,这本书非常详细.全面得介绍了Flink流处理,并且以气象数据的例子讲解其中的使用,我把其中一些比较重要的句子做了比较,并且分享给大家.有一些我不是很理解,需要以后慢慢去消化,我就不做详细的展开. 一.传统的数据处理框架 1.1事务型处理 企业在日常业务运营过程中会用到各类基于web的应用,通常是业务系统,比如订单.客户系统等等   …

title: Flink流-表概念 date: 2017-12-12 14:48:16 categories: technique tags: Flink Flink Streaming Dynamic Table Streaming Concepts Data Streams上的关系查询 关系型SQL与stream processing对比如下. SQL Stream Processing 有限元组 无限元组 完整数据集上的查询 无法基于所有数据查询 查询会结束 查询不会结束 Material…

实现批处理的技术许许多多,从各种关系型数据库的sql处理,到大数据领域的MapReduce,Hive,Spark等等.这些都是处理有限数据流的经典方式.而Flink专注的是无限流处理,那么他是怎么做到批处理的呢? 无限流处理:输入数据没有尽头:数据处理从当前或者过去的某一个时间 点开始,持续不停地进行 另一种处理形式叫作有限流处理,即从某一个时间点开始处理数据,然后在另一个时间点结束.输入数据可能本身是有限的(即输入数据集并不会随着时间增长),也可能出于分析的目的被人为地设定为有限集(即只分析某…

一.Environment 1,getExecutionEnvironment getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境,是最常用的一种创建执行环境的方式. 2,createLocalEnvironment 返回本地执行环境,需要在调用时指定默认的并行度. val env = StreamExecutionEnvironment.createLocalEnvironment() //parallelism 3,createRemoteEnviro…

逻辑上将一个流分成不相交的分区,每个分区包含相同键的元素.在内部,这是通过散列分区来实现的 object Keyby { def main(args: Array[String]): Unit = { val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(3) val textStream: DataStream[String] = e…

写入redis resultStream.addSink(new RedisSink(FlinkUtils.getRedisSinkConfig(parameters),new MyRedisMapper())); getRedisSinkConfig public static FlinkJedisSentinelConfig getRedisSinkConfig(ParameterTool parameterTool){ String redisHosts = parameterTool.g…