概述 Flink具有Table API和SQL-用于统一流和批处理. Table API是用于Scala和Java的语言集成查询API,它允许以非常直观的方式组合来自关系运算符(例如选择,过滤和联接)的查询. Flink的SQL支持基于实现SQL标准的Apache Calcite.无论输入是批处理输入(DataSet)还是流输入(DataStream),在两个接口中指定的查询都具有相同的语义并指定相同的结果. Table API和SQL尚未完成所有功能,正在积极开发中,支持程度需查看 官方文档

在本文中说明了pom依赖可以支持什么功能,以及支持什么注解,引入该依赖可以在application.properties中添加什么配置. 1.SpringCloud 的pom依赖 序号 pom依赖 说明 支持注解 支持配置application.properties 1 <parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</a

Apache Calcite是什么东东 Apache Calcite面向Hadoop新的sql引擎,它提供了标准的SQL语言.多种查询优化和连接各种数据源的能力.除此之外,Calcite还提供了OLAP和流处理的查询引擎.它2013年成为了Apache孵化项目以来,在Hadoop中越来越引人注目,并被众多项目集成.比如Flink/Storm/Drill/Phoenix都依赖它做sql解析和优化. Flink 结合 Calcite Flink Table API&SQL 为流式数据和静态数据的关系

从flink的官方文档,我们知道flink的编程模型分为四层,sql层是最高层的api,Table api是中间层,DataStream/DataSet Api 是核心,stateful Streaming process层是底层实现. 其中, flink dataset api使用及原理 介绍了DataSet Api flink DataStream API使用及原理介绍了DataStream Api flink中的时间戳如何使用?---Watermark使用及原理 介绍了底层实现的基础Wat

本文翻译自官网:Use Hive connector in scala shell  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/hive/scala_shell_hive.html Flink Table Api & SQL 翻译目录 Flink Scala Shell 是尝试 flink 的便捷方法. 您也可以在 scala shell 中使用 hive,而不是在pom文件中指定 hive 依赖关

本文翻译自官网:SQL Client Beta  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/sqlClient.html Flink Table Api & SQL 翻译目录 Flink的Table&SQL API使使用SQL语言编写的查询成为可能,但是这些查询需要嵌入用Java或Scala编写的表程序中. 此外,在将这些程序提交给集群之前,需要将它们与构建工具打包在一起. 这或多或少地将Fl

本文翻译自官网:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/ Flink Table Api & SQL 翻译目录 一直没有用 flink 的 table 或 sql api,最近开始要使用这部分功能了,先把官网对应的文档翻译一遍,方便自己慢慢查看 ----------------------------------------------- Apache Flink 具有两个关联 API-Table

本文翻译自官网:Connect to External Systems  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/connect.html Flink Table Api & SQL 翻译目录 注:本文对应代码段为多种格式,影响文章篇幅,所以只选取其中一种类似列入,全部内容见官网对应页面 Flink 的 Table API 和 SQL 程序可以连接到其他外部系统,以读取和写入批处理表和流式表.表源

本文翻译自官网: User-defined Sources & Sinks  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/sourceSinks.html Flink Table Api & SQL 翻译目录 TableSource提供对存储在外部系统(数据库,键值存储,消息队列)或文件中的数据的访问.在TableEnvironment中注册TableSource后,可以通过Table API或

SpringCloud注解和配置以及pom依赖说明 在本文中说明了pom依赖可以支持什么功能,以及支持什么注解,引入该依赖可以在application.properties中添加什么配置. 1.SpringCloud 的pom依赖 序号 pom依赖 说明 支持注解 支持配置application.properties 1 <parent><groupId>org.springframework.boot</groupId><artifactId>spring

Maven工程通过pom.xml里的<dependency>来定义依赖项.当然,我们不会少定义依赖项,否则编译不通过.不过,如果我们多定义了依赖项虽然不会造成灾难,但可能会造成一些问题,比如: 多余的依赖项造成阅读和理解的困难. Spring的@ComponentScan将扫描出多余的组件.特别地,如果这些组件还需要配置才能使用则造成一些意想不到的问题,并且发现和纠正这些问题也比较困难. 如果多余的依赖项为compile或runtime作用域,则其它依赖本工程的工程也将依赖这个多余的工程.如果

先上代码: table = tablexx.select('*).tablexx.groupBy('x).select('x, xx.count ) tableEnvironment // declare the external system to connect to .connect( new Kafka() .version("0.10") .topic("test-input") .startFromEarliest() .property("z

本文主要研究一下flink Table的groupBy操作 Table.groupBy flink-table_2.11-1.7.0-sources.jar!/org/apache/flink/table/api/table.scala class Table( private[flink] val tableEnv: TableEnvironment, private[flink] val logicalPlan: LogicalNode) { //...... def groupBy(fie

作者:chenzhou123520 出处:http://chenzhou123520.iteye.com/blog/1706242 使用 maven 插件 maven-shade-plugin 对 java 工程及其全部依赖 jar 进行打包 博客分类: Maven Java maven-shade-pluginmaven-assembly-pluginmavenjar打包 现在基本上都是采用 maven 来进行开发管理,我有一个需求是需要把通过 maven 管理的 java 工程打成可执行的

从flink的官方文档,我们知道flink的编程模型分为四层,sql层是最高层的api,Table api是中间层,DataStream/DataSet Api 是核心,stateful Streaming process层是底层实现. 其中, flink dataset api使用及原理 介绍了DataSet Api flink DataStream API使用及原理介绍了DataStream Api flink中的时间戳如何使用?---Watermark使用及原理 介绍了底层实现的基础Wat

从flink的官方文档,我们知道flink的编程模型分为四层,sql层是最高层的api,Table api是中间层,DataStream/DataSet Api 是核心,stateful Streaming process层是底层实现. 其中, flink dataset api使用及原理 介绍了DataSet Api flink DataStream API使用及原理介绍了DataStream Api flink中的时间戳如何使用?---Watermark使用及原理 介绍了底层实现的基础Wat

本文翻译自官网:Reading & Writing Hive Tables  https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/hive/read_write_hive.html Flink Table Api & SQL 翻译目录 使用HiveCatalog和Flink的Hive连接器,Flink可以读取和写入Hive数据,以替代Hive的批处理引擎.确保遵循说明在您的应用程序中包括正确的依赖项.

本文翻译自官网:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/common.html Flink Table Api & SQL 翻译目录 Table API和SQL集成在共同API中.该API的中心概念是Table,用作查询的输入和输出.本文档介绍了使用Table API和SQL查询的程序的通用结构,如何注册 Table,如何查询Table以及如何发出 Table(数据). 两个 planner 之间

本文翻译自官网:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/types.html Flink Table Api & SQL 翻译目录 由于历史原因,在 Flink 1.9之前,Flink 的  Table和SQL API 数据类型与 Flink TypeInformation 紧密相关.TypeInformation 在 DataStream 和 DataSet API 中使用,并且足以描述在分布式

本文翻译自官网 :  Joins in Continuous Queries   https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/streaming/joins.html Flink Table Api & SQL 翻译目录 Join 是批量数据处理中连接两个关系行的常见且易于理解的操作.但是,动态表上的 join 语义不那么明显,甚至令人困惑. 因此,有一些方法可以使 Table API或SQL实际执行