Calcite作为大数据领域最常用的SQL解析引擎,支持Flink , hive,  kylin , druid等大型项目的sql解析 同时想要深入研究Flink sql源码的话calcite也是必备技能之一,非常值得学习 我们内部也通过它在做自研的sql引擎,通过一套sql支持关联查询任意多个异构数据源(eg : mysql表join上 hbase表在做一个聚合计算) 因为calcite功能比较多,本文主要还是从calcite重要的主流程源码入手,主要侧重在VolcanoPlanner的优化器…

源码分析基于flink1.14 Join是flink中最常用的操作之一,但是如果滥用的话会有很多的性能问题,了解一下Flink源码的实现原理是非常有必要的 本文的join主要是指flink sql的Regular join 也就是平时我们的双流join中普通的full join ,left join,right join 先找到calcite的relNode转换rule 会将逻辑节点logiceJoin转换成flink的FlinkLogicalJoin 接着看下哪里Rule会转换这个FlinkL…

http://www.unofficialmysqlguide.com/introduction.html https://dev.mysql.com/doc/refman/8.0/en/explain-output.html https://www.oreilly.com/library/view/flex-bison/9780596805418/ch04.html https://dev.mysql.com/worklog/task/?id=7182 https://mydbops.word…

Java生鲜电商平台-SpringCloud微服务架构中网络请求性能优化与源码解析 说明:Java生鲜电商平台中,由于服务进行了拆分,很多的业务服务导致了请求的网络延迟与性能消耗,对应的这些问题,我们应该如何进行网络请求的优化与处理呢? 到底有没有一些好的建议与方案呢? 下面这个文章将揭晓上面的问题,让你对SpringCloud微服务网络请求性能有一个全新的认识. 目录简介 01.网络请求异常分类 02.开发中注意问题 03.原始的处理方式 04.如何减少代码耦合性 05.异常统一处理步骤 06…

前言:这两天学习了代理模式,自然想到了 springmvc 的 aop 使用的就是动态代理,拦截器使用的就是 jdk 的动态代理.今天看了看源码,记录一下.转载请注明出处:https://www.cnblogs.com/yuxiaole/p/9969360.html springMVC 的拦截器使用移步:Java Servlet 过滤器与 springmvc 拦截器的区别? 源码解析 springMVC 的所有连接入口都会进入 DispatcherServlet,然后在这里面去调用真正的 Con…

一.源码解析之序列化: 1.当视图类进行实例化序列化类做了如下操作: #ModelSerializer继承Serializer再继承BaseSerializer(此类定义实例化方法) #在BaseSerializer执行__new__方法,用于判断many是为True还是False: class BaseSerializer: def __new__(cls, *args, **kwargs): if kwargs.pop('many', False): #many = True, 对Query…

本文源码基于flink1.14 平台用户在使用我们的flinkSql时经常会开启minaBatch来优化状态读写 所以从源码的角度具体解读一下miniBatch的原理 先看一下flinksql是如何触发miniBatch的优化的 主要就是这个Calcite的rule了,来具体看一下 在对应的match方法中 会根据miniBatch的类型判断,是否需要添加一个Assigner的节点 这个assigner是干嘛的呢?这个Assinger是一个execNode和窗口的assigner是不一样的,这里…

解析器 RESTful一种API的命名风格,主要因为前后端分离开发出现前后端分离: 用户访问静态文件的服务器,数据全部由ajax请求给到 解析器的作用就是服务端接收客户端传过来的数据,把数据解析成自己想要的数据类型的过程. 本质就是对请求体中的数据进行解析. 在了解解析器之前~大家要先知道Accept以及ContentType请求头. Accept是告诉对方我能解析什么样的数据,通常也可以表示我想要什么样的数据. ContentType是告诉对方我给你的是什么样的数据类型. 那大家想一下,解析器…

ParametersInterceptor拦截器其主要功能是把ActionContext中的请求参数设置到ValueStack中,如果栈顶是当前Action则把请求参数设置到了Action中,如果栈顶是一个model(Action实现了ModelDriven接口)则把参数设置到了model中. 下面是该拦截器的doIntercept方法源码: @Override public String doIntercept(ActionInvocation invocation) throws Excep…

[源码解析] PyTorch 分布式(14) --使用 Distributed Autograd 和 Distributed Optimizer 目录 [源码解析] PyTorch 分布式(14) --使用 Distributed Autograd 和 Distributed Optimizer 0x00 摘要 0x01 说明 0x02 启动 0x03 Trainer 0x04 模型 4.1 组件 4.1.1 参考代码 4.1.2 分布式修改 4.2 RNN 模型 4.3 分布式优化器 4.4…