分享一下笔者研读ClickHouse源码时分析函数调用的实现,重点在于分析Clickhouse查询层实现的接口,以及Clickhouse是如何利用这些接口更好的实现向量化的.本文的源码分析基于ClickHouse v19.16.2.2的版本. 1.举个栗子 下面是一个简单的SQL语句 SELECT a, abs(b) FROM test 这里调用一个abs的函数,我们先打开ClickHouse的Debug日志看一下执行计划.(当前ClickHouse不支持使用Explain语句来查看执行计划,这…

笔者在源码笔记1之中分析过ClickHouse的聚合函数的实现,但是对于各个接口函数的实际如何共同工作的源码,回头看并没有那么明晰,主要原因是没有结合Aggregator的类来一起分析聚合函数的是如果工作起来的.所以决定重新再完成一篇聚合函数的源码梳理的文章,帮助大家进一步的理解ClickHouse之中聚合函数的工作原理. 本系列文章的源码分析基于ClickHouse v19.16.2.2的版本. 1.IAggregateFunction接口梳理 话不多说,直接上代码,笔者这里会将所有聚合函数的…

书接上文,本篇继续分享ClickHouse源码中一个重要的流,FilterBlockInputStream的实现,重点在于分析Clickhouse是如何在执行引擎实现向量化的Filter操作符,而利用这个Filter操作符的,就可以实现where, having的数据过滤. 话不多说,准备发车~~ 本文的源码分析基于ClickHouse v19.16.2.2的版本. 1.Selection的实现 Selection是关系代数之中重要的一个的一个运算,通常也会用σ符合来selection的实现.…

由于工作的需求,后续笔者工作需要和开源的OLAP数据库ClickHouse打交道.ClickHouse是Yandex在2016年6月15日开源了一个分析型数据库,以强悍的单机处理能力被称道. 笔者在实际测试ClickHouse和阅读ClickHouse的源码过程之中,对"战斗民族"开发的数据库十分欣赏.ClickHouse不仅是一个很好的数据库学习材料,而且同时应用了大量的CPP17的新特性进行开发,也是一个大型的Modern CPP的教导资料. 笔者接下来会陆续将阅读ClickHou…

上篇笔记讲到了聚合函数的实现并且带大家看了聚合函数是如何注册到ClickHouse之中的并被调用使用的.这篇笔记,笔者会续上上篇的内容,将剖析一把ClickHouse聚合流程的整体实现. 第二篇文章,我们来一起看看聚合流程的实现~~ 上车! 1.基础知识的梳理 ClickHouse的实现接口 Block类 前文我们聊到ClickHouse是一个列式存储数据库,在内存之中用IColumn接口来作为数据结构表示数据. 而Block则是这些列的集合,也就是说Block包含了一组列,而无数个Block就…

分析完成了聚合以及向量化过滤,向量化的函数计算之后.本篇,笔者将分析数据库的一个重要算子:排序.让我们从源码的角度来剖析ClickHouse作为列式存储系统是如何实现排序的. 本系列文章的源码分析基于ClickHouse v19.16.2.2的版本. 1.执行计划 老规矩,咱们还是先从一个简单的查询出发,通过一步步的通过执行计划按图索骥ClickHouse的执行逻辑. select * from test order by k1; 咱们先尝试打开ClickHouse的Debug日志看一下具体的执…

前情概要 由于工作需要用到clickhouse, 这里暂不介绍概念,应用场景,谷歌,百度一大把. 将安装过程踩下的坑记录下来备用 ClickHouse源码 git clone安装(直接下载源码包安装失败) 源码安装一定要用git克隆下来,不要下载github上已经打好的包,因为有些依赖的子模块时时刻刻在更新.要不然编译各种报错. 一定要克隆,一定要克隆,一定要克隆 github上找到一个最新的稳定版本,一般以 -stable结尾的 创建一个clickhouse目录如 mkdir /data/cl…

本作品采用知识共享署名 4.0 国际许可协议进行许可.转载联系作者并保留声明头部与原文链接https://luzeshu.com/blog/redis1 本博客同步在http://www.cnblogs.com/papertree/p/7159802.html 这个系列博客大部分完成于一年前,基于3.0.5版本(但是代码行数不一定完全相符,调试过程中会修改一些代码). 这一篇博客针对第二篇涉及到的redisClient.redisDb.redisObject(robj)等几个结构体,以及redi…

最近在研究Zepto的源码,这是第一篇分析,欢迎大家继续关注,第一次写源码笔记,希望大家多指点指点,第一篇文章由于首次分析原因不会有太多干货,希望后面的文章能成为各位大大心目中的干货. Zepto是一个匿名函数的运行结果,而zepto是该匿名函数中定义的一个对象,注意区分 zepto.matches match = ~zepto.qsa(parent, selector).indexOf(element) zepto.qsa:zepto优化过的选择器 zepto.qsa(parent, sele…

AsyncTask源码笔记 AsyncTask在注释中建议只用来做短时间的异步操作,也就是只有几秒的操作:如果是长时间的操作,建议还是使用java.util.concurrent包中的工具类,例如Executor, ThreadPoolExecutor, FutureTask等. 使用 AsyncTask类中定义了三个重要的参数类型:Params, Progress, Result.还有四个重要的过程:onPreExecute, doInBackground, onProgressUpdate,…