最近居家中,对自己之前做的一些工作进行总结.正好有Doris社区的小伙伴吐槽向量化的导入性能表现并不是很理想,就借这个机会对之前开发的向量化导入的工作进行了性能调优,取得了不错的优化效果.借用本篇手记记录下一些性能优化的思路,抛砖引玉,希望大家多多参与到性能优化的工作总来. 1.看起来很慢的向量化导入 问题的发现 来自社区用户的吐槽:向量化导入太慢了啊,我测试了xx数据库,比Doris快不少啊.有招吗? 啊哈?慢这么多吗? 那我肯定得瞅一瞅了. 于是对用户case进行了复现,发现用户测试的是代码…

笔者作为Apache Doris的开发者,平时感觉相关Doris的文章写的很少.主要是很多时候不知道应该去记录一些怎么样的问题,感觉写的不好就会很慌张.新的一年,希望记录自己在Doris开发过程之中所遇到一些有意思的事情.(只希望能坚持下来,别打脸~~) 言归正传,回到本篇想聊的问一个问题,笔者在开发ODBC of Doris的工作之中,发现通过MySQL 8.0的Driver连接Doris总是提示密码验证失败.但是由于开发工作繁忙,一直没有腾出手解决这个问题.最近重新抽时间梳理了一下这个问题,…

最近一直在进行Doris的向量化计算引擎的开发工作,在进行CPU热点排查时,发现了存储层上出现的CPU热点问题.于是尝试通过SIMD的指令优化了这部分的CPU热点代码,取得了较好的性能优化效果.借用本篇手记记录下问题的发现,解决过程一些对于C/C++程序性能问题的一些解决思路,希望各位也能有所收获. 1.热点代码的发现 最近在进行Doris的部分查询调优工作,通过perf定位CPU执行热点时,发现了以下的热点部分: 这里通过perf可以看到,将近一半的CPU耗时损耗在BinaryDictPage…

Apache Doris的BE部分是由C++编写,当出现一些内存越界,非法访问的问题时会导致BE进程的Crash.这部分的问题常常较难排查,同时也很难快速定位到对应的触发SQL,给使用者带来较大的困扰.所以下面会介绍通过Linux的CoreDump快速定位到问题SQL,并复现问题的方式. 1.查看日志 当BE进程Crash的时候,可以先查看be.out日志,确认是否存在stack trace的记录.当BE出现进程Crash的时,都会将运行时的堆栈打印到be.out文件中,一般如下图所示: 但是由…

元数据设计 如上图,Doris 的元数据主要存储4类数据: 用户数据信息.包括数据库.表的 Schema.分片信息等. 各类作业信息.如导入作业,Clone 作业.SchemaChange 作业等. 用户及权限信息 集群及节点信息 元数据目录 元数据目录通过 FE 的配置项 meta_dir 指定. bdb/ 目录下为 bdbje 的数据存放目录. image/ 目录下为 image 文件的存放目录. image.[logid] 是最新的 image 文件.后缀 logid 表明 image 所…

集群制作Author:苏奕嘉脚本研发Author:种益调研测试Author:杨春东 前言 Apache Doris是当下非常火热和流行的MPP架构OLAP数据库,很多同学想自学/测试Doris的使用和能力,但是又苦于没有环境或者畏惧冗长的编译+搭建过程,整个过程极大的劝退了很多有些尝试意愿.但又由于各种客观因素无法承担过高学习成本导致尝试失败的同学,故此Apache Doris社区三位社区同学苏奕嘉.种益.杨春东制作了三个不同设计的版本安装方式并提供下载,以此降低大家的学习门槛和提升学习/测试效…

在使用FIS3搭建项目的时候,遇到了一些问题,这里记录下. 这里是发布搭建代码: // 代码发布时 fis.media('qa') .match('*.{js,css,png}', { useHash: true }) // 添加指纹 .match('*.js', { optimizer: fis.plugin('uglify-js') }) // js压缩 .match('*.css', { optimizer: fis.plugin('clean-css') }) // css压缩 .mat…

午休完上班后,同事说测试站点访问接口出现400 Bad Request  Request Header Or Cookie Too Large提示,心想还好是测试服务器出现问题,影响不大,不过也赶紧上服务器进行测试查看,打开nginx与ugwsi日志与配置,发现后端服务日志记录正常,而测试站点的访问日志有7百多M(才运行两三天没几个访问,几M的话才是正常现象),在浏览器里直接访问后端服务接口也正常没有问题(我们的服务器软件架构是微服务架构,将很多模块分拆后分别部署,前端是一个纯HTML站点,通过…

好记性不如烂笔头,记录一下. 我是在淘宝买的拓实N87,Kali可以识别,还行. 操作系统:Kali 开始吧. 查看一下网卡的接口.命令如下 airmon-ng 可以看出接口名称是wlan0mon. 接下来开启无线网卡的监听模式,命令如下 airmon-ng start wlan0mon #接口名称是什么这里就写什么 already enabled for 这是因为我已经开启了,背景可看出. 查看周围的wifi网络,命令如下 airodump-ng wlan0mon 列出来之后就按Ctrl+C停…

2015 西雅图微软总部MVP峰会记录 今年决定参加微软MVP全球峰会,在出发之前本人就已经写这篇博客,希望将本次会议原汁原味奉献给大家 因为这次是本人第一次写会议记录,写得不好的地方希望各位园友见谅! 出发前 关于签证问题,微软会给决定参加峰会的朋友发送邀请函的,Visa Officer看到邀请函之后90%会给你通过的,所以不需要太担心 微软的邀请函 在出发前的最后一个星期是选择课程,因为峰会这几天时间是需要上课的 登录峰会的选课系统 因为我是SQL Server方向,所以基本都是SQL Se…