1.即席查询 一.Presto 大数据量.秒级.多数据源的查询引擎[支持各种数据源work的内存级查询] 由coordinator和多个work构成,work对应不同数据源Catalog 特点:基于内存运算,无需map reduce,但连查表可能会产生大量临时数据 安装:server.client.可视化client 优化:列式.Snappy压缩.SQL优化 二.Druid 适用于:按照时间作为索引分片.单表的实时查询与存储系统[按时间和不同维度对各种指标聚合,segment存] 包含:时间列.…

〇.概述 1.实现内容 使用Hive SQL编程,构造分层离线数仓 并可以通过Quick Bi进行展示 2.过程 (1)数据接⼊到ODS层 (2)进⾏ODS到DWD层数据开发 (3)进⾏ODS到DIM层数据开发 a.创建 [电商_商家维度表_⽇]表 b.创建[电商_商品维度表_⽇]表 c.创建[电商_⽤⼾维度表_⽇]表 (4)进⾏DWS层数据开发 (5)进⾏ADS应⽤层的数据开发 a.看板_总指标看板统计 b.看板_商品销售地域分析 c.看板_商品销量排行 3.逻辑模型 4.示例数据 一.数据导…

一.Linux 1.常用高级命令 ps -ef:查看进程详情,ps -ef|grep dae可以搜索指定进程,-e表示环境变量 ps -au:以用户为主的详细格式,显示进程平均占用资源,不包括cmd列 df -h:文件系统的磁盘空间占用情况,表示大文件,-i表示innode索引命名的小文件 iotop:进行输入输出的进程信息,类似iostate表示IO和CPU变化 xargs:将标准输入转为命令行参数,如echo "one two three" | xargs mkdir tail:文…

SQL中迁移sql用户及密码脚本   编写人:CC阿爸 2014-6-20 在日常SQL数据库的操作中,常常需要迁移数据库或重装服务器,这时候,一些之前建立的login账户,必须重新建立,以下可以通过脚本,将其导出,在重装或移植时,可方便能过执行脚本来生成,不用再手动一个个建立.大大提高操作效率. select 'create login [' + p.name + '] ' + case when p.type in('U','G') then 'from windows ' else ''…

一.数仓分层概念 1.为什么要分层 ODS:原始数据层 DWD层:明细数据层 DWS:服务数据层 ADS:数据应用层 2.数仓分层 3.数据集市与数据仓库概念 4.数仓命名规范 ODS层命名为odsDWD层命名为dwdDWS层命名为dwsADS层命名为ads临时表数据库命名为xxx_tmp备份数据数据库命名为xxx_bak 二.数仓环境搭建 1.Hive&MySQL安装 修改hive-site.xml,关闭元数据检查 设置元数据备份:每日零点之后备份到其它服务器两个 2.Hive运行引擎Tez…

as we known,sql数据库高版本向低版本还原是不太可能但是又经常会碰到的事,今天实测了一种方法 步骤:任务—>生成脚本—> 下一步->高级,选择数据库版本和编写脚本数据类型为架构和数据,可以保留数据. 继续下一步完成. 最终得到一个巨大的sql脚本文件 ->接下来首先要在低版本数据库中新建一个目标数据库,然后运行sql脚本文件即可 一般的sql文件我们都是直接在SqlServer的查询窗口直接执行的,但是这个巨大的sql文件实在是太大了,SqlServer甚至是记事本都无…

迁移主要是通过Navicat工具来实现的.迁移工具的选定在此不讨论. 迁移前准备 1.提前通知DBA\SA\BI等,并确认发布计划及数据库迁移方案. 2.梳理出SQL  Server DB 中影响业务的Job(迁移的过程中要关闭).DB LinkServer.相关账号. 3.模拟数据迁移,评估出相关精确的时间.例如每张大表的耗时(我们定义的表准是,每张百万级别的表耗时都要测评出来),每2分钟一个进度标记.Navicat 工具不能指定SQL条件迁移 ,需全表迁移,因此 不支持增量迁移.SQL Se…

电商业务及数据结构 SKU库存量,剩余多少SPU商品聚集的最小单位,,,这类商品的抽象,提取公共的内容 订单表:周期性状态变化(order_info) id 订单编号 total_amount 订单金额 order_status 订单状态 user_id 用户id payment_way 支付方式 out_trade_no 支付流水号 create_time 创建时间 operate_time 操作时间 订单详情表:(order_detail) order_detail.order_id 是要一…

数仓分层 ODS:Operation Data Store原始数据 DWD(数据清洗/DWI) data warehouse detail数据明细详情,去除空值,脏数据,超过极限范围的明细解析具体表 DWS(宽表-用户行为,轻度聚合) data warehouse service ----->有多少个宽表?多少个字段服务层--留存-转化-GMV-复购率-日活点赞.评论.收藏; 轻度聚合对DWD ADS(APP/DAL/DF)-出报表结果 Application Data Store做分析处理同步…

[摘要] CarbonData将存储和计算逻辑分离,通过索引技术让存储和计算物理上更接近,提升CPU和IO效率,实现超高性能的大数据分析.以CarbonData为融合数仓的大数据解决方案,为金融转型打造新一代数仓引擎. 金融领域随着数据与日俱增(如国内某大行,平均3亿笔业务/天,峰值6亿/天):业务驱动下的数据分析灵活性要求越来越高,不同业务的数据分系统构建,导致冗余严重,缺乏高效.统一的融合数仓,阻碍企业快速转型.如何对浪涌式的数据进行整合分析,发挥最大价值,金融机构对数据的处理提出了相应诉求…