一、数据可视化接口介绍

1、设计思路

后把轻度聚合的结果保存到 ClickHouse 中后,提供即时的查询、统计、分析

展现形式:用于数据分析的BI工具【商业智能(Business Intelligence)】、面向非专业人员的数据大屏

本章节使用面向百度的Sugar数据大屏服务

2、需求梳理

(1)显示效果

(2)可视化大屏分析

每个组件都需要一个接口(8个组件)

(3)接口执行过程

DWS 层计算后写入到 ClickHouse,提供一个数据接口用来查询 ClickHouse 中的数据

操作:配置大屏服务、编写数据查询接口供大屏服务使用

二、Sugar数据大屏

1、介绍

是百度云提出的敏捷BI和数据可视化平台

解决报表和大屏的数据 BI 分析和可视化问题

2、使用入口

https://cloud.baidu.com/product/sugar.html

3、大屏创建

创建组织、尝鲜版

选择模板/空白模板

进入编辑窗口

三、总成交金额接口

1、Sugar 组件:数字翻牌器

添加、配置调用路径(API 拉取方式绑定)

查询对应的数据格式

2、接口实现

代码分层结构

Application启动类中添加MapperScan注解

Mapper类中添加@Select,编写SQL语句

Controller层中添加@RequestMapping("/api/sugar")和@RestController注解

测试接口并输出结果

3、内网穿透

(1)作用:实现局域网中的电脑被外网访问

(2)工具:花生壳、Ngrok、网云穿

(3)网云穿步骤

注册、版领取免费隧道

下载电脑客户端,就可以进行访问

4、配置Sugar大屏

【空间设置】中增加$API_HOST

点击刷新图表

四、不同维度商品交易额的统计

1、三方面统计

品牌-水平柱状图

品类-饼状图

商品spu-轮播图

共同特征是可以根据商品统计信息计算出来

2、Sugar 组件:横向柱图、轮播饼图、轮播表格

(1)添加组件

(2)配置数据获取方式并修改排序规则

3、数据接口实现

用不同维度进行分组,金额进行聚合的方式查询商品统计表

创建商品交易额统计实体类

Mapper中添加三个方法,并写出SQL语句

Controller中添加@RequestMapping("/spu"),自定义表头,拼接表体

本地接口测试

4、刷新大屏图表数据

五、分省市的热力图统计

1、Sugar 组件:中国省份色彩

添加并配置组件

设置颜色及省份边界线

查看 路径和访问格式

2、数据接口实现

创建地区交易额统计类

编写Mapper、Service、controller方法

测试并刷新大屏数据

六、流量统计数据

包括:分时流量折线图+新老访客流量对比表格

1、Sugar组件:表格、折线图

七、热词字符云

1、Sugar 组件:字符云

2、数据接口实现

创建关键词词统计实体类

根据类型匹配分数

select keyword,
sum(keyword_stats_2021.ct *
multiIf(
source='SEARCH',10,
source='ORDER',5,
source='CART',2,
source='CLICK',1,0
)) ct
from
keyword_stats
where
toYYYYMMDD(stt)=#{date}
group by
keyword
order by
sum(keyword_stats.ct)
limit #{limit};

八、添加素材

选择文本、边框、查看效果

公开分享

九、总结

会通过 springboot 搭建一个 web 服务

使用注解方式,通过 SQL 语句查询 ClickHouse

现数据大屏可视化配置,了解其中的地图、柱形图、饼图、折线图、 表格、轮播表、字符云等组件的使用预配置

使用内网穿透工具,方便调试本地接口与互联网服务对接

十、花生壳配置

【实时数仓】Day06-数据可视化接口:接口介绍、Sugar大屏、成交金额、不同维度交易额(品牌、品类、商品spu)、分省的热力图 、新老顾客流量统计、字符云的更多相关文章

  1. 基于 Flink 的实时数仓生产实践

    数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战.在智能商业中,数据的结果代表了用户反馈.获取数据的及时性尤为重要.快速获取数据反馈能够帮助公司更快地做出决策,更好地进行 ...

  2. 大数据之Hudi + Kylin的准实时数仓实现

    问题导读:1.数据库.数据仓库如何理解?2.数据湖有什么用途?解决什么问题?3.数据仓库的加载链路如何实现?4.Hudi新一代数据湖项目有什么优势? 在近期的 Apache Kylin × Apach ...

  3. 美团点评基于 Flink 的实时数仓建设实践

    https://mp.weixin.qq.com/s?__biz=MjM5NjQ5MTI5OA==&mid=2651749037&idx=1&sn=4a448647b3dae5 ...

  4. flink实时数仓从入门到实战

    第一章.flink实时数仓入门 一.依赖 <!--Licensed to the Apache Software Foundation (ASF) under oneor more contri ...

  5. 实时数仓(二):DWD层-数据处理

    目录 实时数仓(二):DWD层-数据处理 1.数据源 2.用户行为日志 2.1开发环境搭建 1)包结构 2)pom.xml 3)MykafkaUtil.java 4)log4j.properties ...

  6. HBase实战 | 知乎实时数仓架构演进

    https://mp.weixin.qq.com/s/hx-q13QteNvtXRpNsE5Y0A 作者 | 知乎数据工程团队编辑 | VincentAI 前线导读:“数据智能” (Data Inte ...

  7. (转)用Flink取代Spark Streaming!知乎实时数仓架构演进

    转:https://mp.weixin.qq.com/s/e8lsGyl8oVtfg6HhXyIe4A AI 前线导读:“数据智能” (Data Intelligence) 有一个必须且基础的环节,就 ...

  8. 更强大的实时数仓构建能力!分析型数据库PostgreSQL 6.0新特性解读

    阿里云 AnalyticDB for PostgreSQL 为采用MPP架构的分布式集群数据库,完备支持SQL 2003,部分兼容Oracle语法,支持PL/SQL存储过程,触发器,支持标准数据库事务 ...

  9. 基于Flink构建全场景实时数仓

    目录: 一. 实时计算初期 二. 实时数仓建设 三. Lambda架构的实时数仓 四. Kappa架构的实时数仓 五. 流批结合的实时数仓 实时计算初期 虽然实时计算在最近几年才火起来,但是在早期也有 ...

  10. 基于 Kafka 的实时数仓在搜索的实践应用

    一.概述 Apache Kafka 发展至今,已经是一个很成熟的消息队列组件了,也是大数据生态圈中不可或缺的一员.Apache Kafka 社区非常的活跃,通过社区成员不断的贡献代码和迭代项目,使得 ...

随机推荐

  1. 使用MinIO中暂未解决的问题

    时间显示问题 web页面上创建桶的时间跟使用SDK获取的时间不一样,相差8个小时,但是mc命令行客户端获取的时间跟web上的一样

  2. 利用curl命令访问Kubernetes API server

    kubectl 通过访问 Kubernetes API 来执行命令.我们也可以通过对应的TLS key, 使用curl 或是 golang client做同样的事. API 请求必须使用 JSON 格 ...

  3. 初试 Prometheus + Grafana 监控系统搭建并监控 Mysql

    转载自:https://cloud.tencent.com/developer/article/1433280 文章目录1.Prometheus & Grafana 介绍1.1.Prometh ...

  4. NSIS 自定义安装界面准确获取安装进度完美解决方案

    友情提醒:随着7zip版本快速更新,nsis7z插件已经不能全面兼容新版,使用本例子请将7zip版本降至9.2x以下并下载最新版nsis7z.dll! ------------------------ ...

  5. 如何通过执行SQL为低代码项目提速?

    见多了SQL为代码开发提速,那么当低代码遇到SQL会擦出怎样的火花呢?本文将低代码和SQL结合进行介绍,让大家了解如何通过执行SQL为低代码项目提速. 背景 自从计算机诞生的一刻起,如何让计算机能够按 ...

  6. JSP实现登录功能(页面带样式)

    功能要求 1.完成两个页面 2.第一个登陆页面login. jsp 3.第二个用户管理页面useManage. jsp 4.有登录功能(能进行用户名密码的校验,用户名若为自己的学号密码为班级号,允许登 ...

  7. Docker | 镜像浅析,以及制作自己的镜像

    分层下载,docker image 的核心: 联合文件系统 镜像是什么 镜像就是一个轻量的.独立的软件包.用来打包运行环境和基于运行环境开发的软件.它包含软件运行所需的所有内容(包括代码.运行时.库. ...

  8. 达梦dba_segments指定表名查询到的大小都包含哪些数据

    一.结论 dba_segments指定表名查询到的段大小包含索引.约束.表字段数据(包含LOB字段)(1)表(不包含LOB字段)创建默认分配2个簇,1个簇用于存放表结构及字段数据,1个簇用于存放clu ...

  9. java中list集合怎么判断是否为空

    首先看下面代码 @RequestMapping("/getCatlist") public String getCatlist(HttpSession session,HttpSe ...

  10. Linux系统管理_磁盘管理——敬请期待!!!

    df 显示磁盘空间使用情况 -a 全部文件系统列表 -h 以方便阅读的方式显示 -T 列出文件系统类型 du 查看目录和文件的磁盘空间使用情况 -a 显示目录中所有文件大小 -h 以易读方式显示文件大 ...