光大银行刘淼:基于华为云GaussDB(DWS) 数据仓库创新实践
摘要:面向未来数据平台3.0要做架构减法,平台由N->1,华为云GaussDB(DWS)未来作为数据仓库唯一平台,数据链路实现从数据湖直接到华为云GaussDB(DWS)数据仓库。
日前,华为举办第五届HUAWEI CONNECT。期间,华为云GaussDB(DWS) 数据仓库作为华为云重量级产品之一,受到金融、政府、运营商及各类企业的重点关注。中国光大银行信息科技部副处长刘淼受邀分享了“光大银行基于华为云GaussDB(DWS) 数据仓库创新实践”。
刘淼在演讲中提到,光大银行是首家在数据仓库体系中引入国产产品的全国股份制银行,华为云GaussDB(DWS)上线光大银行,成为数据仓库体系的重要支撑平台之一。 “数字化转型于商业银行发展而言,是一个时代的命题与责任。”当今社会,随着5G、AI、云计算、IoT等技术的飞速发展,数据呈现爆炸式增长,这就决定了企业需要引入新的MPP技术来提升平台竞争力,因此,光大银行在多元数据平台的架构设计上采取了稳步推进的方式,引入华为云GaussDB(DWS)数仓平台,并且在数据迁移的过程中,逐步由“TD加工导到GaussDB”变为“在GaussDB上加工”,最终实现数据仓库的国产化。
刘淼说,“面向未来数据平台3.0要做架构减法,平台由N->1,华为云GaussDB(DWS)未来作为数据仓库唯一平台,数据链路实现从数据湖直接到华为云GaussDB(DWS)数据仓库。”
当前,光大银行使用华为云GaussDB(DWS)数据规模已经达到数百TB,并计划扩容到PB级。华为云GaussDB(DWS)总经理彭贵平表示,产品有十足信心支持光大银行业务持续创新与演进。
据介绍,华为云GaussDB(DWS)数据仓库目前已服务于全球1000+客户,某大客户单一集群规模已达到10PB,打破了MPP数据库单集群规模不超过1PB的通用认知。华为云GaussDB(DWS) 数据仓库的核心竞争力体现在大、快、稳三个方面:
(1)大:GaussDB(DWS)基于分布式架构,在保证ACID的基础下,突破了大规模分布式场景下集群通信(Multi-Streams)、逻辑集群(Multi-Groups)技术,使得产品具备高扩展能力,未来能够支撑100PB甚至更大规模的客户需求。值得一提的是,逻辑集群可将ODS、数据仓库、数据集市、自助分析等不同业务负载,有机的统一起来,有效隔离、有效共享。
(2)快:GaussDB(DWS)具备多层级全并行计算引擎。支持多个物理节点并行计算,在一个物理节点内部,支持多个CPU核心并行计算,在一个CPU核心的指令序列中,支持SIMD指令,实现一个指令同时操作多条数据。将并行能力发挥到极致,为业务提供极致的性能。另外,Multi-Cores技术使得在鲲鹏上性能相比同代x86芯片提升30%以上。
(3)稳:GaussDB(DWS)具备多层级容灾能力,在AZ、集群、节点及进程出现软硬件异常的情况下能够平滑处理。另外,Server端Multi-Retries技术大幅减少故障失败的业务感知;其次,在棘手的亚健康问题上,GaussDB(DWS)也有完善的检测和处理机制;最后,离线扩容、半在线扩容、在线扩容技术能够从容应对客户不同的扩容需求。
华为云GaussDB(DWS) 数据仓库技术核心是分布式架构,过去十年一直围绕分布式构筑竞争力。未来,GaussDB(DWS) 数据仓库将基于分布式架构持续演进,围绕云、大数据、5G/IoT、人工智能,构筑下一代开放的、全场景分析型数据库。
彭贵平表示,GaussDB(DWS) 数据仓库践行"平台+生态"战略,秉承开放合作的生态理念,当前已与500+伙伴形成紧密合作,同时也欢迎更多伙伴加入华为云GaussDB数据仓库生态大家庭,为各行业客户提供具有竞争力的解决方案。
号外!!!华为云官方开发者推广招募计划正在火热进行中,点击立即了解详情
光大银行刘淼:基于华为云GaussDB(DWS) 数据仓库创新实践的更多相关文章
- 揭秘华为云GaussDB(for Influx)最佳实践:hint查询
摘要:GaussDB(for Influx)通过提供hint功能,在单时间线的查询场景下,性能有大幅度的提升,能有效满足客户某些特定场景的查询需求. 本文分享自华为云社区<华为云GaussDB( ...
- 华为云GaussDB(DWS)内存知识点,你知道吗?
前言 在日常数据库的使用中,难免会遇到一些内存问题.此次博文主要向大家分享一些华为云数仓GaussDB(DWS)内存的基本框架以及基本视图的使用,以便遇到内存问题后可以有一个基本的判断. 注意,本篇博 ...
- 升级的华为云“GaussDB”还能战否?
摘要:芯片.操作系统.数据库是现代信息技术领域的三大核心基础,做数据库,不仅需要技术和投入,对华为这种做通讯起家的企业,更需要的是一种并非玩票性质的态度. GaussDB,不仅蕴含着华为对数学和科学的 ...
- 基于华为云IOT及无线RFID技术的智慧仓储解决方案最佳实践系列一
[摘要]仓储管理存在四大细分场景:出入库管理.盘点.分拣和货物跟踪.本系列将介绍利用华为云IOT全栈云服务,端侧采用华为收发分离式RFID解决方案,打造端到端到IOT智慧仓储解决方案的最佳实践. 仓储 ...
- 揭秘华为云GaussDB(for Influx):数据直方图
摘要:本文带您了解直方图在不同产品中的实现,以及GaussDB(for Influx)中直方图的使用方法. 本文分享自华为云社区<华为云GaussDB(for Influx)揭秘第九期:最佳实践 ...
- 基于华为云IoT Studio自助生成10万行代码的奥秘
华为IoT小助手们搬好板凳.备好笔记本.听了HDC.Cloud的几场华为云技术架构师的直播讲课,感觉获益匪浅却又似懂非懂,直后悔自己没有好好打下基础.为了避免再次出现这样的情况,小助手偷偷跑去找了华为 ...
- 基于华为云服务器的FTP站点搭建
前言 主要介绍了华为云上如何使用弹性云服务器的Linux实例使用vsftpd软件搭建FTP站点.vsftpd全称是"very secure FTP daemon",是一款在Linu ...
- 基于华为云语音通知 VoiceCall 的应用上线记录并分享.NET CORE DEMO
最近公司要上线语音通知功能,需求如下: 场景:发生报警时,自动通知到指定的手机号,同时,提供几个按键选项,例如,语音通知如下: “您好,XXX小区发生XXXX报警,按1确认报警,按2忽略报警,按3屏蔽 ...
- 基于华为云CSE微服务接口兼容常见问题
微服务接口兼容常见问题 在进行微服务持续迭代开发的过程中,由于新特性在不停的加入,一些过时的特性在不停的修改,接口兼容问题面临巨大的挑战,特别是在运行环境多版本共存(灰度发布)的情况下.本章节主要描述 ...
- 基于SpringBoot实现操作GaussDB(DWS)的项目实战
摘要:本文就使用springboot结合mybatis plus在项目中实现对GaussDB(DWS)的增删改查操作. 本文分享自华为云社区<基于SpringBoot实现操作GaussDB(DW ...
随机推荐
- 12. 用Rust手把手编写一个wmproxy(代理,内网穿透等), TLS的双向认证信息及token验证
12. 用Rust手把手编写一个wmproxy(代理,内网穿透等), TLS的双向认证信息及token验证 项目 ++wmproxy++ gite: https://gitee.com/tickbh/ ...
- 这一大波Offer来的太突然了
今年 10 月份之前,作为双非院校的本科生来说是非常煎熬的,十几年的求学之路,加上猛学编程和猛肝算法,到头来却是"无一次面试机会",背后的辛酸不言而喻. 然而,国庆之后," ...
- CSS属性 Position的几种定位方式
作者:WangMin 格言:努力做好自己喜欢的每一件事 在讲几种定位方式之前,我们先来了解一下什么是普通流(normal flow)? 除非专门指定,否则所有框都在普通流中定位.普通流中元素框的位置由 ...
- 从 SQL 查询优化技巧去看 h2 数据库查询原理
本文目标是:了解查询的核心原理,对比 SQL 查询优化技巧在 h2database 中的落地实现. 前提:为了贴近实际应用,本文 Code Insight 基于 BTree 存储引擎. 数据查询核心原 ...
- 题解 SP15454
前言 数学符号约定 \(\operatorname{lowbit}(x)\):表示 \(x\) 的二进制最低位. \([a,b]\):表示区间 \(a\sim b\),其中包含 \(a,\,b\) 端 ...
- Basic concepts of complex number
目录 虚数的引入 复数和虚数的关系 Example - 分辨一个数 判断两个复数是否相等的条件 共轭复数 复数的几何意义.复平面的认识 求复数的模 Reference 虚数的引入 假设有一个数,可以叫 ...
- clickHouse-golang
目录 clickHouse优势与劣势 golang操作clickHouse clickHouse优势与劣势 ClickHouse和传统的MySQL在设计和使用场景上有一些显著的区别,因此它们各自具有不 ...
- 递归与分治思想:n的阶乘 && 逆序任意长度字符串(递归)
1 //n的阶乘 2 #include<stdio.h> 3 4 int fun(int n); 5 int main(void) 6 { 7 int n; 8 scanf("% ...
- uni-app框架开发app发布流程
uni-app框架开发app发布流程 1.首先公司申请软著 步骤:申请软著详细流程 - 阿长*长 - 博客园 (cnblogs.com) 一.安卓端 1,点击发行>原生-app云打包 正式包和自 ...
- 2023-11-25:用go语言,给定一个数组arr,长度为n,表示n个格子的分数,并且这些格子首尾相连, 孩子不能选相邻的格子,不能回头选,不能选超过一圈, 但是孩子可以决定从任何位置开始选,也可以
2023-11-25:用go语言,给定一个数组arr,长度为n,表示n个格子的分数,并且这些格子首尾相连, 孩子不能选相邻的格子,不能回头选,不能选超过一圈, 但是孩子可以决定从任何位置开始选,也可以 ...