巨杉TechDay回顾 | WARNING!您参加的数据库沙龙热度已爆表……
自从2008年“大数据”这一概念被首次提出以来,在过去这10年中,几乎各行各业都或多或少受到了这一概念的影响。与此同时,在AI、云计算、物联网、区块链等新兴技术快速发展的今天,数据库己经成为了决定所有应用能否成功运行的核心。但随着业务规模的不断扩大,各式各样的数据正呈现指数级增长,传统数据处理系统已不堪重负,数据库性能问题成为了系统稳定运行的主要瓶颈。
那么,如何有效解决海量数据引发的数据库压力问题?如何在海量的数据中提取具有高价值的部分?如何解决多类型数据对数据处理能力的高要求?如何能使后台数据库适应业务模式的变革不断升级,又能满足数据量爆增所带来的存储、查询、分析、挖掘等需求呢?为破局以上难题,让开发者们更好地了解数据库架构设计性能优化方式,巨杉数据库特别举办“巨杉TechDay:数据库架构设计与性能优化” 北京站活动,邀请多位数据库方面的专家带来精彩纷呈的技术干货、分享实实在在的应用实践经验,让现场数百位开发者收获满满。
PB级多源异构数据管理实践
巨杉数据库技术总监,作为第一位演讲嘉宾,详细介绍了在数据量级巨大且复杂的应用需求场景下,巨杉数据库是如何实现数据存储与交易等需求的。
嘉宾从应用角度切入本次主题分享,应用程序开发从烟囱式架构逐渐向分布式转型,在这一过程中,数据库如何应对微服务应用架构成为一大难题。此时,分布式数据库因规模大、容量大并支持高并发的特性,可以更好的存储复杂多样的数据。
而巨杉分布式数据库因此脱颖而出,完全自研的分布式存储引擎,利用C++实现一套完整分布数据库,这套分布式数据库有自己独立的计算层。此外,巨杉分布式数据库不仅支持联机交易、数据中台、内容管理三大核心应用场景,更支持关系型、文档型、对象型等多种数据库实例,轻松解决多类型数据对数据处理能力的高要求。
最后,嘉宾重点为我们介绍了巨杉数据库的功能特点,首先,数据分片能力,利用哈希算法进行分区分片;其次,高可用能力;第三,水平扩展能力;第四,强大的分布式事务能力;第五, MySQL兼容能力。
通过嘉宾深入浅出的为大家介绍关于巨杉数据库的特点、能力以及应用场景,开发者们不仅加深了对分布式存储的基本认识,更有机会利用巨杉数据库,解决更多实际问题与难题。
SQL-NoSQL-NewSQL 数据库架构演变全解析
天下大势,分久必合,合久必分,没有什么是永恒的。在SQL的发展过程中,占据数据库市场绝大部分的SQL、NoSQL、NewSQL,目前也呈现出融合的趋势。在当下对于企业而言,为项目找到最适合的工具是重中之重;对于个人而言,最理想的状态则是企业所选择的工具,我刚好会用。云和恩墨数据库专家张甦为大家分享了SQL、NewSQL和NoSQL数据库的演变过程。
张甦在为现场的开发者详细的介绍一些主流产品后,提出了“在数据量爆发式增长,数据存不下来该怎么办”的问题。对此他为现场的开发者例举多个解决方法并作出总结。
首先,利用SQL模型-转换为微服务,集中化存储,其结论是数据高度耦合,如果增加微服务数量,底层数据库无法扩展,整体性能还是会受到限制;SQL模型-转换为微服务,分散化存储,结论为运维成本高,底层数据库还是会存在容量上限问题,还需要考虑扩展问题。
所以,为了达到水平扩展能力,解决数据存不下的问题,NewSQL模型因拥有多模多租户、SQL兼容、分布式扩展、ACID事务的支持,强一致性等特性,作为更加简单的存储模型,成为企业与开发者绝佳的选择。
数据库性能展示平台-CleverDB构建之路
京东数科数据库工程师曲喆作为第三个出场的讲师,直奔主题为大家分享了由京东数科自主研发的数据库展示CleverDB平台,通过该产品的背景、功能以及设计实现三部分介绍,让现场的开发者更加直观的了解该平台以及它所赋予的强大功能。
曲喆强调,为帮助DBA人员消除DBA经验运维与运维差异,从而提升整体数据库运维能力;针对研发人员,意在为其扫除研发盲区,激发研发赋能,推崇自主优化;而对于管理者来说,他们需要资源利用率审计,合理资源评估,全面的资源信息展示。为此,京东数科推出这款CleverDB产品,大大满足三方需求。
接下来,曲喆详细介绍了CleverDB的功能特性,CleverDB采用大数据计算和机器学习技术,对数据库性能进行全面诊断,以用户视角,进行性能指标的多维展示,帮助用户快速了解数据库运行状况、智能分析和定位问题并进行故障解决。
具体而言,CleverDB会以多维度、细粒度诊断,通过会话、空间、性能、慢SQL等维度分析实现对数据库进行全方位诊断;化繁为简的将所有资源信息、性能状态和问题隐患直观展示,定期推送巡检报告;并推出智能优化服务,多个功能利用神经网络、机器学习和大数据计算等技术实现智能化解决方案。
游戏数据库管理与性能优化
最后一位与大家分享的嘉宾,光宇游戏资深DBA余传波,余传波老师的出场也将主题分享推向了高潮。
余传波强调,传统的关系型数据库承载了太多的业务与业务逻辑,导致原本不该由数据库承担的东西都放到数据库层,而游戏行业则是为数不多的正常使用数据库功能的行业。
所以,游戏数据库具有以下几点特性,首先,游戏数据库业务逻辑简单没有复杂的SQL语句,不可能出现过多的存储过程和触发器;其次,自带分库属性,所登陆的区组映射到数据库中,就是登录到某一个数据库中;最后,游戏数据能够离线,区别于类似交易库不能离线,游戏操作的数据库因自带本地缓存,所以是可以离线的。
接下来,余传波介绍了游戏数据库的管理的必经之路,首先,标准化,强制要求每台DB实体机器配置/目录结构/文件命名规则/定义脚本模板;其次,半自动化,通过自动化工具进行批量运维,所有操作只需登录一台集控服务器执行批量并发操作的脚本,独立的版控服务器,通过并行的主动推送;最后,平台化,多个运维系统相互协调配合实现,所有的操作在WEB管理平台就可完成。除此之外,他更贴心的向每一个DBA表示,永远记得给自己留一条后路,很多例子告诉我们,最后一份备份文件十足重要。
随着余传波老师精彩演讲的结束,本次沙龙技术的分享也接近尾声,现场的技术小伙伴们认真倾听积极互动,与现场的技术大咖共同见证着巨杉数据库的神奇魅力,并深刻的体会到巨杉在数据库架构设计与性能优化方面的尝试与创新。为助力开发者在大数据时代抓住更多机会,在创新的海洋里持续远航,巨杉TechDay将持续为大家带来更多精彩内容,如果你还意犹未尽,那我们下一次沙龙活动再会吧!
PS:关注公众号,发送“0727”,或按图示操作,即可获取PPT~
巨杉TechDay回顾 | WARNING!您参加的数据库沙龙热度已爆表……的更多相关文章
- 巨杉TechDay回顾 | 技术人的夏天 · 就是这么燃!
在All in Cloud的云计算时代,业务和应用正在不断“云化”,在此过程中云原生(Cloud Native)理念应运而生.作为云化改造的重要部分,云数据库因其天生的弹性扩展能力以及灵活.易用等特点 ...
- EF为什么向我的数据库再次插入已有对象?(ZT)
最近做了个多对多对实体对象,结果发现每次只要增加一个子实体,就会自动添加一个父实体进去,而不管该父实体是否已经存在. 找了好久,终于找到这篇文章,照文章内容来看,应该是断开连接导致的. 原文地址:ht ...
- MySQL 高可用:mysql+mycat实现数据库分片(分库分表)
本文引用于http://blog.csdn.net/kk185800961/article/details/51147029 MySQL 高可用:mysql+mycat实现数据库分片(分库分表) 什么 ...
- 设有一数据库,包括四个表:学生表(Student)、课程表(Course)、成绩表(Score)以及教师信息表(Teacher)。
一. 设有一数据库,包括四个表:学生表(Student).课程表(Course).成绩表(Score)以及教师信息表(Teacher).四个表的结构分别如表1-1的表(一)~表( ...
- 数据库中老师学生家长表添加自动同意好友自动(AgreeAddingFriend ),默认为True
数据库中老师学生家长表添加自动同意好友自动(AgreeAddingFriend ),默认为True alter table Sys_User add AgreeAddingFriend bit alt ...
- T-SQL - 访问远程数据库并对其数据表进行操作
一.概述 很多时候我们需要在.NET应用程序中使用一条SQL语句来访问来自不同服务器.不同数据库中的不同的表,实现方法有很多.我们可以在.NET应用程序中建立数据访问层,使用ADO.NET Entit ...
- Android项目中,在一个数据库里建立多张表
一,创建一个公共的DBAdapter; 为了在整个程序运行期间调用该公共的数据库,我们定义了一个扩展自Application的CommDB类: 1,创建唯一的数据库: public class Com ...
- SQL批量更新数据库中所有用户数据表中字段类型为tinyint为int
--SQL批量更新数据库中所有用户数据表中字段类型为tinyint为int --关键说明:--1.从系统表syscolumns中的查询所有xtype='48'的记录得到类型为[tinyint]的字段- ...
- 在db2中 两个数据库之间的两个表的联合查询
大家好,今天遇到了在db2中 两个数据库之间的两个表的联合查询 我知道oracle中有dblink,可是不知到db2的两个数据库联合查询怎么处理我找了类似于比如两个数据库: db1,db2用户名密码s ...
随机推荐
- python+appium+真机测试
appium环境搭建 操作系统: Windows 10 被测平台: Android真机 appium服务器: appium Desktop appium客户端: python-client 测试的AP ...
- Java Web 笔记(1)
JavaWeb 学习笔记,狂神说java,链接:https://www.bilibili.com/video/av68833391 Java Web 1.基本概念 1.1.前言 web开发: web, ...
- WebDev.WebServer20.exe应用程序错误
我的.net网页,在iis运行成功,在VS2010调试网页时报一个WebDev.WebServer20.exe应用程序错误. 最后查找资料,发现了网站设置的框架是2.0,在vs2010里不能调试2.0 ...
- [大数据技术]Kettle初次连接MySQL数据库 报错问题 错误连接数据库 Error occured while trying to connect to the database Exception while loading class org.gjt.mm.mysql.Driver
报错内容如下: 错误连接数据库 [foodmartconn] : org.pentaho.di.core.exception.KettleDatabaseException: Error occure ...
- 高并发系统:消息队列MQ
注:前提是知道什么是消息队列.不懂的去搜索各种消息队列入门(activeMQ.rabbitMQ.rocketMQ.kafka) 1.为什么要使用MQ?(MQ的好处:解耦.异步.削峰) (1)解耦:主要 ...
- 理财收益的计算 计算浮点数的n次方 1466
题目描述 老傻非常喜欢购买理财产品,而且这款理财产品被推销人员吹得特别高,对于贪财的老傻来说正中下怀,于是在心里盘算着买了它,自己就是亿万富豪,现需要你编写一个程序,帮老傻计算其收益,老傻的投入是R( ...
- javascript 权威指南1
JavaScript是面向web的编程语言 web(World Wide Web)即全球广域网,也称为万维网,它是一种基于超文本和HTTP的.全球性的.动态交互的.跨平台的分布式图形信息系统.是建立在 ...
- python之路(集合,深浅copy,基础数据补充)
一.集合:类似列表,元组的存储数据容器,不同点是不可修改,不可重复.无序排列. 1.创建集合: (1).set1 = {'abby', 'eric'} result:{'eric', 'abby'} ...
- 小白月赛22 G : 仓库地址
G : 仓库地址 考察点: 二维中位数 坑点 : 做就 OK 析题得侃: 我们发现 x 和 y 是相互独立的,也就是说先移动 x 或者先移动 y 都是可以到达一个点的,所以我们可以先找到 横坐标的 中 ...
- canvas特效-文字粒子
具体的效果 https://www.ui.cn/detail/393461.html 实现类似的动效 要求: 1.文字内容可以自定义 2.粒子的运动轨迹 是曲线,返回是按照 原运动轨迹 3.粒子 堆叠 ...