更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群
 
伴随着气象技术的发展以及城市气象设施的完善,气象监测服务能力在不断提高,实现短期甚至中长期的气象预测成为可能。
 
短期、长期的天气形势预测,不仅能帮助相关行业、有关部门针对性地进行极端天气防范准备,降低气象灾害带来的影响;还可以提升对风力、水力等可再生能源的利用效率,实现可持续发展,推动环境保护。
 
而大地量子正是这样一家深耕气象领域的公司。作为定位为AI大模型与数字孪生的公司,大地量子通过对PB级卫星遥感数据、气象数据的AI开发,打造业界领先的天气预测、清洁能源功率预测、绿电交易预测、碳汇碳排等技术产品,并利用自有的AI与超算优势,完成下一代气象预报系统。
 
 
预测一个地理位置的气象情况,实际是根据周围的观测站点的大量信息,做重合面积的地理信息查询,包括经纬度、温度、湿度等具体数值。除此之外,大自然中变幻莫测的风、雨、云、电,也会为数据的计算能力和实时查询也带来了巨大的难点。具体可以包括以下三点:
 
第一,地理信息数据处理能力,业务需要丰富的geo函数,用于整合海量的历史气象数据,对目标点位/区域实现天气预测;第二,高时效性查询需求,风场、云层预测等模型需要实时查询能力,快速做到结果反馈;第三,由于查询的接口众多,高并发扩展也是交互式业务不可或缺的能力之一。
 
如何解决这些痛点?大地量子选择了与火山引擎云原生数据仓库ByteHouse进行合作。
 
随着字节跳动业务的快速发展,产生了海量的产品使用数据分析需求。这类场景数据指标计算相对复杂、数据总量大且查询模式多变,要求底层数据计算引擎具备高可用性,以及具备应对超大数据规模下交互式实时响应的能力。ByteHouse的极致性能和强大计算能力,正是源于内部场景的多年积累和检验。
 
在字节跳动内部实践场景和海量数据打磨下的技术能力也复制在大地量子上,并进行了进一步升级。
 
据介绍,ByteHouse起初是基于开源ClickHouse引擎进行技术架构重构和优化。但相比起原生的ClickHouse,火山引擎ByteHouse基于独家自研的高可用引擎及查询优化器,可以为企业提供快速、稳定、安全的查询服务和数据写入性能。
 
从技术层面看,ByteHouse 提供了 PB 级数据秒级响应,通过增强的自研引擎,确保95%以上的查询均可在秒级返回,同时通过自研的HAEngine和元数据持久化等优化,ByteHouse提供了新的生产级高可用方案,能够保障其在大数据量场景下依然不会影响到查询分析体验。
 
大地量子通过将现场采集及大模型生成的气象数据导入到ByteHouse中,通过ByteHouse的多边形计算、方差、平均值等计算函数能力,支撑GEO查询和空间计算,满足其对预测系统以及交互式查询需求。另外,针对大地量子不同阶段数据波动情况,ByteHouse也提出了定制化解决方案。例如,在业务数据低谷期,ByteHouse提供集群节点进行自助升级能力,在保持产品功能更新的同时,能更灵活帮助大地量子控制产品版本,降低运维负担。
 
在降本增效层面,大地量子也利用ByteHouse进行了极致优化。ByteHouse 能支持用户自定义冷存储的比例,该能力帮助大地量子将查询频次较少的历史数据进行冷存,起到降低存储成本的作用,最终实现查询效率和成本之间的平衡。
 
目前,在业务实践中,平均查询任务时长始终保持在50毫秒以内,同时可以做到400QPS的峰值并发,火山引擎ByteHouse的高效率表现为大地量子提供了最有力的用数支持。
 
未来,由于大地量子将把部分功能作为API接口对外开放,ByteHouse的高查询性能足以满足预测系统及后续交互式查询需求,进一步为大地量子提供了查询并发的保障,为业务扩展提供基础。除此之外,由于ByteHouse 支持无损和自助水平扩容,随着数据量持续增加,大地量子也计划通过 ByteHouse 集群的水平扩容来动态调整和支持计算、存储能力,为高性能查询提供更强保障。
 
除了在气象领域落地,火山引擎ByteHouse还与中国地震台网中心、海王集团、莉莉丝游戏、极客邦科技等诸多行业企业达成了深度合作,凭借新一代的云原生架构,高效方便的运维模式,以及高性能更灵活的实时查询能力,为企业抓稳数字化机遇建立了夯实的地基,推动企业的数智化转型升级。
 
点击跳转火山引擎ByteHouse了解更多

如何精准预测天气?火山引擎ByteHouse与大地量子这么做的更多相关文章

  1. 高性能、快响应!火山引擎 ByteHouse 物化视图功能及入门介绍

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,回复[1]进入官方交流群 物化视图是指将视图的计算结果存储在数据库中的一种技术.当用户执行查询时,数据库会直接从已经预计算好的结果中获取数据 ...

  2. 火山引擎MARS-APM Plus x 飞书 |降低线上OOM,提高App性能稳定性

    通过使用火山引擎MARS-APM Plus的memory graph功能,飞书研发团队有效分析定位问题线上case多达30例,线上OOM率降低到了0.8‰,降幅达到60%.大幅提升了用户体验,为飞书的 ...

  3. 火山引擎 DataLeap 的 Data Catalog 系统公有云实践

      Data Catalog 通过汇总技术和业务元数据,解决大数据生产者组织梳理数据.数据消费者找数和理解数的业务场景.本篇内容源自于火山引擎大数据研发治理套件 DataLeap 中的 Data Ca ...

  4. 火山引擎DataLeap数据调度实例的 DAG 优化方案

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,并进入官方交流群 实例 DAG 介绍 DataLeap 是火山引擎自研的一站式大数据中台解决方案,集数据集成.开发.运维.治理.资产管理能力 ...

  5. 如何又快又好实现 Catalog 系统搜索能力?火山引擎 DataLeap 这样做

      摘要 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品,帮助用户快速完成数据集成.开发.运维.治理.资产.安全等全套数据中台建设,降低工作成本和数据维护成本.挖掘数据价 ...

  6. 火山引擎 DataLeap:3 个关键步骤,复制字节跳动一站式数据治理经验

    更多技术交流.求职机会,欢迎关注字节跳动数据平台微信公众号,并进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品,帮助用户快速完成数据集成.开发.运维.治理. ...

  7. 【LOJ】#3101. 「JSOI2019」精准预测

    LOJ#3101. 「JSOI2019」精准预测 设0是生,1是死,按2-sat连边那么第一种情况是\((t,x,1) \rightarrow (t + 1,y,1)\),\((t + 1,y, 0) ...

  8. [LOJ 3101] [Luogu 5332] [JSOI2019]精准预测(2-SAT+拓扑排序+bitset)

    [LOJ 3101] [Luogu 5332] [JSOI2019]精准预测(2-SAT+拓扑排序+bitset) 题面 题面较长,略 分析 首先,发现火星人只有死和活两种状态,考虑2-SAT 建图 ...

  9. 【JSOI2019】精准预测(2-SAT & bitset)

    Description 现有一台预测机,可以预测当前 \(n\) 个人在 \(T\) 个时刻内的生死关系.关系有两种: \(\texttt{0 t x y}\):如果 \(t\) 时刻 \(x\) 死 ...

  10. 还原火山引擎 A/B 测试产品——DataTester 私有化部署实践经验

      作为一款面向ToB市场的产品--火山引擎A/B测试(DataTester)为了满足客户对数据安全.合规问题等需求,探索私有化部署是产品无法绕开的一条路.   在面向ToB客户私有化的实际落地中,火 ...

随机推荐

  1. TerraMoursGPT V1.0 开发总结

    TerraMoursGPT V1.0 开发总结 TerraMoursGPT V1.0 是之前gpt项目基于TerraMours后端框架的重构,实现用户登陆和基于SK的多语言模型聊天.基于chatgpt ...

  2. GIT协作流程规范

    分支模型 集中式的分支模型 目前团队使用的模式属于老旧的集中式分支模型,简单的总结就是: 开发时: 团队的所有成员都在dev分支上开发(也支持少部分的特性分支feature-xxx). 测试时: 当功 ...

  3. [数据校验/数据质量] 数据校验框架:hibernate-validation

    0 前言 其一,项目中普遍遇到了此问题,故近两天深入地研究了一下. 其二,能够自信地说,仔细看完本篇,就无需再看其他的Java数据校验框架的文章了. 1 数据校验框架概述 1.0 数据校验框架的产生背 ...

  4. 抽象工厂(Abstract Factory)

    模式定义 提供一个接口, 让该接口负责创建一系列'相关或者相互依赖的对象' , 无需指定他们具体的类 要点总结 如果没有应对'多系列对象构建'的需求变化 ,则没有必要使用Abstract Factor ...

  5. Cadence SPB 22.1 --学习基础01Day

    1.电路图设计 ①.原理图设计 原理图符号-->原理图库:代替实际电子元器件的符号,主要就是引脚数目.引脚序号与实物对应: ②.PCB设计 PCB符合-->PCB封装库:电子元器件的各种实 ...

  6. 一个Blazor+WinForm+MAUI+PDA实现的条码比对系统

    条码比对系统是由单机版桌面软件和Android版的PDA扫码软件组成,桌面软件采用Blazor与WinForm进行混合开发,PDA扫码软件采用MAUI进行开发,这个项目都是基于.NET技术进行构建,这 ...

  7. Codeforces Round #691 (Div. 2) D - Glass Half Spilled(DP)

    题目 补下因实验漏掉的CF(还以为是晚上,没想到是下午开始).前三题过的很顺利,到D题时想了会发现数据很小爆搜貌似能过,就以为是道水题,交了一发T了,胡乱加了点剪枝还是T.逐渐意识到事情的严重性.考虑 ...

  8. 洛谷P2757 [国家集训队]等差子序列 (hash+线段树)

    题目连接 这题只要令 $len=3$看是否符合即可.因为是一个 $1$到 $n$的排列,考虑数列中项,那么对于一个数 $x$,令 $k=\max(n-x, x-1)$,只要存在 $d\in(1,k)$ ...

  9. 【scikit-learn基础】--『预处理』之 数据缩放

    数据的预处理是数据分析,或者机器学习训练前的重要步骤.通过数据预处理,可以 提高数据质量,处理数据的缺失值.异常值和重复值等问题,增加数据的准确性和可靠性 整合不同数据,数据的来源和结构可能多种多样, ...

  10. Celery周期性任务定义beat

    通过celery beat可以使用周期性任务的定义. https://docs.celeryq.dev/en/stable/userguide/periodic-tasks.html 周期性任务bea ...