阿里云HBase Ganos全新升级,推空间、时空、遥感一体化基础云服务
1、HBase Ganos是什么
Ganos是阿里云时空PaaS服务的自研核心引擎。Ganos已作为云数据库时空引擎与数据库平台融合,建立了以自研云原生数据库POALRDB为基础,联合NoSQL大数据平台(Ali-HBASE和X-Pack Spark)的完整时空地理信息云化管理解决方案。
HBase Ganos是为PB级分布式、大规模时空数据管理而生,主打NoSQL时空大数据处理能力,兼容HBase、Spark、GeoMesa、GeoServer等广泛开源生态,内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等,可广泛应用于空间/时空/遥感大数据存储、查询、分析与数据挖掘场景。
2、新版本重要特性
全球首发时空栅格引擎云服务,支撑航天航空遥感云计算与智能化发展
对地观测技术的快速发展正促使遥感应用走向在线化和服务化。全新的云上时空栅格数据引擎面向未来遥感大数据云端智能分析计算需求而设计,采用了极为灵活的时空数据组织方式,在保留多时相、多分辨率且每一寸像素光谱信息的同时,兼顾传统遥感应用的快速浏览需求。引擎内置的ETL工具可以打通OSS、HBase、POLARDB/PG等数据存储产品,支持栅格数据的全自动化快速入库,包含投影转换、数据分块和索引创建等。栅格数据存储组织支持多种模式,常用的包括全球标准格网剖分和本地坐标系格网剖分(见下图)。
此外,2.5版本发布全新的时空Cover数据模型。Cover模型物理上维护每一幅遥感影像的独立性,同时支持海量遥感影像基于时相和空间条件的动态拼接,逻辑上实时生成时空动态一张图,为遥感智能化分析计算应用提供强大数据模型支撑。
与X-Pack Spark、 GeoTools集成,提供兼容OGC标准的空间数据访问接口
2.5版本提供了更全面的访问方式,包括基于GeoTools API的访问、支持GeoJson作为时空数据结构的REST API、以及空间GeoSQL支持,可最大程度兼容不同用户需求。其中,Ganos Spark模块提供了一系列UDF空间算子实现了基于OGC标准的GeoSQL的空间数据查询,例如:
这些空间算子主要包括Geometry Constructors函数、Geometry Accessors函数、Geometry Cast函数、Geometry Editors函数、Geometry Outputs函数、Spatial Relationships函数以及Geometry Processing函数等,算子功能将按需扩展。
支持时空几何、时空轨迹数据建模,成本、性能获得综合优化
2.5版本支持丰富的时空几何数据、时空轨迹数据建模,数据类型包括点、线、面等时空对象。在此基础上,还提供了完备的时空模型操作能力,既可以支持空间范围查询,也支持“时间+空间”的多维查询。
在性能优化方面,采用了空间谓词下推技术,查询时可将空间过滤条件下推到存储层执行,从而减少I/O开销,降低查询时延。另外,结合阿里云X-Pack可构建强大的时空分析平台,借助空间分区、分区索引、基于内存索引以及Fast Spatial Jion等性能优化手段,可大幅提高查询分析性能。
在成本控制方面,针对时空数据写入膨胀的问题,新版本在索引生成、时空模型编码、冷热分离存储等方面进行了全面优化。在索引生成阶段,对索引的控制力度更细,可按需建立索引;在时空编码方面,使用了TWKB编码,同时用户可指定写入数据的精度,减少数据的存储长度;在冷热分离存储方面,借助阿里云OSS存储,可使得存储成本下降70%以上。
3、典型应用场景
航天航空遥感应用
对地观测、商业航天、无人机测绘等快速发展,积累了大量的遥感影像数据。数据规模的不断扩大给数据时空化组织以及大数据和智能化应用带来了极大挑战。未来需要探索数据在线、应用能力在线、用户购买服务模式。Ganos可以为云平台商、卫星数据厂商、平台服务商等构建遥感智能化大数据云平台提供时空云基础设施支撑,解决最底层关键技术,并在传统编目化管理和切片化应用基础上获得全新架构的快速演进,从而在遥感智能化浪潮中聚焦业务并获得先机。
互联网出行
互联网出行涉及到运力的调度、拼车、供需预测、热力图等业务。以供需预测为例,基于对历史轨迹数据的分析,并结合实时订单数据,预测当前订单密集区域的分布,提高接单概率并减少司机空驶时间。这背后涉及到大量时空型数据和业务信息的快速读取,并结合业务算法进行预测,利用HBase Ganos可有力支持该业务场景。
传感网与实时GIS
在环保、气象、水利、航海航空监测等领域,需要通过各种传感器获取天、空、地、海不同地理现象、事件、要素的全生命周期多尺度监测指标,比如污染监测、水位监测、降雨量监测、航标监测等。HBase Ganos可以为构建实时GIS大数据应用提供稳定、可靠、弹性、免运维的PaaS服务,为地理国情常态化监测和智慧城市建设提供基础平台。
车联网
海量的车辆终端在不断地产生轨迹数据,轨迹数据包含了时间和空间位置。利用HBase Ganos,实时监测车辆的行驶轨迹、是否偏航、是否进入某个限制区域等。除了实时监控外,还可以进行时空查询,如查询某段时间的轨迹,某段时间进入该区域的车辆等。结合大数据分析框架(如Spark)还可以进行穿越分析、区域分布热力图等。
智慧物流与外卖递送
在物流与外卖等领域,需要实时监控车辆、骑手的位置,以便进行可靠的时间预测等服务。车辆和骑手的位置需要实时上报,云端需要处理高并发写入并进行实时路径规划、偏航监测等计算,背后都需要大量的时空计算。
4、典型案例&架构
航海船舶大数据平台
场景:全球AIS船舶实时位置数据,每天上亿条轨迹写入,要求轨迹时空/时序查询秒级响应,具体包括:
• 监管区域实时地理围栏判断;
• 轨迹区域回放(指定区域+指定时间段);
• 轨迹回放(指定时间段查询)。
架构说明:
• AIS等数据经过Spark平台清洗、融合完成后,构建数仓;
• 对外提供查询的数据存储到HBase Ganos中,可供前端各类应用进行时空查询(如地理围栏、轨迹回放等);
• 整体系统的查询时间在毫秒级,数据清洗在分钟级。
位置服务平台
场景:实时采集车辆设备轨迹,40万+终端设备,3万+轨迹点/秒峰值;对外提供实时位置查询、地理围栏、轨迹相似度判断等服务;
架构说明:
• 利用POLARDB Ganos的MOD移动对象数据库保存业务、GIS和行程轨迹现势数据,而HBase Ganos保留所有历史轨迹库;
• 当历史数据量较大时,可通过冷数据自动转储功能,将数据存放到OSS中,减少70%以上的成本;
• 百亿量级的轨迹查询(比如查询某段时间、某空间范围内经过的轨迹)只需亚秒级;
与X-Pack Spark平台无缝衔接,可以提供类似轨迹相似度、OD分析等强大功能。
遥感大数据管理与智能服务平台
场景:完全在线化大规模遥感影像数据入库、查询、分析和AI智能服务。
痛点:
• 遥感影像数据体量大且增量快,存储、计算扩展不灵活;
• 以原始文件为单位管理模式粗放,数据结构不统一,上层调用复杂;
• 传统静态切片方式管理显示速度快,但光谱信息丢失,无法有效支撑实时分析场景和AI场景;
• 多源空间数据融合查询分析困难。
架构说明:
• 原始数据采用OSS高性价比存储,冷热分离;
• 影像数据库采用SQL+NoSQL构建时空序列影像,容量无上限,存储与计算分离,极致弹性;
• 数据完全结构化存储和组织,保留原始像元信息,有效支撑各类分析计算场景;
• 与X-Pack Spark集成,ETL与多源空间数据分析处理更便捷,可进一步集成阿里天巡平台,实现遥感AI能力集成。
产品购买:https://cn.aliyun.com/product/hbase?spm=5176.12825654.eofdhaal5.58.7b652c4acM9Dyn
产品使用手册:https://help.aliyun.com/document_detail/87287.html?spm=a2c4g.11174283.6.684.562f3c2eu7WQdR
本文作者:Roin
本文为云栖社区原创内容,未经允许不得转载。
阿里云HBase Ganos全新升级,推空间、时空、遥感一体化基础云服务的更多相关文章
- 阿里云HBase推出全新X-Pack服务 定义HBase云服务新标准
2018年12月13日,第八届中国云计算标准和应用大会在京召开,会上阿里云HBase宣布推出全新X-Pack服务,支持SQL.时序.时空.图.全文检索能力.复杂分析,从处理到分析全栈式数据库,客户开箱 ...
- 阿里云HBase推出普惠性高可用服务,独家支持用户的自建、混合云环境集群
HBase可以支持百TB数据规模.数百万QPS压力下的毫秒响应,适用于大数据背景下的风控和推荐等在线场景.阿里云HBase服务了多家金融.广告.媒体类业务中的风控和推荐,持续的在高可用.低延迟.低成本 ...
- 阿里云HBase全新发布X-Pack 赋能轻量级大数据平台
一.八年双十一,造就国内最大最专业HBase技术团队 阿里巴巴集团早在2010开始研究并把HBase投入生产环境使用,从最初的淘宝历史交易记录,到蚂蚁安全风控数据存储.持续8年的投入,历经8年双十一锻 ...
- 阿里云HBase全新发布X-Pack NoSQL数据库再上新台阶
一.八年双十一,造就国内最大最专业HBase技术团队 阿里巴巴集团早在2010开始研究并把HBase投入生产环境使用,从最初的淘宝历史交易记录,到蚂蚁安全风控数据存储.持续8年的投入,历经8年双十一锻 ...
- 企业打开云HBase的正确方式,来自阿里云云数据库团队的解读
一.HBase的历史由来 HBase是一个开源的非关系型分布式数据库(NoSQL),基于谷歌的BigTable建模,是一个高可靠性.高性能.高伸缩的分布式存储系统,使用HBase技术可在廉价PC Se ...
- 阿里云HBase携X-Pack再进化,重新赋能轻量级大数据平台
一.八年双十一,造就国内最大最专业HBase技术团队 阿里巴巴集团早在2010开始研究并把HBase投入生产环境使用,从最初的淘宝历史交易记录,到蚂蚁安全风控数据存储.持续8年的投入,历经8年双十一锻 ...
- 腾讯云游戏服务平台CMatrix品牌全新升级为GameMatrix
近日,隶属腾讯互娱公共研发运营体系(下文称CROS)下的云游戏服务平台CMatrix宣布进行品牌升级,启用全新商标Tencent GameMatrix,将原先代表云服务的“C”替换成游戏的英文单词“G ...
- 融云红包全新升级,让App用户更便捷地用“钱”交流感情!
随着移动互联网的飞速发展,如何增强社交关系.留住用户的心已成为移动社交化时代各类App持续探索的问题,除了接入即时通讯的能力,众多社交平台开始通过趣味性十足的红包功能为App中的社交场景赋能.当即时通 ...
- Java连接阿里云HBase示例
使用前要在阿里云的 HBase控制台中点击"修改网络白名单",然后将你的ip地址(会有提示的)添加到网络白名单中,这样以后才能访问. 所需依赖: <dependencies& ...
随机推荐
- SQL Server - Store procedure 如何返回值
存储过程 返回值 procedure return values : http://www.cnblogs.com/SunnyZhu/p/5542347.html return.select.outp ...
- 选择器zuoye
代码: <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title ...
- Linux g++
Usage: g++ [options] file...Options: -pass-exit-codes Exit with highest error code from a p ...
- Jmeter接口自动化测试:简单使用步骤
好处:不需要页面就可以提前介入测试,实施成本低,修改量少,相对于UI自动化来说更为稳定 1. 下载略过 2. 使用步骤 创建线程组合控制器(Jmeter基本操作) 针对http协议的接口增加Sampl ...
- thinkphp 三元运算
模板可以支持三元运算符,例如: {$status?'正常':'错误'} {$info['status']?$info['msg']:$info['error']} 注意:三元运算符中暂时不支持点语法. ...
- “瑞士军刀”Netcat使用方法总结
前言 最近在做渗透测试的时候遇到了端口监听和shell的反弹问题,在这个过程中自己对Netcat这一款神器有了新的认识,现将一些Netcat的用法做一个小总结,希望对各位有帮助! Netcat简介 N ...
- JQuery和JavaScript常用方法的一些区别
jquery 就对javascript的一个扩展,封装,就是让javascript更好用,更简单,为了说明区别,下面与大家分享下JavaScript 与JQuery 常用方法比较 jquery 就 ...
- Matlab AlexNet 识别花
1. 首先,你要又并行计算的工具箱,在插件选项里面找到,安装即可 2. 下载训练的数据集,采用matlab演示的材料即可 https://matlabacademy-content.mathworks ...
- [Vue warn]: Failed to mount component: template or render function not defined. 错误解决方法
解决方法import Vue from "vue"; 默认引入的文件是 vue/dist/vue.runtime.common.js.这个可以在node_modules/vue/p ...
- Android开发 Tablayout的学习
前言 Tablayout一般做主页底下的导航栏开发或者上面的选择栏开发,就个人感觉Tablayout用于主页导航栏会比BottomNavigationView更好,自定义方面也更容易.缺点是没有动画也 ...