以数字资产模型为核心驱动的一站式IoT数据分析实践

【摘要】 一个不会直播的云服务架构师，不是一个好的攻城狮！

在这个全民直播的时代

一个不会直播的云服务架构师

不是一个好的攻城狮

3月23日15:00-15:50，华为云IoT物联网数据分析服务架构师周仕鹏老师，开启了他人生中的第一场直播。在历经了直播小白都会遇到的紧张、认真筹备、期待、再度紧张的一系列过程后，周老师终于站在了直播间，与大家侃侃而谈“以数字资产模型为核心驱动的一站式IoT数据分析实践”，并在直播过程中演示了物联网数据分析Demo开发流程。

直播结束后，小编在后台悄悄问了下周老师：“您的首次直播都可以做到这么自信和游刃有余，秘笈是啥？”

正准备离开的周老师停下脚步，回眸一笑：“谈技术，没有人比我更懂物联网数据分析，谈直播，每个人都有第一次。在这个全民直播的时代，一个不会直播的云服务架构师不是一个好的攻城狮。”

小编：…….（回味中）

下面就让小编带你一起回顾和探秘周老师在直播间聊到的物联网数据分析那些事儿~

物联网数据分析面临的问题与挑战
随着物联网设备接入数量的快速增长，物联网数据量也急速增长，快捷有效的数据分析的价值越来越重要。然而，当前物联网数据分析面临着诸多关键挑战，贯穿着数据分析的整个过程：

• 数据接入阶段：数据质量参差不齐、且面临多种异构数据源接入
• 数据准备阶段：缺少统一数据模型，需要进行大量的数据抽取、转换等处理
• 数据存储阶段：海量数据查询效率低下，数据多份存储、数据管理成本高昂
• 数据分析阶段：不同类型数据分析数据源不同，形成数据孤岛、存在大量数据搬迁；并且数据分析门槛高，缺少简单易用的数据分析工具
• 数据可视化阶段：缺少交互式查询能力、缺少基于时间维度的洞察分析能力

华为云IoT物联网数据分析开放架构介绍
基于以上物联网数据分析面临的挑战，华为推出以资产模型为核心驱动的一站式物联网数据分析服务：基于物联网资产模型，整合大数据分析领域的最佳实践，以及物联网数据集成、清洗、存储、分析、可视化，为开发者打造一站式数据开发体验，并且跟华为云物联网相关云服务（比如设备接入）无缝对接，降低开发门槛，缩短开发周期，快速实现物联网数据价值变现。

下面我们将从资产建模、高效存储、时序分析三个方面进行展开介绍：

资产模型
构建资产模型是充分“理解”物联网数据的基础。现实世界的设备不是离散的，而是具有空间、组织、人等复杂关系与上下文存在的。如何打通物理世界与数字世界的关联，如何更好的理解设备从而快捷高效地分析数据，成为物联网企业急需的基础业务。

不同于通用型大数据分析相关产品，华为云IoT物联网数据分析服务与资产模型深度整合，以DigitalTwins资产模型为中心驱动数据分析，开发者可以直接使用统一的物联网模型数据，大大提升数据分析的效率。通过构建物与物，物与空间，物与人等复杂关系，将物联网数据置于模型的“上下文”中去理解；通过“IoT+资产模型”，在数字世界中构建与物理世界准实时同步的数字孪生；基于模型抽象，为数据分析提供面向业务的接口封装。下图举例，将一栋楼映射成数字孪生，通过资产模型创建了大楼内部的组成关系。

在建模过程中，物联网数据分析服务提供图形化可拖拽方式的开发环境，简化复杂资产模型的开发过程，对于相同的资产可以采用模板方式批量创建。支持UDF（用户自定义函数）能力，用户在创建虚测点过程中可使用比如四则运算，科学计数法，三角函数，滑窗，流计算等函数。

高效存储
数据量大且具有时效性是物联网数据的典型特点，随着时间推移数据价值会逐渐降低。在不同场景下，数据处理时效性的要求也不同。比如：车联网行业的地理围栏、工业领域的生产线异常检测、园区火警告警等，都需要时效性，数据需实时处理，一般都在毫秒级别。而对于报表、统计类等分析，是对较长时间段的数据进行分析，对时间要求不高，一般是分钟级别。

华为云IoT物联网数据分析服务针对不同场景下的数据特点采用不同的存储策略，提供温冷数据分层存储，在满足数据处理要求的同时，降低存储成本。

同时，针对物联网数据具备的显著时序特征，华为云IoT物联网数据分析服务在数据存储及数据分析上做了大量的优化，提供高性能、高压缩比的时序数据处理。比如按时间线做Hash Partition，所有Shard节点并行写入，单实例支持超10万时间线，最大亿级时间线；通过采用列式存储布局，不同数据类型（如时间类型，浮点型）采用不同压缩算法，相比开源OpenTSDB压缩率提升10倍，获得极致压缩率；支持多维倒排索引、向量化查询等，相对开源OpenTSDB查询效率提升10倍以上。

时序分析
物联网数据具备的显著时序特征：按照时间维度上报、存储、查询数据。基于物联网数据的这些特征，华为云IoT物联网数据分析服务提供时序数据洞察工具explorer，提供了开箱即用的时序洞察能力，无需任何开发。

• 基于统一的资产模型进行洞察探索，无需编码或数据准备，提升洞察效率；
• 基于高效的时序存储，可在海量历史数据中秒级快速交互分析查询，可基于任意资产、任意时间点 做准实时的探索查询；
• 基于资产模型环境上下文可视化效果，可通过丰富图表呈现，快速洞察时序数据特征。

针对实时性要求高的场景，物联网数据分析服务还提供基于算子的无 码编排开发实时分析作业系统：

• 预置IoT行业实时处理的算子，行业开发者通过连接算子来编排出实时作业处理流程，无需专业算法知识；
• 面向行业开发者提供简单易用的无 码化开发IDE，快速开发流处理实时分析作业，降低开发者的学习门槛，提高开发效率。

典型应用场景
为了让大家更好地理解和熟悉华为云IoT物联网数据分析服务开发流程，周仕鹏老师在直播间演示了如下两个物联网数据分析典型应用场景：

智慧楼宇分析系统
在实际应用开发中，由于每个楼宇、楼层的设备为离散的物理设备，如果需要按照楼宇、楼层等为单位进行统计并监控设备，就需要对楼宇、设备之间的关系进行标注关联，并且后续的数据分析阶段还需要重新理解实际设备以及关联关系，开发效率低。

通过华为云IoT物联网数据分析服务可以对楼宇进行快速资产建模，并基于统一模型做设备监控、实时分析、时序分析，降低开发门槛，提升数据分析开发效率。

智慧仓储中的实时分析
华为云IoT物联网数据分析服务的资产建模能力，可帮助行业开发者快速构建资产模型并便捷管理。在仓库的进出库管理中，基于数据分析服务的实时分析，结合AI推理计算，对异常RFID数据流进行识别检测，可实现秒级判断出货物在进出库过程中的进出方向，继而可自动与货单进行校对，实时告知仓库管理人员进出货物的情况。