BigQuery 如何帮助大规模交付业务型企业提供物联网解决方案

【本文由 Cloud Ace 整理发布，Cloud Ace--谷歌云全球战略合作伙伴】

（介绍：Leverege是一家软件公司，它使全球市场领导者能够快速且经济高效地构建企业物联网应用程序，以提供以数据为中心的决策能力、优化运营、改善客户体验、交付客户价值并增加收入。Leverege 的主要 SaaS 产品 Leverege IoT Stack 在 Google Cloud 上本地运行，并与 Google 的大量 AI/ML 产品无缝集成。

Leverege 使用 BigQuery 作为其数据和分析管道的关键组件，以大规模提供创新的 IoT 解决方案。BigQuery 凭借其数据仓库功能、开箱即用的数据管理功能、实时分析、跨云数据集成以及安全性和合规性标准，为物联网系统提供了理想的基础。这些功能使客户能够轻松集成数据流程并使用生成的数据集来识别趋势并将洞察力应用到运营中。 ）

语境与物联网行业背景

物联网 (IoT) 将传感器、机器和设备连接到互联网，允许各行各业的企业将数据从物理世界移动到数字世界、边缘和云端。大规模物联网解决方案的采用为企业提供了提高效率、降低成本、增加收入和推动创新所需的数据。

IoT 解决方案的强大功能及其对全球经济的影响正在推动对稳健且安全的企业数据仓库功能的需求。物联网在基础设施层面提出了一个特殊的挑战，因为许多大规模的技术要求无法提前预测。一些客户需要管理大量物联网数据集，而另一些客户则需要实时数据流或细粒度访问控制。

物联网领域基础设施要求的广度意味着 Leverege 依赖于与一流的云计算提供商的合作。在技术方面，需要一个功能齐全的数据仓库来满足客户需求并将其扩展。在财务方面，端到端解决方案的设计必须能够管理和降低总体成本，同时考虑到解决方案的每个组件（硬件、连接、基础设施和软件）。

通过利用 Google Cloud Platform 和 BigQuery 的可扩展性和灵活性，Leverege 的客户能够以经济实惠的方式存储、处理和分析来自数百万连接设备的数据，并从传感器数据中提取所需的价值。

使用 Google Cloud 的 Leverege 简介

Leverege 提供可定制的多层物联网堆栈，帮助组织快速轻松地构建和部署物联网解决方案，提供可衡量的商业价值。Leverege 物联网堆栈由三个组件组成：

·Leverege Connect 专注于设备管理，支持分布式物联网设备的安全配置、连接和管理。Leverege Connect 可替代将于 2023 年 8 月停用的 Google IoT Core，并支持 MQTT、HTTP、UDP 和 CoAP 等协议。

·Leverege Architect 专注于数据管理，支持设备和业务数据的摄取、组织和情境化，并能够应用 AI/ML 获得强大的洞察力和/或通过 API 向外部服务公开。

·Leverege Build 优化应用程序开发，通过基于每个角色的定制体验支持最终用户应用程序的生成、配置和品牌化；全部使用无代码工具。

Leverege IoT Stack 与 Google Kubernetes Engine (GKE) 一起部署，这是一种完全托管的 kubernetes 服务，用于管理微服务集合。Leverege 使用 Google Cloud Pub/Sub（一种完全托管的服务）作为数据摄取消息路由的主要方式，并使用 Google Firebase 进行实时数据和用户界面托管。对于长期数据存储、历史查询和分析以及实时洞察，Leverege 依赖于 BigQuery。

利用 BigQuery 大规模交付和管理物联网解决方案

用例 #1：为全球最大的汽车批发商自动进行车辆拍卖

世界领先的二手车市场面临着在面积达 600 英亩的停车场上高效协调和执行同步的现场和在线汽车拍卖的代价高昂的挑战。在部署 IoT 解决方案之前，每天手动安排数千辆汽车需要数百人根据难以发现的信息寻找特定车辆并尝试按精确顺序排列它们。这种手动过程效率极低、不可靠，并且对客户体验产生负面影响，因为车辆经常错过拍卖或顺序不对。

为了解决这个问题，客户构建了低成本、电池寿命长的 GPS 跟踪器，并将它们安装在停车场的所有车辆内。Leverege 将这些设备集成到一个整体的端到端解决方案中，从而提供对精确汽车定位、诊断、自动查询、分析报告以及向感兴趣车辆的步行方向移动的全面了解和可见性。这种数字化转型每年为客户节省数百万美元，同时显着提高客户满意度。

在该解决方案在全国推广后，监控设备和系统的健康状况对于运营成功至关重要。BigQuery 数据分区和自主分析作业允许使用非常大的数据集以一种经济高效的方式来管理和分割系统警报和整体系统健康状况报告。

用例 #2：实时分析世界任何地方船只的状态和准备情况 

Leverege 与世界上最大的船用发动机制造商合作，交付了一个物联网解决方案，为船主和船队经理提供实时、24/7 访问他们在全球的船只的状态、准备情况和位置。

无缝可靠地向船主提供实时海洋数据需要跨硬件、软件和连接的技术集成，这是一个特别适合物联网解决方案的问题。客户的“Connected Boat”产品报告了大量不同的数据，包括每个电气、机械和发动机子系统的状态。其中一些数据仅在出现事件和问题并且船主需要调查时才具有历史意义。

BigQuery 允许 Leverege 以较低的存储成本记录全部历史数据，同时只需支付使用表分区按需访问小段数据的费用。 

对于其中的每一个示例，使用 BigQuery 进行历史分析可以帮助识别痛点并提高运营效率。他们还可以同时使用公共数据集和私有数据集来执行此操作。这意味着汽车批发商可以公开特定车辆的数据，但不能公开整个数据集（即没有 API 查询）。同样，船用发动机制造商可以向不同的最终用户提供数据子集。

利用 IoT Stack 参考架构：集成组件以提供稳健、可扩展且安全的解决方案 

Leverege IoT Stack 构建在 Google Cloud 的基础架构之上，利用多个协同工作的核心组件来提供稳健、可扩展且安全的解决方案。这些组件包括：

·GKE：Leverege 使用 GKE 部署一系列微服务并轻松扩展端到端物联网解决方案。这些微服务处理设备管理、数据摄取和实时数据处理等任务。此外，GKE 可确保高度的业务连续性，实现自我修复和容错，从而使 Leverege 能够提供企业级可用性和正常运行时间。这些功能对于 Leverege 满足服务级别协议规定的要求至关重要。

·Pub/Sub：Leverege 使用 Pub/Sub 来编排消息路由以获取数据，使客户能够近乎实时地处理数据。这提供了一个高度自动扩展、容错的消息队列系统。

·Firebase：Leverege 使用 Firebase 进行实时数据和 UI 托管，为客户提供响应迅速的交互式用户体验。借助 Firebase，客户可以轻松访问和可视化物联网数据，并轻松构建和扩展应用程序。

·BigQuery：BigQuery 是 Leverege 解决方案的基本组成部分。它使客户能够运行长期数据存储和复杂的、类似 SQL 的历史查询。这些查询可以实时运行在大量数据上，为客户提供有助于提高运营效率的可操作见解。

解决方案：利用 IoT 用例的核心 BigQuery 功能 

许多技术公司广泛使用特定的 BigQuery 功能来交付关键业务成果。一些用例需要亚秒级延迟；其他人需要适应性强的机器学习模型。相比之下，企业物联网用例通常包括一组广泛的要求，需要使用 BigQuery 的全部核心功能。例如，Leverege 使用一系列 BigQuery 功能，包括：

·数据存储：BigQuery 作为一个无限的存储平台，允许 Leverege 客户存储和管理具有高可用性的大规模物联网数据，包括实时和历史数据。Leverege 的一些集成设备每天可以报告数千次。在数百万台设备的规模下，Leverege 的客户需要一个可扩展的数据仓库。

·实时流：BigQuery 还提供强大的流功能，使 Leverege IoT Stack 能够近乎实时地摄取和处理大量数据。这对于 Leverege Build 的组件至关重要，它使用历史数据提供开箱即用的图表和图形。这些工具与实时数据的集成和使用更有价值。流媒体功能确保客户无需搜索 Google Firebase 即可轻松访问全面数据。

·数据分区：BigQuery 通过提供可定制的数据分区来实现经济高效的快速查询。Leverege 物联网堆栈按摄取时间对几乎所有历史表进行分区。由于大多数内部历史查询都是基于时间的，因此可以显着节省成本。

·数据加密：BigQuery 默认提供内置静态加密，允许客户安全地存储敏感数据并防止未经授权的访问。

·访问控制：BigQuery 提供了许多安全的数据共享功能。Leverege 使用链接数据集和授权视图以及行级策略来实施严格的访问控制。这些政策至关重要，因为许多物联网项目允许多租户和数据孤岛。

·数据治理：BigQuery 提供了一组强大的数据治理和安全功能，包括细粒度的访问控制，Leverege 使用这些功能将复杂的访问控制策略实施到行级别。

除了 BigQuery 的核心功能外，Leverege 还使用 BigQuery Analytics Hub 私有数据交换和数据集的授权视图提供优于旧方法（例如 CSV 导出和 FTP 删除）的明显优势。Leverege 的 BigQuery 数据集上的授权视图允许执行复杂的访问策略，同时还为 Leverege 的客户提供使用 Looker 等工具分析数据的能力。利用这些 BigQuery 功能，Leverege 可以为客户提供对源数据的可控和计量访问权限，而无需提供直接访问权限。此功能是满足整个企业的治理要求的基础。

BigQuery 的内置机器学习功能还允许对数据中的趋势和模式进行高级分析和预测，从而为我们的客户提供有价值的见解，而无需将数据移动到外部系统。此外，在 BigQuery 中设置自动数据刷新和物化视图的能力可确保我们的客户始终使用最新和准确的数据，从而获得更好的性能并减少不必要的成本。

好处和结果

Google Cloud 基础架构和 BigQuery 功能使 Leverege 能够提供高度可扩展的物联网堆栈。在物联网中，主要挑战不是部署小规模解决方案；而是它通过在短时间内扩展而无需重新架构来部署和管理大规模、高性能的解决方案和应用程序。

BigQuery 表分区将数据拆分为按任意时间范围划分的迷你表。对于许多 Leverege 客户，数据按天划分，并在通过 Leverege IoT Stack 查询数据时强制执行。按时间范围对数据表进行分区可确保查询仅限于目标时间范围内的一小部分数据。通过使用分区，Leverege 可以以最低的成本提供高性能的解决方案。

BigQuery 集群通过将数据拆分到指定字段来进一步提高性能。为了提高查询效率，Leverege 使用聚类来查询满足预先指定过滤条件的数据。在100,000台设备的大规模解决方案中，Leverege可以对数据表进行集群和查询单个设备的历史记录，大大加快了搜索速度并使系统性能更高。此外，重新集群在后台无缝进行，无需任何额外费用。

Leverege IoT Stack 和 Google Cloud（包括 BigQuery）的集成如今为大规模的关键业务企业物联网解决方案提供支持。基础架构和应用程序级别的持续快速发展对于提供下一代物联网解决方案至关重要。

谷歌正在帮助像 Leverege 这样的科技公司在谷歌的数据云上构建创新的应用程序，通过简化的技术访问、有用的和专门的工程支持，如果您也想尝试使用 BigQuery 请与我们取得联系。