借助DataStax Enterprise和其他开源的解决方案,Locstat为它的用户提供了创新的IoT解决方案,并将数据分析时间由2-3周降至数分钟内,从而快速生成用于分析的图数据。不仅如此,现在他们可以支持大数据,可以灵活伸缩,还可以每日分析处理上百万个数据点。
 

“通过使用DSE,我们建构了一个规则引擎。它不仅可以查询内部事务数据,还可以将在某个环境中串流的所有传感器数据可视化,从而为终端用户提供可以实时了解环境情况的数据图表。另外,我们还能快速存储和写入传感器数据。唯一真正可以搞定这些的数据库就是DataStax Enterprise。”
——Locstat首席技术官兼管理总裁Ryno Goosen
 

 
一分钟案例速读
 
用例
数据库、数据分析、图数据库
 
行业
物联网IoT/数据分析
 
挑战
  • 每日增加上百万条数据和传感器事务
  • 为关键的风险管理服务提供实时的图数据影像(graph imaging)
  • 提供多传感器的数据点的深度分析
 
解决方案
  • 使用DataStax Enterprise (DSE)——一个基于 Apache Cassandra构建的、为混合云环境设计的、随处在线(active everywhere)的数据库
  • 使用DSE Graph
  • 使用DSE Analytics
 
成果
  • 实时且深入的数据分析
  • 每日分析上百万条事务
  • 通过零宕机时间建构用户的信任感和系统的可靠性

01 挑战
 
总部位于南非开普敦的Locstat是一家软件公司。基于图数据,Locstat建构了AI和事件处理解决方案,从而能够实现实时分析和数据可视化。
 
基于物联网设备的传感器数据,这家企业的科技提供了深度分析和预测分析。它所支持的用例包括:
  • 大量的事务监控
  • 实时的串流分析
  • 欺诈监测和预防
  • 客户360
  • 推荐引擎
  • IoT事件处理
  • 地理空间(Geospatial)分析
 
由于这些用例本身的复杂性,Locstat需要一个能够支持大规模数据且具备高性能的数据库。
 
合适的数据库应该能够将数据分析的生命周期从2-3周缩短至数分钟,从而能够快速生成用于分析的图。这个合适的数据库还应该能够支持大数据,并能在云环境中快速且可预期地进行伸缩。
 

02 解决方案
 
Locstat选择了DataStax Enterprise (DSE) 作为他们的数据库和数据层,并选择用DSE Graph支持他们的图数据影像,以及选择用DSE Analytics支持他们的解决方案。
 
Locstat利用地理空间和实时的规则引擎来设计制造他们的产品和解决方案。他们的客户包括了行政部门、国防机关、国安机关、矿产行业、金融行业以及零售业。
 
通过使用DSE,他们构建了一个规则引擎。它不仅可以查询内部事务数据,还可以将在某个环境中串流的所有传感器数据可视化,从而为终端用户提供可以实时了解环境情况的数据图表。
 
另外,他们还能快速存储和写入传感器数据。“唯一真正可以搞定这些的数据库就是DataStax Enterprise,”Locstat首席技术官兼管理总裁Ryno Goosen说,“机器学习是其中非常重要的组件,因为你想要能够预测性地进行系统维护,尤其是对于你的传感器来说。如果你的传感器出故障了,你也会想了解相关数据中的规律和趋势。”
 
Locstat非常重视DSE的集成服务和解决方案。
 
“拥有DSE,你就可以迁移到云环境或私有云,并且向公有云迁移的过程完全没有任何痛苦,因为你已经有了一个可以用的预配置的解决方案了。”Goosen如是说。
 
Goosen还说:“我们在那些组件的基础上建构我们自己的产品和解决方案。如果我们还得管理这些组件,那将是一项成本太高的事情。而现在,我们的解决方案在云上,因为主流的云服务提供商在这些组件方面的能力很难赢过DSE,这对我们在市场中竞争来说是个极大的优势。”
 
为了说明这些,Goosen分享了一个用GeoTrellis生成的热力图,上面有开普敦国际机场周围的航班数据,包括了航空器信息和航迹图。在这个例子中,这些数据被存在Cassandra中,然后通过Apache Spark推送,并在Cesium这个地理空间的数据交互界面利用GeoTrellis进行可视化。
 
根据Goosen所说,这个可视化的解决方案能够“自动且实时地在应用程序中堆叠航迹图,并且当你想要看应用程序后台提供的额外的内容层时,你可以选择不同的地理空间地图。”

 
03 成果
 
借助DataStax Enterprise和其他开源的解决方案,Locstat为它的用户提供了创新的IoT解决方案。比如一个开着采矿船在海床上提取矿产的海洋矿产公司,Locstat为他们提供地理空间风险管理。
 
Locstat的产品为这家公司提供风险预警区域,关注海上采矿船周围的其他船只。如果其他船只或航行器进入了采矿船的附近区域并达到了一定的阈值而触发了警报,Locstat的系统便会提供关于这些船只和航行器的信息。每日生成的报告则帮助海洋矿产公司追踪哪些船只给他们造成了风险。
 
Locstat还为飞行器和无人机监视系统的厂商提供风险管理方案。
 
Locstat还帮助打击铜线盗窃——通过分析案件报告、远程传感器、与贫民区的接近程度、公交枢纽以及金属废料回收商的位置来预测铜线盗窃的高发地点。三年间,他们帮助了安保公司Amahlo Consulting的一个客户减少了68%的铜线盗窃。
 
Locstat还为一个金融服务业的客户提供反欺诈解决方案。他们每日分析超过2500万条数据事务以及400万条金融交易记录。DSE助力Locstat管理大量数据和分析、能够灵活伸缩,并且能够拥有零宕机的可靠性。
 

行业动态 | 每日处理2500万事务数据的IoT解决方案的更多相关文章

  1. [C#]_[使用微软OpenXmlSDK (OpenXmlReader)读取xlsx表格] 读取大数据量100万条数据Excel文件解决方案

      1.OpenXmlSDK是个很好的类库,可惜只能通过C#调用,C#的童鞋又福气了. 2.服务端程序由于没法安装office,所以这个对asp.net网站来说是最理想的库了.需要.net 4.0版本 ...

  2. Qt中提高sqlite的读写速度(使用事务一次性写入100万条数据)

    SQLite数据库本质上来讲就是一个磁盘上的文件,所以一切的数据库操作其实都会转化为对文件的操作,而频繁的文件操作将会是一个很好时的过程,会极大地影响数据库存取的速度.例如:向数据库中插入100万条数 ...

  3. 绝对干货,教你4分钟插入1000万条数据到mysql数据库表,快快进来

    我用到的数据库为,mysql数据库5.7版本的 1.首先自己准备好数据库表 其实我在插入1000万条数据的时候遇到了一些问题,现在先来解决他们,一开始我插入100万条数据时候报错,控制台的信息如下: ...

  4. 极限挑战—C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码)

    原文:极限挑战-C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码) 实际工作中有时候需要把大量数据导入数据库,然后用于各种程序计算,本实验将使用5中方法完成这个过程,并详细记录各种方 ...

  5. C#100万条数据导入SQL SERVER数据库仅用4秒 (附源码)

    作者: Aicken(李鸣)  来源: 博客园  发布时间: 2010-09-08 15:00  阅读: 4520 次  推荐: 0                   原文链接   [收藏] 摘要: ...

  6. mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式)

    mysql快速导入5000万条数据过程记录(LOAD DATA INFILE方式) 首先将要导入的数据文件top5000W.txt放入到数据库数据目录/var/local/mysql/data/${d ...

  7. 复杂业务下向Mysql导入30万条数据代码优化的踩坑记录

    从毕业到现在第一次接触到超过30万条数据导入MySQL的场景(有点low),就是在顺丰公司接入我司EMM产品时需要将AD中的员工数据导入MySQL中,因此楼主负责的模块connector就派上了用场. ...

  8. C# .Net 多进程同步 通信 共享内存 内存映射文件 Memory Mapped 转 VC中进程与进程之间共享内存 .net环境下跨进程、高频率读写数据 使用C#开发Android应用之WebApp 分布式事务之消息补偿解决方案

    C# .Net 多进程同步 通信 共享内存 内存映射文件 Memory Mapped 转 节点通信存在两种模型:共享内存(Shared memory)和消息传递(Messages passing). ...

  9. 插入1000万条数据到mysql数据库表

    转自:https://www.cnblogs.com/fanwencong/p/5765136.html 我用到的数据库为,mysql数据库5.7版本的 1.首先自己准备好数据库表 其实我在插入100 ...

随机推荐

  1. 用过MindManager后才知道思维导图原来这么简单

    哈喽大家好!时间过得真是太快了,一眨眼这一年就接近尾声了,相信我们都度过了不平凡但十分充足的一年,不知道大家在2020年中有没有令自己满意的收获呢? 相信大家各自都有精彩的收获,我们不妨把它们总结一下 ...

  2. FLstudio 系列教程(七):FL Studio五大常用按钮介绍

    我们打开FL Studio编曲软件会发现界面中有好多的菜单和窗口,这些窗口每个都有其单独的功能.今天小编主要给大家详细讲解下FL Studio水果软件的五大常用按钮. 1.首先我,我们双击桌面的水果图 ...

  3. Boom 3D的保真度是什么,如何应用

    Boom 3D是一款非常优秀的3D音频软件,拥有3D音效.环境模式.空间模式.夜间模式.保真度等多种音效模式,可以为用户提供多种音效体验感. 第一.什么是保真度 或许第一次接触音频软件的朋友就会问到什 ...

  4. yii2.0使用bootstrap中日期插件

    Yii2框架引用bootstrap中日期插件yii2-date-picker的方法. 使用composer安装 日期插件 php composer.phar require "2amigos ...

  5. VB的使用

    一.今天讲解VB的使用,明天讲解VC与VB的相互调用: 1.指针是什么?    不需要去找什么标准的定义,它就是一个32位整数,在C语言和在VB里都可以用Long类型来表示.在32位Windows平台 ...

  6. 2020.11最新JAVA环境安装配置

    Windows10下java环境配置 更新:2020年11月25日 电脑环境: windows10 64位 一.下载jdk 首先到Oracle网站下载对应操作系统的jdk安装包. https://ww ...

  7. [题解] [USACO05JAN]Muddy Fields G

    题目TP门 题目大意 在一个 \(R×C\) 的矩阵中,每个点有两个状态:草地和泥地.你需要在泥地里铺 \(1×k\) 木块, \(k\) 为任意整数,求最少要多少木块. 思路 两个横向木块不会互相干 ...

  8. 渗透入门rop

    原文链接:https://blog.csdn.net/guiguzi1110/article/details/77663430?locationNum=1&fps=1 基本ROP 随着NX保护 ...

  9. Spring Security + JJWT 实现 JWT 认证和授权

    关于 JJWT 的使用,可以参考之前的文章:JJWT 使用示例 一.鉴权过滤器 @Component public class JwtAuthenticationTokenFilter extends ...

  10. Java 生成有序 UUID

    UUID.randomUUID() 生成的 UUID 是无序的,如果作为数据主键,不利于索引 Hibernate 的 UUIDHexGenerator.generate() 方法可以生成有序的 UUI ...