——把数据从分散统一集中到数据中心

基于HP分布式并行计算/存储技术构建的云监控系统即是通过“云高清摄像机”及IaaS和PaaS监控系统平台,根据用户所需(SaaS)将多路监控数据流传送给“云端”,除了提供传统的监控服务外,还提供了对PB级大数据的高性能IO并发集中存储、查询和分析等数据应用服务,从而可以实现更高的非结构化数据管理,解决了监控系统中对于大数据安全、分析和备份等问题,用户也可以通过任意方式,任意终端按需实现对视频监控的需要。

数据驱动手段在一定程度上帮助了监管部门提高了工作效率。传统的方法是把图像或视频等数据分散存储在不同的分数据中心,分中心则是通过NVR、SAN和NAS等设备进行本地存储,这样虽然可以满足中小型监控系统存储的需求,但是随着数字监控技术和数据存储的广泛普及,数据开始爆炸式增长,从TB乃至PB级以上的数据量的需求也随之不断增加,使得超过了传统数据平台的处理能力。同时有些监控业务管理设施、装备和应用系统等处于单独、孤立运行状态,作用比较单一,而且跨数据中心使用这些数据也非常不方便。

传统的视频监控架构下面临多种挑战:

1、历史数据显示,在现有数据存储方式下,可保存数据的周期不但会越来越短,同时面临数据可靠性的风险。需要延长视频业务数据的保存周期,以对尽可能长时间的数据进行查询和分析,并为一线用户提供信息支撑服务。

2、除了集中管理数据的需求,还面临着数据存储的挑战。随着监控业务规模不断增大,信息化建设的不断推进及监控密集度要求的不断提高,监控点的建设逐年增加,这些不断增加的监控设备采集到的数据需要及时完成存储,高清视频数据也导致比以往更大。对存储性能提出了更高的要求。

3、监控数据无法被充分利用的难题。传统依靠手工方式实现数据查询和统计分析的效率伴随数据量的增加变的越来越低下。这些数据对综合管理存在潜在的价值,可将视频监控的应用范围从过去的和目前以事后查看为主,转变为事前预警,从监控数据中挖掘出业务风险,为各行各业提供更为有效的业务信息支持。

4、传统业务分析解决方案一般采用数据仓库系统,但这些系统设计用于进行在线交易处理,而不是做分析的工作。它们通常采用数据库、服务器和存储平台构建而成,缺少处理不断增加且瞬息万变的TB级以上数据所需的能力。

在视频数据越来越多的情况下,如何做到投入最少的IT资源、提供更高的用户数据存储和分析能力?惠普云监控解决方案即是通过采集这些非结构化数据源,并将它们汇聚到一起存储到云上,帮助用户思考能用数据做什么?从中获取有价值的数据及知识,并有可能在未来提供现在还无法想象的云服务。
  惠普PCS云监控系统解决方案架构,如下图所示。

1

  如上图所示,惠普PCS最新推出的云监控大数据解决方案即是采用目前业界领先的高性能密集并行计算/存储架构,并通过HP云监控分布式并行计算技术和高性能服务器能够有效的解决客户视频监控数据集中式管理和分析等问题,从而把数据从分散统一集中到数据中心。
  惠普云监控系统方案可以依托HP SL4000系列分布式并行计算/存储服务器及云监控平台所提供了强大的数据I/O能力,来实现高吞吐量和高容错性的海量数据存储目标。同时能够实现线性扩展,通过集群中的机器数量增加一倍可以减少约一半的处理时间,或在相同时间内处理两倍的数据量。
  

1

  如上图所示,通过采用HP云监控解决方案的NVR设备可以实现一次多达128路视频数据的采集,并可以横向扩展至更多路NVR集群。惠普分布式并行计算存储云平台无缝整合HP ProLiant SL 4500专用大数据服务器的集群,可按需实现分布式并行计算能力的拓展。惠普云计算管理平台应用服务器可以按需配置大数据服务器热数据集群时间段(例如三个月),超过时间段的数据可以“制冷”自动保存在存储冷数据集群中。
  除了以上特点外,惠普PCS云监控大数据解决方案,还具有以下亮点:
  * 海量数据存储能力:基于监控视频数据的特点,在加入异地备份和冗余容错的需求下,能够提供统一集中式数据中心的PB数据级别以上的在线存储能力。
  * 高性能高并发实时数据读写:由于视频数据监控系统每秒钟都由上千路乃至万路以上终端产生海量的数据。如果在性能上不能到达要求,就会产生写不进查不出等问题,造成系统无法使用。通过云监控系统能够在统一的数据中心中实现高性能和高并发的实时数据I/O读写,从而能保障多路视频图像数据同时并发读写等问题。
  * 统一接入存储:系统提供统一接入接口,能将各监控设备上的视频数据通过同一接口写入逻辑上统一的监控数据中心。在查询时,各操作人员使用的信息系统也可以通过统一接入接口对数据进行读取、查询、统计等工作。
  * 不停机动态扩容:数据中心的数据容量需要随着业务的发展动态扩充,而在扩充的同时不能造成数据平台的服务终止。云监控系统具有在数据中心不停机情况下能够继续提供服务的情况下的动态扩充的能力。
  * 工作负载优化及高效性:云监控平台可无缝使用HP ProLiant SL 4500业界首款专为大数据而构建的服务器,能够为云监控系统平台提供平衡的内核/磁盘比率等并行处理应用,配备15块磁盘的三节点配置,从而能够为监控视频大数据工作负载提供有力支持。并提供最高存储240TB数据(单个42U机柜安装9个机箱容量可达2.16PB),通过高密度的高效机箱及HP智能阵列技术可随着数据的增加而轻松扩展。
  * 分布式并行数据统计挖掘:基于数据中心的海量数据做的数据统计和挖掘会需要大量的数据读写,所以,云监控系统数据中心提供了一个分布式的数据统计挖掘框架,使得统计分中心的服务器上自动并行运行,并将结果进行汇总。
  HP PCS云监控大数据解决方案融合了惠普桌面虚拟化、服务器虚拟化、GPU虚拟化技术和分布式并行计算/存储技术,为用户提供了一套完整统一的云监控大数据服务架构及云端综合的大数据分析和管理模式。
  了解惠普PCS解决方案
  惠普PCS解决方案是成熟的惠普解决方案服务,并且已经过精选,可成功解决客户 IT 环境内的各个关键压力点。这些服务由专业的惠普顾问提供,并可以充分利用来自全球的最佳实践资源,通过高度可重复的及互动式的参与来提供价值。
  惠普PCS解决方案旨在帮助您的客户启动关键 IT 项目,提供多种方法来实现短期目标。这样,能够使客户轻松应对关键性挑战、缩短价值实现时间,更加明智地进行基础设施投资。
  了解获取更多HP PCS方案信息,加盟HP PCS 解决方案销售请联系: china_pcs@hp.com

HP PCS 云监控大数据解决方案的更多相关文章

  1. Lambda plus: 云上大数据解决方案

    本文会简述大数据分析场景需要解决的技术挑战,讨论目前主流大数据架构模式及其发展.最后我们将介绍如何结合云上存储.计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景. 大数据处 ...

  2. 《一张图看懂华为云BigData Pro鲲鹏大数据解决方案》

    8月27日,华为云重磅发布了业界首个鲲鹏大数据解决方案--BigData Pro.该方案采用基于公有云的存储与计算分离架构,以可无限弹性扩容的鲲鹏算力作为计算资源,以支持原生多协议的OBS对象存储服务 ...

  3. 浅析基于微软SQL Server 2012 Parallel Data Warehouse的大数据解决方案

    作者 王枫发布于2014年2月19日 综述 随着越来越多的组织的数据从GB.TB级迈向PB级,标志着整个社会的信息化水平正在迈入新的时代 – 大数据时代.对海量数据的处理.分析能力,日益成为组织在这个 ...

  4. 转:浅析基于微软SQL Server 2012 Parallel Data Warehouse的大数据解决方案

    综述 随着越来越多的组织的数据从GB.TB级迈向PB级,标志着整个社会的信息化水平正在迈入新的时代 – 大数据时代.对海量数据的处理.分析能力,日益成为组织在这个时代决胜未来的关键因素,而基于大数据的 ...

  5. AI加持的阿里云飞天大数据平台技术揭秘

    摘要:2019云栖大会大数据&AI专场,阿里云智能计算平台事业部研究员关涛.资深专家徐晟来为我们分享<AI加持的阿里云飞天大数据平台技术揭秘>.本文主要讲了三大部分,一是原创技术优 ...

  6. dkh人力资源大数据解决方案整体架构

    大数据技术的应用正在潜移默化改变着我们的日常生活习惯和工作方式,很多看起来有点“不可思议”的事情也渐渐被我们“习以为常”.大数据可能在国内的起步较晚,但我们可能却是对大数据应用最好的了代表了.前些时候 ...

  7. MongoDB + Spark: 完整的大数据解决方案

    Spark介绍 按照官方的定义,Spark 是一个通用,快速,适用于大规模数据的处理引擎. 通用性:我们可以使用Spark SQL来执行常规分析, Spark Streaming 来流数据处理, 以及 ...

  8. 本地 vs. 云:大数据厮杀的最终幸存者会是谁?— InfoQ专访阿里云智能通用计算平台负责人关涛

    摘要: 本地大数据服务是否进入消失倒计时?云平台大数据服务最终到底会趋向多云.混合云还是单一公有云?集群规模增大,上云成本将难以承受是误区还是事实?InfoQ 将就上述问题对阿里云智能通用计算平台负责 ...

  9. 转:甲骨文发布大数据解决方案 含最新版NoSQL数据库

    原文出处: http://www.searchdatabase.com.cn/showcontent_88247.htm 以下是部分节选: 最新发布的大数据创新成果包括: Oracle Big Dat ...

随机推荐

  1. Android源码分析之SharedPreferences

    在Android的日常开发中,相信大家都用过SharedPreferences来保存用户的某些settings值.Shared Preferences 以键值对的形式存储私有的原生类型数据,这里的私有 ...

  2. 视频分享:过五关斩六将——我要做IT面霸!

    这是我在某网站分享的网络直播课程,现在博客园分享给大家! 本视频适合以下朋友观看: 1)在校计算机及相关专业学生,希望你了解应聘的要求后来改善你的学习: 2)正在求职或打算跳槽的人士: 3)HR或公司 ...

  3. MapReduce实例-基于内容的推荐(一)

    环境: Hadoop1.x,CentOS6.5,三台虚拟机搭建的模拟分布式环境 数据:下载的amazon产品共同采购网络元数据(需FQ下载)http://snap.stanford.edu/data/ ...

  4. 【转】JAVA 8 日期/时间(Date Time)API指南

    前言 本来想写下Java 8的日期/时间API,发现已经有篇不错的文章了,那就直接转载吧~ PS:主要内容没变,做了部分修改. 原文链接: journaldev 翻译: ImportNew.com - ...

  5. Lazy<T>在Entity Framework中的性能优化实践(附源码)

    在使用EF的过程中,导航属性的lazy load机制,能够减少对数据库的不必要的访问.只有当你使用到导航属性的时候,才会访问数据库.但是这个只是对于单个实体而言,而不适用于显示列表数据的情况. 这篇文 ...

  6. 避坑宝典:如何选择HTML5游戏引擎

    原生手游市场已是红海,腾讯.网易等寡头独霸天下,H5游戏市场成为下一个风口.据笔者所知,很多H5游戏开发团队由于选择引擎不慎导致项目甚至团队夭折. 如何选择适合团队和项目的引擎,笔者通过学习和项目实践 ...

  7. JavaScript Patterns 4.10 Curry

    Function Application apply() takes two parameters: the first one is an object to bind to this inside ...

  8. sed实例精解--例说sed完整版

    原文地址:sed实例精解--例说sed完整版 作者:xiaozhenggang 最近在学习shell,怕学了后面忘了前面的就把学习和实验的过程记录下来了.这里是关于sed的,前面有三四篇分开的,现在都 ...

  9. hash查找

    这里使用了编号代替真实的数据,只用来表示算法 #ifndef HASH_DATA_T #define HASH_DATA_T int #endif //HASH_DATA_T typedef stru ...

  10. 系统进程 zygote(三)—— app_process 的 main 函数

    ilocker:关注 Android 安全(新入行,0基础) QQ: 2597294287 首先: , , , ) < ) { // Older kernels don't understand ...