用hdfs存储海量的视频数据的设计思路

用hdfs存储海量的视频数据

存储海量的视频数据，主要考虑两个因素：如何接收视频数据和如何存储视频数据。

我们要根据数据block在集群上的位置分配计算量，要充分利用带宽的优势。

１．接收视频数据

将从摄像头接收到的或通过模拟产生的视频流以文件的形式存储在本地文件夹，在这个过程中不产生任何中间文件。

２．海量视频数据存储

存储海量视频数据的思路：通过hadoop提供的api结构，实现将接收到的视频流文件从本地上传到hdfs中。

在这一过程中，把接收到的视频文件不断地存储到一个指定的本地文件夹中，而这个本地文件夹是在不断动态变换的，这时，将这个动态变化的文件夹当成是一个“缓冲区”，把“缓冲区”中的文件以流的形式与ＨＤＦＳ进行对接，接下来通过调用写方法来实现以流的方式将缓冲区中的文件上传到hdfs中。当文件上传成功后，再调用delete方法批量删除本地缓冲区中已经上传的文件。这一过程不断地循环，直到在缓冲区中的所有文件上传到hdfs，并且缓冲区文件全部清空为止。