北极星智能电网在线讯:现代社会的信息量正以飞快的速度增长，这些信息里又积累着大量的数据。预计到2025年，每年产生的数据信息将会有超过1/3的内容驻留在云平台中或借助云平台处理。我们需要对这些数据进行分析和处理，以获取更多有价值的信息。在未来的“智慧城市”中，会有越来越大的结构化以及非结构化的数据。那么我们如何高效地存储和管理这些数据，如何分析这些数据呢？答案是，我们需要强有力的大数据处理系统进行支撑。
作为目前最火热的词汇之一，大数据在各个领域都已有了较为成熟的应用。在视频监控领域，大数据时代正悄悄来临。在城市安全、交通管理中将部署大量的视频监控设备，这些视频监控设备将产生大量的视频及其相关的数据，如交通卡口数据达到十亿条甚至更大级别，人脸库数据量达到千万条甚至更大级别。针对如此大级别的数据量，当前系统会逐渐暴露出数据检索速度越来越慢；数据统计、分析效率越来越低等问题，这些问题都需要一个成熟的技术来解决。
随着“智慧城市”中城市安全、智慧交通等的迅速发展，城市中非结构化的数据量越来越大。视频大数据技术侧重帮助各类客户从日趋海量的非结构化视频数据中快速发掘高价值的信息，协助客户提升其决策的效率和精准度。因此，视频大数据的处理好坏成了客户关注的焦点，视频大数据的处理技术也成了厂家能力的体现。针对“智慧城市”建设中大量视频数据的快速检索、统计分析的需求，海康威视等视频领域的领军企业已有了成熟的视频大数据的解决方案，目前已应用多个“智慧城市”的建设中。
一、视频大数据平台技术
针对结构化或半结构化数据的数据量特别大的场景，大数据平台作为应用平台的支撑平台，提供海量数据的高效处理能力。通过大数据平台，应用能够对这些数据进行高效地存储、检索(秒级)、分析和统计，切实地提高效率，提升用户体验度。
视频大数据平台一般以分布式集群的方式进行建设，集群能够对数据处理进行负载均衡，同时，集群能够方便地进行扩展，能够通过增加集群节点来提升平台整体性能。数据存储需要考虑以下几个方面：一、哪些数据需要保存到视频大数据平台；二、如果对原有系统进行改造，原有系统中已存在的那些数据该如何处理；三、如何保证数据的可靠性。视频大数据平台采用分布式计算，同时结合内存加速、负载均衡、本地处理，提供高效的数据计算能力。
视频大数据处理系统，在应对视频大数据处理中的存储问题，采用了分布式存储方式，提高了读写速度，并扩大了存储容量；在应对视频大数据处理中的计算问题，采用分布式计算系统，提高了数据分析和挖掘能力。视频大数据处理系统总体架构如下图所示，包括资源层、平台层、应用层三个层次。
