下载文档原格式
视频监控专用存储技术的应用张晓波;傅方【摘要】介绍了视频监控专用存储技术的特点.阐述了视频监控中存储容量计算时需注意的问题.详细分析了视频监控专用存储技术在工程中的实际应用.通过采用监控专用存储和CRAID等技术,存储设备部署管理更加简单,性能大幅提升,硬盘故障率得以降低,可支持超大容量的数据存储.【期刊名称】《现代建筑电气》【年(卷),期】2014(005)007【总页数】3页(P33-35)【关键词】存储技术;视频监控;独立磁盘冗余阵列;智能数据服务管理平台【作者】张晓波;傅方【作者单位】华东建筑设计研究院有限公司,上海200002;杭州宏杉科技有限公司,浙江杭州 310052【正文语种】中文【中图分类】TP3330 引言目前，越来越多的视频监控系统采用高清摄像头，通常采用4～8 Mb/s的高清码流摄像头，几百上千路实时记录数据并发上传到硬盘介质上进行定期保存。
以单路8 Mb/s码流的摄像头为例，保存一天需要84 GB左右容量，保存一个月需要超过2 500 GB的容量。
在这种大规模存储空间的需求下，为保证数据的安全可靠，常规的存储方式(如采用服务器加硬盘等非专业存储设备)已无法满足实际工程的需求，必须采用专业的存储设备来满足要求。
1 视频监控专用存储技术的特点(1)可靠性高，数据不丢失。
采用专业独立硬盘冗余阵列(Redundant Arrays of Independent Disks，RAID)技术和存储控制器架构。
专业的控制器架构设计使整机系统实现了无线缆、模块化，不仅整机的性能优异、稳定性强，而且控制器、电源、电池等部件都可方便地拆卸、更换。
同时，各存储厂商针对硬盘故障开发了相应的技术，专门解决在海量数据环境中存储介质易损坏而导致数据丢失和业务中断的问题，可实现以下功能:①主动式磁盘诊断中心(Initiative Disk Diagnosis Center，IDDC)。
从硬盘故障的被动处理到主动对每块硬盘进行检测，提前发现问题。
安防高清视频监控存储技术方案【IT168 方案】对于视频监控而言，图像清晰度无疑是最关键的特性。
图像越清晰，细节越明显，观看体验越好，智能等应用业务的准确度也越高。
所以图像清晰度是视频监控永恒的追求。
然而作为高清的视频，动辄几G到几十G的文件大小，这么大的视频文件，而且有如潮水般的涌现，不仅对存储容量，对读写性能、可靠性等都提出了更高要求。
因此，选择什么样的存储系统和方案，往往成为影响视频读写速度的关键。
高清、网络化视频的存储要求1、在了解高清存储系统之前，必须知道什么是高清?在高清视频标准中，视频从最低标准到较高标准依次为720线非交错式，即720p逐行扫描;1080线交错式，即1080i隔行扫描;1080线非交错式，即1080p 逐行扫描，屏幕纵横比为16：9，如果是视音频同步的HDTV，标准输出为杜比5.1声道数字格式。
高清视频有常见的三种分辨率，分别是：720P(1280×720P)逐行，美国的部分高清电视台主要采用这种格式;1080i(1920×1080i)隔行;1080P(1920×1080P)逐行。
网络视频高清资源以720P和1080i最为常见，其中作为视频监控系统的高清部分，已产品化的设备标准普遍采用720P和1080P的拍摄标准。
2、存储要求之大容量，即高清的文件到底有多大?高清视频在经过不同的编码处理以后，依据码率不同，而有不同的要求。
一般码率在6-20Mb之间，压缩效率、压缩方式不同，所获得的最终文件大小约为：3-10GB/小时，因此便产生了对于存储大容量的要求。
当然一般意义上的视频，压缩模式不同，占用的存储空间非常小，这里主要讨论一下高清视频的存储容量。
高清视频的一种应用是提供这些高清网络视频资源下载的高清网站，规模比较小的站点片库中也会有成百上千部电影，这一类的网站在互联网上多如牛毛，而每个站点存储系统的净容量要求至少在几十T，加上某些站点要建立多个文件映射和下载种子以提高综合流量，容量就不仅仅是几十个T了。
nvr 存储方案NVR 存储方案：提升视频监控效率的利器随着科技的飞速发展，视频监控在城市生活中扮演着越来越重要的角色。
无论是社区安防、商业监控还是交通管理，视频监控都成为了一种不可或缺的工具。
而网络视频录像机（NVR）存储方案，作为一种现代化的监控存储解决方案，为视频监控系统带来了更高的效率和更灵活的应用。
传统的视频监控系统通常使用硬盘录像机（DVR）来存储监控录像。
然而，与DVR相比，NVR存储方案在多方面表现出了明显的优势。
首先，NVR通过网络将监控图像传输到中央服务器进行存储，大大减少了设备间的连接线路，使得安装更加简便，并且可以更灵活地扩充存储容量。
其次，NVR采用数字存储技术，提供了更高的图像质量和更长的存储时间，可以满足高清视频监控的需求，并且提高了监控系统的可靠性和稳定性。
NVR存储方案的核心设备是NVR服务器。
NVR服务器的处理能力和存储容量将直接影响监控系统的实时性和存储能力。
因此，在选择NVR存储方案时，需要根据实际需要对NVR服务器的配置进行合理规划。
服务器的处理器和内存大小将决定其对视频数据的处理速度，而硬盘的类型和容量则决定了系统的存储能力。
通常情况下，高性能的Intel Xeon处理器和大容量的固态硬盘（SSD）是构建一套高效的NVR存储方案的首选。
除了服务器的配置，NVR存储方案的选择还需要考虑存储介质和存储空间的管理。
传统的NVR存储介质主要是硬盘，而随着闪存技术的不断进步，SSD作为新一代的存储介质也逐渐应用于NVR存储方案中。
相较于传统机械硬盘，SSD具有更快的读写速度、更低的能耗和更高的可靠性，可以满足大量高清视频的存储需求。
此外，NVR存储方案还需要考虑存储空间的管理问题。
通过支持RAID技术，可以提供数据冗余和容错能力，确保数据的完整性和安全性。
同时，还可以通过数据压缩和去重技术，提高存储空间的利用率，减少存储成本。
除了基本的存储功能，NVR存储方案还提供了丰富的可扩展性和应用扩展功能。
视频监控专属存储技术分析一、视频监控存储技术发展回顾(一)前端存储技术九十年代末，随着网络带宽、计算机处理能力和硬盘存储容量的快速提高以及各种实用视频处理技术的出现，视频监控和存储步入了全数字化的时代。
通过中心业务平台进行集中管理和控制，以DVS/DVR为代表的第一代存储技术(前端存储)得到广泛部署。
由于架构合理、扩展灵活、层次清晰，网络视频监控给用户带来全新的安防应用体验，从而迅速成为构建新一代网络视频监控系统的主要形式。
(二)网络存储技术由于近年来IPC尤其是高清IPC的蓬勃发展，前端存储已经无法满足用户日常的业务需求。
分布式的前端和平台架构、集中化的管理和控制以及灵活便捷的用户访问，使得网络视频监控系统的存储部分也开始走向网络化。
网络化存储给视频监控带来了全新的存储架构，一方面，用户在存储的部署上更加灵活，访问管理也更简单;另一方面，构建需要实现大容量存储的视频监控系统也更为便捷。
同时，视频录像的管理、检索、回放得到了有效的统一调度。
第二代存储技术，即以NAS和iSCSI为代表的IP存储成为业界两种主要的存储模式。
NAS(网络访问存储)是专用的数据存储服务器，包括存储器件和内嵌系统软件，可提供跨平台文件共享功能。
NAS本身能够支持多种协议(如NFS、CIFS、FTP、HTTP等)，而且能够支持各种操作系统。
NAS实现的是文件级的数据共享，因此NAS设备通常作为文件服务的设备，由工作站或服务器通过网络协议(如TCP/IP)和应用程序(如网络文件系统NFS或者通用Internet文件系统CIFS)来进行文件访问。
iSCSI技术是一种新的IETF标准协议，它将现有SCSI接口与以太网技术结合，使服务器可与使用IP网络的存储设备交换数据。
iSCSI实现的是网络存储设备中数据块的共享，使SCSI数据包在以太网中传输成为可能，摆脱了SAN昂贵的光纤网络，既降低了管理复杂度又降低了成本。
iSCSI的这些特点非常契合现在的网络视频监控发展的现状和方向，特别是在运营级视频监控领域，存储的规模大、投入高，iSCSI技术无疑是一个比较好的参考。
监控视频云存储系统整合方案随着科技的发展和数字化的推进，监控视频的存储需求日益增长。
传统的本地存储方式已经无法满足大量的视频数据存储需求，而且成本高昂，管理复杂。
因此，将监控视频存储转移到云端，实现云存储已经成为一种趋势。
本文将详细介绍监控视频云存储系统整合方案，包括系统的构建，优势以及实施步骤。
监控视频云存储系统是一种基于云计算架构的视频存储系统，它可以将视频数据存储在云端，实现集中式、高效率的视频存储和管理。
该系统的构建包括以下主要部分：数据传输：将采集的视频数据通过互联网传输到云端存储服务器。
数据存储：在云端存储服务器中存储视频数据。
数据管理：对视频数据进行分类、索引等管理。
数据访问：允许授权用户通过互联网访问和查看视频数据。
成本效益：云存储可以显著降低存储成本，因为用户只需支付所使用的存储资源，而不是拥有和维护昂贵的硬件设备。
可扩展性：云存储可以根据用户的需要扩展或缩减存储资源，适应业务需求的变化。
数据安全：云存储提供了高级的安全措施，如数据加密、访问控制等，可以保护视频数据的安全。
数据备份和恢复：云存储提供了自动备份和快速恢复的功能，确保视频数据的可靠性和完整性。
远程访问：用户可以通过互联网远程访问视频数据，方便灵活。
需求分析：首先需要分析用户的需求，包括存储容量、访问速度、安全性等方面的需求。
系统设计：根据需求分析结果，设计出符合用户需求的监控视频云存储系统。
包括系统的架构、硬件设备、软件平台的选择和配置等。
系统部署：购买和安装所需的硬件设备和软件平台，并进行配置和调试。
数据迁移：将原有的视频数据迁移到新的云存储系统中。
需要注意数据的完整性和安全性。
系统测试：对迁移后的系统进行测试，确保系统的稳定性和性能符合要求。
系统上线：正式启用新的监控视频云存储系统，开始为用户提供服务。
后期维护：对系统进行定期的维护和升级，保证系统的正常运行。
同时对用户进行培训，让他们熟悉如何使用新的系统。
评估效果：定期评估系统的运行效果，收集用户的反馈意见，对系统进行持续改进和优化。
高清监控模式下的多媒体存储技术北京市首都公路发展集团有限公司张明月需求分析高清视频监控不仅对前端摄像机、视频编码、传输带来更大需求，同时对监控存储系统也提出更大的挑战：更大的存储容量需求；更高的传输带宽；更高的数据存储可靠性。
监控存储的数据表现形式和传统的图像存储相同，具备无规则的非结构化特征，但是在组织方式上是结构化的，体现出较强的规则性。
高清视频在经过编码处理后，一般码率在3～10Mb之间，由于压缩效率和压缩方式的不同，文件大小约为1.5～5GB/小时。
例如，1路4M高清码流保存一个月的容量需求是：4Mb×60秒×60分×24小时×30天/（8×1024）≈1.25 TB。
进一步来看，一个拥有500路高清视频监控的系统，图像需要保存30天，总的尽容量为625TB，再考虑RAID、热备盘的消耗和码流变化，容量约为780TB，因此海量存储是高清监控的带来的挑战之一。
高清码流需要占用更高的网络带宽，这是高清监控的挑战之二。
在组建高清监控系统时，如何最大程度地利用现有带宽是我们需要考虑到问题。
例如，若使用100M以太网，实际上同时只能承载5路左右的高清图像(考虑到以太网的碰撞侦听特性)。
如果同一视频源有多个用户访问，占用的带宽会更大。
因此，对于高清监控的系统设计，组播、转发等网络技术的融合显得尤为重要。
高清视频监控图像属于主要视频数据类型，这类用户对高清视频存储安全的要求是实时性、冗余性和不间断性，需要保证系统7×24小时不间断运营。
那么，需要采用何种存储架构对非结构化、海量、高并发、高可靠的高清数据进行管理？现有的存储管理方式是否适用于高清监控模式呢？问题分析传统视频监控方案的中心是流媒体服务器，该方式常见于普通的监控系统架构中。
IP IP客户端DVS媒体服务器实时流录像流回放流图1 基于媒体服务器的监控系统数据流图如图1所示，前端的编码器或者网络摄像机（IPC）输出的单播流通过网络传输到分发（存储）服务器，由分发（存储）服务器实现单播转多播以及按需分发、按需存储。
在全标清系统的情况下，该方案还能基本满足多用户操作的需求，但是应用于高清监控系统，则流媒体分发方式的弊端凸显。
该架构下的数据管理方式是基于文件系统进行的，所有的录像数据在通过媒体服务器时，都被转换成了标准的流媒体文件（几分钟到几十分钟的录像形成一个文件），然后再进行存储。
该存储方式利用了传统文件系统自身的特性，系统开发比较简单，但监控存储效率低下。
服务器规模随着监控点数的增加成等比例上升，尤其是高清IPC要得到较好的应用效果，输出码流一般为6M～8M，是传统标清的3～4倍，则分发（存储）服务器数量会直线上升，同时还需要提高服务器的硬件配置，故服务器的性能成为了方案中的性能瓶颈。
系统存在较多的局部故障点，当其中某台分发（存储）服务器发生故障时，将会影响其所管理的多路视频图像的存储和实时监看，不符合安防系统高可靠性的要求。
而冗余服务器方案虽可解决该问题，但从成本角度考虑，实际应用中很少被采用。
大量的服务器及其设备机架不仅占据了设备空间，还不符合绿色环保的要求，同时增多了故障点，增加了系统的不可靠性。
在高清监控模式下，若突发事件出现多个热点区域时，大规模突发的流量很容易导致整个服务器群的瘫痪。
由此可见，传统的监控系统在面对高清监控时，面临着两个主要问题：一是普通文件系统不是专为监控存储设计，因此会影响到监控数据存储的效率；二是在大规模高清监控架构下，媒体服务器的性能支撑力有限，成为性能瓶颈。
存储架构针对高清监控的数据特点，业界早在几年前就开始尝试一些新的数据管理方式，希望能够提高监控存储的数据管理效率，满足高清监控大规模应用的需求。
在这些数据管理方式中，“块直存”就是其中比较有特点的一种，已经成为业界发展的方向。
其创新性主要体现在：采用了基于iSCSI协议的IPSAN直存技术，抛弃了传统的流媒体服务器，简化系统架构。
采用了“时间索引+块数据”的专用数据结构，抛弃了传统的文件系统，提高了高清监控下的数据管理效率。
面对高清监控模式下的海量数据，通过集中式数据管理，实现对资源的统一划分和调度，实现了数据的全局性管理。
1.监控专用数据结构基于文件系统的非结构化数据管理方式已经不适用于高清监控系统，而结构化的多媒体数据管理机制可彻底避免文件系统对高清监控带来的不利影响。
“块直存”的数据管理方式摒弃了传统的文件系统，采用底层的数据块作为基本的存储单元，同时采用一种专用于监控存储的数据结构，通过数据块+专用数据结构两部分相结合来实现对高清监控存储的结构化管理。
这种新的数据结构采用I帧组作为多媒体数据的最小组织单元，时间作为每个数据单元的索引，并且把索引和数据保存在一个完全独立的逻辑存储空间上，如图2所示。
图2 基于索引+数据的数据结构在“块直存”的系统中，“块”存储可理解成自定义的一种文件系统，录像的索引和数据形成独立、完整的数据结构，这种数据结构完全由自己管理，不再由操作系统和文件系统管理，彻底避免了由于文件系统原因而导致的录像丢失问题。
另外，通过“时间索引+块数据存储”的组合，还大幅提高了数据管理的效率，在录像检索上，可以基于时间索引进行，而不再以单个文件为单位。
在高清海量的录像数据中可以快速定位到任意时间的录像，检索速度大幅提高。
在检索的颗粒度上，也不再受文件大小的限制，可以实现秒级甚至毫秒级别的连续检索。
2.IP SAN的直存“块直存”的数据管理方式摒弃了流媒体服务器，在IP网络的基础上，采用前端设备（编码器、IPC）直写IP SAN存储的方式，实现了全局性的存储资源读写访问。
通过在编码设备中集成iSCSI模块，使得编码设备可以基于iSCSI/TCP/IP协议端到端地将录像数据写入IP SAN存储设备中。
具体如图3所示：编码设备解码设备IP摄像机……IP SAN编码设备存储流图3 媒体服务器的存储模型和前段设备直写IP SAN存储摸型对比面对高清海量的存储数据，“块直存”的数据管理模式具有以下技术优势：减少数据传输环节：录像数据基于TCP协议在编码设备和IPSAN存储之间传输，无需通过流媒体服务器，减少了数据传输环节，保证了录像的可靠性；简化系统架构：避免了流媒体服务器的瓶颈问题，不仅降低了系统的TCO，而且管理运维更方便。
3.全局性的资源统一管理在前两者的基础上，通过全局性的资源统一划分和调度，实现数据的全局性管理。
在大型高清监控系统里面，面对成千上万个摄像机和海量的存储空间，如何管理这些摄像头和存储设备之间的对应关系是个复杂难题。
在“块直存”视频监控系统中，可以通过数据管理模块来实现存储资源的统一管理。
在整个系统中，存储阵列和摄像头之间没有特定的绑定关系，摄像头无需知晓数据存储的具体位置，完全是一种动态的资源分配，并且一旦摄像头和存储阵列建立起关系后，数据管理服务器（DM）就不再参与数据写入过程，数据由摄像头直接写入到存储阵列，不存在性能瓶颈。
这种方式保证了录像数据在不同设备间的实时共享，任一路前端设备可以访问到任何一台IP SAN存储设备。
而系统内的管理服务器统一管理所有的IP SAN设备，实现资源的统一划分和调度，控制数据的全局性管理。
数据的可靠性基于“块直存”的数据管理架构是高清监控方案的最佳选择。
那如何保证“块直存”的可靠性？1.前端缓存补录在监控系统实际应用环境中，经常会面临网络终端、存储设备断电等情况，导致前端的录像无法及时存储到中心存储资源，从而造成录像丢失。
前端缓存补录功能在网络或中心存储等异常时，前端编码器会启动缓存功能，将视频数据存在本地的存储设备上（如：U盘、移动硬盘等）。
同时，后端链路或设备恢复正常后，会自动将补录到的录像上传到后端存储上，避免造成数据丢失。
同时在统一的监控管理平台上，能对该时间段的录像进行检索、回放、删除等管理操作。
2.双存储越来越多的用户意识到录像数据的重要性，并提出了“多”份录像数据的需求。
在高清模式下，通用的DVR中心备份方案显得相形见绌：受限于DVR产品自身的回放性能；中心备份服务器的备份性能会存在明显的性能瓶颈；中心备份服务器的数目将着需备份摄像机数目的增加而线性增加。
基于块存储的双存储技术不仅能同时将数据写入到主用、备用存储资源上，并且能保证块直存方案的高性能、高扩展、高可靠等优势，无服务器瓶颈，轻松满足用户需求。
3.存储N+M保护遇到在线存储掉电、网络异常、数据所在的扇区损坏或主用存储设备的阵列及磁盘损坏等各种异常情况下，在线存储无法支持业务，可在iSCSI块直存技术的基础上实现如下的存储N+M保护方案：“N+M保护”是预防存储故障的实现方式之一，“N”为在线存储，“M”为冗余存储，“N”和“M”在一个局域网里，但可以放置在不同的地域。
通过“N+M保护“能将前端摄像机的数据自动存放到冗余存储设备上。
当在线存储恢复正常后，又自动恢复到之前存储设备上。
存储“N+M保护”从监控系统整体解决方案的角度，有效解决不同级别及不同类型的存储异常情况下的存储可靠性问题。
根据用户需求，灵活调整主用存储、冗余存储的设备数目，有效节省方案成本。
数据管理面对高清监控对存储的海量需求，如何有效地节省空间，也是用户非常关切的问题。
1.iSCSI块存储，减少文件碎片在录像存储资源方面，iSCSI块存储技术可以根据监控点录像的留存期，为每一监控点分配指定大小、空间连续的块存储资源。
一方面保证了录像数据存储空间的连续性，同时块存储是在块设备层面上申请的存储空间，没有文件系统元数据区的空间开销、同时也不会存在文件碎片造成的空间浪费，避免了磁盘空洞，从根本上杜绝磁盘碎片的产生，可在最大程度上利用存储空间。
2.变码流存储对于支持同时发送高、低码流等不同格式实时流的监控点，可按照录像存储业务的优先级，支持变码流存储：对于周期计划类等优先级较低的录像存储业务，可采用低码流或者抽帧方式的存储，适当减少对存储空间的占用。
而对于告警联动类等优先级较高的录像存储业务，可采用高码流、全帧等方式存储，全力保证录像的高质量、高清晰度。
3.智能分析基于前端智能分析业务，对于监控画面中的重点区域或动态图像，采用低压缩比、高码流格式进行传输及存储；对于监控画面中的非重点区域或静态图像，采用高压缩比、低码流进行传输及存储。
这样在保证关键录像数据的高质量传输、高质量存储的同时，可有效减少非关键数据占用的传输带宽、存储资源。
4.抽帧备份支持录像存储的同时可对重要监控点的录像进行备份。
在备份时，可配置指定监控点的抽帧备份，即只备份录像的I帧等关键帧数据，从而可以有效节约备份存储空间。
结束语在高清监控时代，需要从传输带宽、容量和可靠性三个维度去选择合适的高清存储架构和系统的解决方案。
