龙源期刊网 https://www.doczj.com/doc/2f13478683.html,
数字视频音频实时同步传输探索与实现
作者：徐秦
来源：《科技创新与应用》2014年第17期
摘要：开发视频和音频的实时传输和回放，同时对如何才能真正的实现数字视频音频的
实时同步传输进行了深入的研究和探讨。
关键词：数字视频音频；实时同步传输；策略及算法
随着我国科学技术水平的快速发展，我国的信息技术也取得了较大的进步，而人们对视频音频多媒体通信也提出了更高的需求，因此，实现视频音频的实时同步传输对于提高人们的工作效率以及保证人们的生活质量都有着重要的意义，而在此过程中我们重点解决的就是视频音频信号的同步采集、同步传输、压缩、信息的接收以及同步播放等问题，这样就能保证客户端的声音和图像与采集现场的声音和图像是同步的，视频和音频的实时就是要降低声音和信息播放端与采集端的延时，而视频和音频的同步则是要减小用户所听到的声音和看到的图像的时间差，从而保证人们的视听感受。
1 音频视频信号的采集
通常情况下，在采集声音信号时，我们选择的设备为麦克风连声卡，而在采集视频信号时，我们采用的设备则为摄像头连视频采集卡，另外，如果对于视频的采集工作没有过高的要求，那么在计算机的USB接口上直接连上USB摄像头也是可以的。
2 视频音频同步方案的选择
在系统对音频视频系统采集完成后，系统会将它们的数据流放入到不同的缓冲区之中，而当其中任何一个缓冲区的数据流采满后，那么系统就会调用回调函数，此时就会读取音频数据或是视频数据，而如果视频的数据太大导致无法有效的读取时，就应先将其压缩，在此过程中，要想保证客户端的音频和视频实现同步，我们可以采取以下两种方案：
2.1 我们可以将视频数据和音频数据打包成一个文件一起发送给客户端，这种方案实现起来是相对容易的，但是在实际操作的过程中却也存在着一定的问题：在采集音频数据和视频数据时，如果将视频作为基点并且在采集到1帧视频数据的过程中将音频数据依次追加到已经准备好的缓冲区中，在采集1帧视频数据完成后将视频数据和音频数据同时发送出去，这样就能够实现在客户端的音频和视频的同步显示，这种实现方案的数据实时性好，并且音频采集的速度也得到了很大提升，然而却也由于音频采集的较快的速度，就降低了每1帧视频数据之间的间隔，当进入到缓冲区中读取音频数据时，下1帧视频数据就可能将上1帧视频数据覆盖，那么所得到的数据就是错误的，在实际调试的过程中如果出现了此类问题，那么在回放音频数据时就会感受到明显的刺耳的声音；而如果将音频作为基点并将视频数据放入到已经准备好的缓
智能视频技术的现状及发展趋势探析 智能视频技术（IVT，Intelligent Video Technology），属于计算机视觉（CV，Com puter Vision）与人工智能（AI，Artificial Intelligent）领域研究的一个分支，融合了图像处理技术、计算机视觉技术、计算机图形学、人工智能、图像分析等多项技术，其发展目标在于在监视场景与事件描述之间建立一种映射关系。同大部分计算机系统一样，智能视频系统可以被分为构成智能视频监控的硬件，以及智能视频软件两个部分。 硬件设备主要包括：采集视频数据的摄像机、支撑摄像机以及整个系统运行的电力系统、用于存放拍摄到的视频数据的存储设备、承载智能视频分析软件的高性能计算机、能够高速传输视频以及分析结果等数据的网络接口。 智能视频软件是指通过硬件提供的输入信息，自动地提取并理解视频源的关键信息。智能视频软件具有其独特性，即专用性、多样性等。而不同的商业环境和用户对监控的功能需求大相径庭，对于不同的应用系统软件实现的算法也完全不同，甚至智能视频软件的实现平台也是可选的：既可以在X86的服务器上实施，也可以在基于DSP的嵌入式系统上实施。这一特点，也正是智能视频行业探讨的热点所在。 智能视频的发展现状 智能视频软件市场是一个成长非常快速的市场，根据IMS的市场研究分析，在未来3 年内有关视频技术的软件市场会成长到8亿美元的份额。注意，仅仅是在软件部分就有这么大的一个份额。 在视频智能分析软件的市场需求急剧增长的刺激下，国外提供视频智能分析软件产品的厂商已经有许多：Verint、Vidient、Westec、Interactive、Visual Defence、Nextiva、V istascape、NiceVision、ioimage、TASC、MATE、Ov、Dallmeier、Ivbox、Viseowave等，他们都能提供视频智能分析产品，大部分厂商提供的视频智能分析产品，都基于ObjectVid eo公司的图像分析技术，采用Object Video OnBoard平台来设计并创建自己品牌的OEM产品，这是大部分视频智能分析产品商以最小的投资成本及最快的时间来赢得市场的好办法。 在解决方案的提供上，国外也有许多成功的案例，比如旧金山国际机场采用了由Vidie nt公司提供的智能视频分析系统Smart Catch。Smart Catch与机场现有的闭路电视(CCTV)系统协同检测异常或可疑行为（如图1）。当智能视频分析软件识别出一个异常情况时，就立即将视频片段通过呼机、手提电脑、移动电话或其它通讯设备发送给响应者前来进行现场调查。 国内的众多企业也开始了对智能视频分析软件的尝试。比如上海世平伟业公司开发的I vbox智能视频分析系统，上海皓维推出的智能视频分析预警系统等等。
几种高带宽数字视频接口的发展及应用 类别：电子综合阅读：1249 随着人们对图像显示质量要求的不断提升，传统的以模拟方式来传输和显示多媒体信号的技术已经不能满足人们的要求，广播电视行业数字化和数字电视的整体转换的实施、数字化、网络化、光纤化是IT行业的发展趋势。以高清数字电视为代表的消费类数字视频设备的应用越来越普遍，传统的模拟视频接口标准无法适应新的产品在带宽、内容保护、音频支持等方面的发展需求，使得HDMI、UDI和DisplayPort等新标准显得更能适应市场的需求，本文从传统模拟视频接口开始，简要介绍几种数字视频接口技术及标准，并重点介绍HDMI和DisplayPort两种数字视频接口。 模拟视频接口的发展 在我国，最简单、最原始、使用最广泛的视频接口是复合视频信号(CVBS、A/V)接口，就是通常所称的RCA接口，伴随着S-VHS摄录像机、VCD等激光视盘产品，出现了将亮度信号Y和色度信号C分离的S端子（Y/C、S-Video）接口，伴随着DVD、卫星数字电视机顶盒(IRD)出现了模拟分量视频信号(Y、U、V或Y、R-Y、B-Y)接口；而在PC通信领域，出现了通用接口D-SUB( 9芯)端口,也就是通常所说的VGA端子。 DVI、HDMI和UDI标准及应用 1 DVI标准 DVI全称为Digital Visual Interface，它是由数字显示工作组DDWG（Digital Display Working Group）于1999年4月推出的开展PC 和VGA显示器间连接的传输非压缩实时视频接口标准。它基于TMDS(最小化传输差分信号)技术来传输数字信号，如图1所示。图1 Single-link TMDS连接图 TMDS包括3个RGB数据和1个时钟，共计４个通道(称为１个TMDS连接或Single-link)的传输回路。TMDS是把8位的RGB视频数据变换成10位转换最小化、DC平衡的数据，再完成数据的串行处理；接收端设备对串行数据解串行变成并行数据，再转换成8位视频
广播电视工程中数字音频技术的优势及应用分析 随着近年来数字信息技术不断的发展，尤其是在广播电视行业的工程建设中，这一技术有效的促进了广播电视的发展，并且随着广电行业的不断发展，在其中占据的位置也越来越重要。这种情况下，为了更好的促进广播电视工程的发展，就需要加强对数字音频技术的研究。据此，主要针对广播电视工程中数字音频技术在其中应用的优势以及具体的应用进行分析，以期能够促进广播电视工程的进一步发展。 标签：广播电视工程；数字音频技术；优势；应用 doi：10.19311/https://www.doczj.com/doc/2f13478683.html,ki.1672-3198.2016.33.199 在我国高新科技不断发展的过程中，数字信息技术也得到了快速的發展，并且越来越广泛的应用在我国的广播电视工程中，这一技术在广播电视工程中的应用，不仅促进了广播电视工程的发展，同时也给其未来的发展带来了极大的变化。要想使这一技术在广播电视工程中的作用得到更好的发挥，就需要对这一技术在其中应用的优势，以及具体的应用方式进行分析，从而更好的满足现代化广播电视工程的发展。 1 简述数字音频技术 数字音频是一种能够通过数据序列进行对声音强弱进行表示，然后将对于声音的模拟进行取样、编码和量化，音频技术、音频格式和编码是相互对应的。目前广播电视领域中对于这种技术的应用已经发展为当前的数字信息化处理。随着数字化音频技术的不断发展，在广播电视领域中已经得到了广泛的应用，通过数字音频技术的使用，能够使信号在转换的时候使信号衰减的程度得到有效的控制，这样就能使节目的录制以及播放等质量得到充分的保证。我国目前数字音频技术的发展和应用仍然处于初级阶段，在数字化信号的处理中，首先需要利用模拟设备对其进行采集，然后才能将其转换为离散格式。 2 广播电视工程中数字音频技术应用的优势 2.1 广播系统应用中的优势 数字音频技术在数字广播系统中的应用主要包含压缩编码数字、组网以及无线传输等技术。对于数字音频信号的压缩编码是以人耳的生理解剖特点为依据，对其进行调整，从而实现对音频码率的优化，人耳在接收到强度差别比较大的音频信号的时候，相比较而言，对高强度的音频信号更加敏感，而低强度的音频信号则相对较弱。将数字音频技术在数字广播中进行应用，能够使这一问题得到有效的解决，从而就能保证广播工作顺利的进行。 2.2 信息储存
数字音频技术在广播电视中的运用分析 生活质量的提升，人们对广播电视的要求更高，尤其是现在互联网广泛应用，广播电视的发展将要面临更大的挑战。必须要在现有基础上做更深入的研究，以满足实际应用需求为目的，积极应用各项新型技术，对广播电视功能不断进行完善。数字音频技术在广播电视中的应用，是推动行业数字化发展的重要措施，可以提高节目制作水平与效率，文章对其在实际应用中的措施进行了简要分析。 标签：数字音频技术；广播电视；技术应用 现在我国广播电视行业中数字信息技术应用不断增加，实现了广播电视的技术变革，已经成为广播影视中的重要部分。通过数字音频技术的应用，来将传统广播电视节目数字化，并保证直播节目顺利进行，对整个直播过程进行实时监控，减少各类问题的发生，提高节目质量。同时，通过数字音频技术，还能够充分拓展先关设备功能，实現设备的科学管理，全面提高广播电视节目质量。 1 数字音频技术分析 数字音频技术核心为数字音频信号，信号产生需要先处理模拟信号，然后对模拟信号以及数字信号的转化，将其转变为可以被计算机有效识别的数字信号[1]。利用音频模拟信号数字化处理技术，可以有效保留节目原有音频效果，与传统技术相比，可以更好的提高节目音频质量。另外，数字音频技术还能够将原本的模拟信号呈现给观众，使其体验到现场感觉，对提高用户体现效果具有重要意义。 2 数字音频技术应用优点 2.1 拓宽音频轨道 广播为主要媒介形式，主要负责进行音频录制、处理，并有效传输处理后的音频信号，由收音机接收相关信号，完成节目播放目的。将数字音频技术应用到广播节目中，可以有效拓宽音频轨道，提高音频质量，保证输出信号的稳定性，使得收音机接收到的信号质量更高。且利用数字音频技术录制广播节目时，还可以实现音频64轨到硬盘录音，及时弥补录制阶段出现的问题，例如对存在偏差的部位进行补录或者调整录制轨道，保证广播节目具有较高的质量[2]。 2.2 完整存储信息 对于数字音频信息的存储，传统技术应用效果比较低，很容易造成大量的资源浪费。而将数字音频技术应用到其中，不但能够扩大音频存储空间，实现所有信息的有效存储，还可以将所有音频信息建立成一个资源库，实现信息的共享[3]。在制作广播节目时，工作人员可以根据个人需求，在数据库内进行信息检索，可以充分发挥各项信息利用价值，且提高工作效率。
几种数字视频接口的技术标准和发展应用 随着人们对图像显示质量要求的不断提升，传统的以模拟方式来传输和显示多媒体信号的技术已经不能满足人们的要求，广播电视行业数字化和数字电视的整体转换的实施、数字化、网络化、光纤化是IT行业的发展趋势。以高清数字电视为代表的消费类数字视频设备的应用越来越普遍，传统的模拟视频接口标准无法适应新的产品在带宽、内容保护、音频支持等方面的发展需求，使得HDMI、UDI和DisplayPort等新标准显得更能适应市场的需求，本文从传统模拟视频接口开始，简要介绍几种数字视频接口技术及标准，并重点介绍HDMI和DisplayPort两种数字视频接口。 模拟视频接口的发展 在我国，最简单、最原始、使用最广泛的视频接口是复合视频信号（CVBS、A/V）接口，就是通常所称的RCA接口，伴随着S-VHS摄录像机、VCD等激光视盘产品，出现了将亮度信号Y和色度信号C分离的S端子（Y/C、S-Video）接口，伴随着DVD、卫星数字电视机顶盒（IRD）出现了模拟分量视频信号（Y、U、V或Y、R-Y、B-Y）接口；而在PC通信领域，出现了通用接口D-SUB（9芯）端口，也就是通常所说的VGA端子。DVI、HDMI和UDI标准及应用 1 DVI标准 DVI全称为Digital Visual Interface，它是由数字显示工作组DDWG（Digital Display Working Group）于1999年4月推出的开展PC和VGA显示器间连接的传输非压缩实时视频接口标准。它基于TMDS（最小化传输差分信号）技术来传输数字信号，如图1所示。 图1 Single-link TMDS连接图 TMDS包括3个RGB数据和1个时钟，共计４个通道（称为１个TMDS连接或Single-link）的传输回路。TMDS是把8位的RGB视频数据变换成10位转换最小化、DC平衡的数据，再完成数据的串行处理；接收端设备对串行数据解串行变成并行数据，再转换成8位视频
视频监控技术简介与发展趋势 https://www.doczj.com/doc/2f13478683.html, ( 2007/5/15 09:34 ) 摘要视频监控作为一种传统视频技术与现代通信技术相结合的应用，目前在国内外已引起了越来越多的关注。本文对视频监控业务作了简单的介绍与回顾，指出当前视频监控业务与传统视频监控业务在需求上的转变，以及与视频监控相关的一些技术的进展情况，然后指出当前视频监控系统所面临的主要问题，以及为了解决这些问题所带来的未来技术发展趋势。 1、引言 视频监控业务具有悠久的历史，在传统上广泛应用于安防领域，是协助公共安全部门打击犯罪、维持社会安定的重要手段。近年来，随着宽带的普及，计算机技术的发展，图像处理技术的提高，视频监控正越来越广泛地渗透到教育、政府、娱乐、医疗、酒店、运动等其他各种领域。 2、业务简介 视频监控的基本业务功能是提供实时监视的手段，并对被监视的画面进行录像存储，以便事后回放。在此基础上，高级的视频监控系统可以对监控装置进行远程控制，并能接收报警信号，进行报警触发与联动。业务功能如图1所示。 图1视频监控业务功能示意图 最早的视频监控系统是全模拟的视频监控系统，也称闭路电视监控系统（CCTV）。图像信息采用视频电缆，以模拟方式传输，一般传输距离不能太远，主要应用于小范围内的监控，监控图像一般只能在控制中心查看。全模拟视频监控系统以模拟视频矩阵和磁带式录像设备VCR为核心。 随着数字技术的发展，数字视频监控系统从20世纪90年代中期开始出现，以数字控制的视频矩阵替代原来的模拟视频矩阵，以数字硬盘录像机DVR替代原来的长延时模拟录像机，将原来的磁带存储模式转变成数字存储录像，实现了将模拟视频转为数字录像。DVR 集合了录像机、画面分割器等功能，跨出数字监控的第一步。在此基础上产生了全数字的视频监控系统，可以基于PC机或嵌入式设备构成监控系统，并进行多媒体管理。这类系统是目前视频监控市场的主流。
3.11 数字视频处理技术的发展 一、DSP数字处理技术 从90年代起，人类社会步入信息时代，而信息时代一个重要特征就是数字化的产品大行其道，其中最典型的代表就是以DSP为核心的技术及其产品应用。DSP是数字信号处理的英文缩写，但是它的发展已经超越了其自身的表面含义，它已经成为一种新的数字处理技术。特点是DSP在摄像机中的成功应用掀开了现代摄像技术的新篇章。成为继CCD之后的又一个划时代的摄像机新技术应用成果。 DSP数字信号处理技术是数字信号处理、微电子学、计算机科学和计算机数学的综合科研成果。DSP芯片现已广泛应用于磁量驱动器，蜂窗式电话、调制解调器、无线电接收机、微控制器、光盘机、数码相机和数字摄像机等诸多领域，并将在绝大部分的电子设备中得以应用。 DSP数字信号处理器在彩色摄像机中的应用使其成为整个系统最核心的部件之一，它的功能是通过一系列复杂的数字算法，对数字图像信号进行优化处理，包括白平衡、彩色平衡、伽玛校正及边缘校正等，这些优化处理将直接影响图像信号的质量。 就任何一个DSP芯片来说，其本质上都是一个单片微型计算机，但它是专门用来处理数字信号的，其最大特点就是运算速度极快，比普通的微型计算机快2个数量级，能在短时间内完成复杂而繁琐的数学运算。DSP数字信号处理摄像技术于90年代中期开发，并首先在VHS-C格式摄录机中应用。图3-81就是这种摄录机中DSP处理电路的典型结构图。
图中从CCD摄像头送出的图像信号经A/D变换成数字信号后就送进了DSP 数字信号处理集成电路。在集成电路中首先进行Y/C白平衡的调整，然后从Y/C 处理电路送出的数字信号经数字变焦后存入帧存储器。同时,数字变焦处理电路可根据不同比例，从帧存储器中取出放大或缩小的图像信号送到自动聚焦处理器，经过对信号中主频分量的分析，控制电机调整镜头距离，使信号中主频分量为最大，即最佳聚焦状态。 在掌中宝型摄录机的实际应用中一个重要的问题就是操作者手掌的晃动，由于晃动引起图像的不稳定，而不使手掌晃动又几乎是不可能的。因此，必须要在摄录机电路中解决这个问题，而电路中的模糊图像稳定处理，就是专门解决这个问题的。在图中，经Y/C处理的信号分出一路送运动检测电路，检测图像运动状态，并送入模糊处理电路。通过模糊逻辑分析，判断图像的运动是否由手抖引起的，电路根据手抖动的程度进行判断，认定是手抖动引起的晃动，则从储存器中选择读取图像信息去抵消图像的晃动。 经上述数字化处理后，再经D/A变换还原成模拟视频信号送入记录系统，并记录在磁带上。 经过几年的开发研制，DSP摄像技术已趋成熟。目前主要摄像机厂商代表当前最高水平的机型全部都采用了DSP摄像技术。如索尼公司3CCD DSP彩色摄像机DXC—D30Pjiushi比较突出的机型。（如图） 二、全数字化视频处理技术 目前数字摄像机仍有部分模拟处理电路，其发展方向是视频信号处理的全部数字化，而关键在于发展产量化。 比特的A/D转换器。目前最新一代的是14比特DSP数字信号处理的摄像机，如JYC公司的DY-90EC，DY-70EC（D9格式），SONY公司的DSR-PDX10P （DVCAM），松下公司的DVCPRRO50个市的AJ-D900等等，在性能上提高了图像清晰度，扩展了图像的细节校正，提供更为灵活的色度控制，增加了更大的过曝光信号的控制等等。 D Y-90 E C(D9格式）
数字音频广播技术 摘要:本文主要介绍数字音频广播DAB技术以及OFDM技术在数字音频广播中的应用。对DAB 系统进行了介绍，也给出了基于OFDM形成的DAB信号的格式，DAB的传输方法，发射机和接收机的原理以及DAB的数据广播业务。 关键词：DAB技术，OFDM技术 1 DAB系统的介绍 1.1 DAB系统的特点 数字音频广播，简称DAB(Digital Audio Broadcasting)，是继调幅和调频广播之后的第三代广播，是数字广播系统。这种新的传输系统抗干扰性能好，可以消除传输过程中的噪声和失真的积累，传输中出现的差错可以被修正；数字的传输系统需要的发射功率小，有利于节约能源和降低电磁污染、改善环境保护；数字的传输系统允许同步网运行，提高了频谱利用率易于实现一个频道多套节目和多种业务的广播。这种新的系统是一种多媒体广播系统，它既可以用来传送声音广播节目，又可以传送数据业务、静止和活动图像等；这种系统既可以固定和便携接收，也可以移动接收。总之，DAB是广播技术发展中的一个新的里程碑。DAB 技术已经引起世界各国科技界、广播界、电子工业界的广泛关注和极大兴趣。1.2 DAB系统使用OFDM技术的原因 选择OFDM技术作为数字音频广播的主要原因在于：OFDM技术可以有效地解决多径时延扩展问题。在频谱方面0FDM技术是支持单频网络的，在DAB单频网络中，用户从不同的接收机同时接收相同的信号。由于不同的发射机(R1和R2之间存在传播差异，因此不同的信号之间会存在时延。如下图所示： 图1 接收两个DAB发射机的用户 时延是由距离d1和d2产生的，两个信号以此时延先后到达，对于用户来说，相当于两径的衰落信道，因此只要两个信号之间的传播差异小于OFDM符号的保护间隔，就不会出现ISI和ICI。两个时间移位信号的叠加，使得合成信号处于深度衰落的概率要远远小于一个信号处于深度衰落的概率，因此相当于获得了分集的好处。 1.3 DAB系统的模式
高速公路数字化视频技术发展说明 高速公路监控系统的建设是伴随着高速公路的兴建而起步、发展的，湖南省从首条高速公路建成投入运营已历经了十余年的历程。这十余年来随着经济的发展、科技的进步，湖南省高速公路事业发展也突飞猛进。 视频传输系统作为高速公路监控及收费系统的重要子系统之一，保障运营管理人员对路面及收费站实时状况直观的了解，并对各类事件及时监控、管理与调度，为高速公路的正常运营提供有效的管理手段。在十余年的时间里，视频传输方式也经历了几次较大的系统发展，在不同的阶段，为高速公路运营提供了有效的保障。以下从几个方面阐述下湖南省高速公路视频传输的应用和发展说明。一、高速公路视频传输系统现状及标准 视频传输技术在高速公路机电系统建设中，从最早的CCTV（模拟闭路电视)系统,到近年来正逐步被广泛应用的基于H.264协议的全光视频综合接入系统及数字非压缩光传输平台系统,从模拟图像到数字图像,从复杂的机电系统构架,到简洁的网络拓扑。数字化、网络化的图像传输应用为高速公路机电系统建设提供了更便捷的组网模式，成为行业视频传输发展新的方向。 不同的视频传输应用，在不同的历史阶段发挥了其各自的作用和特点。目前在高速公路采用数字化视频解决方案的主要有以下几种模式： 1、数字非压缩光端机方式 数字非压缩光端机是高速公路机电系统中，视频传输应用较多的一种模式。数字视频光端机对视频信号进行模数转换，然后将数字信号不压缩也不编码直接调制到光器件上输出，在对端采用数字视频光端机再将数字信号还原成模拟图像输出到监视器上。 在高速公路近年机电系统中，应用较多的是点对点数字非压缩光端机和节点式数字非压缩光端机，由于在光纤中传输的图像采用数字化方式传输，避免了模拟方式受到非线性失真等因素的影响，图像质量较高。另外由于数字视频光端机采用TDM及CWDM技术的应用，可以在一芯光纤中实现多节点图像的传输，较普通的数字传输模式增加了光纤的利用效率，对高速公路全程监控、隧道监控等环境适应性更强。
中国安全防范产品行业协会专家委员会技术组 公安部第一研究所中盾公司 资料来源：中国安防行业网 https://www.doczj.com/doc/2f13478683.html, 一、数字智能视频技术发展 视频监控技术经历了模拟技术和模数混合技术的发展。由于大规模视频联网、资源整合和信息共享的需要，以及多业务管理和统一联动的要求，视频数字化、网络化和智能化成为视频监控技术发展的必然趋势。 （一）智能视频技术简介 智能视频源自计算机视觉技术，计算机视觉技术是人工智能研究的分支之一，它能够在图像及图像描述之间建立映射关系，从而使计算机能够通过数字图像处理和分析来理解视频画面中的内容。运用智能视频分析技术，当发现存在符合某种规则的行为（如定向运动、越界、游荡、遗留等）发生时，自动向监控系统发出提示信号，采取某种对应措施（如声光报警器报警）或通知监控人员进行人工干预。让相关工作人员把时间和精力集中放在重要事务的处理上。 （二）智能视频技术的主要算法 智能视频技术可以实现对移动目标的实时检测、识别、分类以及多目标跟踪等功能。目前，智能视频技术的主要算法分为以下六类：目标检测、目标跟踪、目标识别、行为分析、数据融合和基于内容的视频检索。 （1）目标检测 目标检测（Object Detection）是按一定时间间隔从视频图像中抽取像素，采用软件技术来分析数字化的像素，将运动物体从视频序列中分割出来。运动目标检测技术是智能化分析的基础。常用的目标检测技术可以分为三类\[1\]：背景减除法（Background Subtraction）、时间差分法（Temporal Difference）和光流法（Optic Flow）。 1）背景减除法 背景减除法利用当前图像与背景图像的差分检测运动区域。背景减除法能够提供相对来说比较完全的运动目标特征数据，但对于动态场景的变化，如光线照射情况、摄像机抖动和外来无关事件的干扰特别敏感。 背景减除法假设视频场景中有一个背景，而背景和前景并未给出严格定义，背景在实际使用中是变化
视频编码技术发展报告 马思伟王诗淇张贤国张新峰余琴高文 1引言 数字图像/视频自上世纪50年代随着信息的数字化发展而出现并兴起，但随之而来的问题是数字化后的图像/视频其数据量急剧增加，远远超过了存储空间和传输带宽的承受能力，给数字视频应用带来了很大的限制。因此，视频压缩成为数字视频领域的核心问题之一，几十年来学术界和工业界都对其进行了长期而又深入的研究，并取得重要进展。 数字视频由在空间和时间上连续采样的离散信号组成，由于采样数据存在着大量的冗余，为压缩提供了可能性。一般将这些冗余归纳为空域冗余、时域冗余和统计冗余三大类。早期的视频压缩技术由于在硬件上受到计算和存储资源的限制，主要是通过统计编码的办法降低数据的统计冗余，比如哈夫曼码、哥伦布码等编码方法。上世纪60年代后期，出现了变换编码技术，即通过将信号从空域变换到频域消除数据在空间上的相关性，从而降低冗余达到压缩的目的，如富立叶变换、哈达码变换等。对于时域冗余，一般使用基于预测的编码方法，亦即预测编码。最早的预测编码系统模型是1952年贝尔实验室Culter[Cult er 52]等人实现的差值脉冲编码调制DPCM(Differential Pulse Code Modulation)系统，其基本思想是不直接对信号进行编码，而是用前一信号对当前信号做出预测，对当前信号与预测值的差值进行编码传送。同年Oliver[Oliver 52]和Harrison[Harrison 52]将DPCM技术应用到视频编码中进行空域的相邻像素预测编码。1969年，运动补偿预测技术使得预测编码性能获得极大的改进，至70年代中期，预测编码开始与变换编码结合起来使用，到80年代已形成了经典的预测/变换混合编码框架，这一编码框架后来广泛应用于MPEG和H.26x系列编码标准，直至今天的新一代HEVC/H.265国际标准也是基于这一框架。 预测/变换编码技术主要是从信号处理的角度对视频信号进行去相关去冗余处理，以峰值信噪比和码率节省等客观指标衡量压缩效率，而人作为观看者会给出最直接也是最终的视频质量评价。在人观看视频的过程中，人眼的视觉特性是影响视频质量评价的决定性因素。基于这一点，研究者在进行信号处理压
视频监控技术简介与未来技术发展趋势 作者：转载自网络日期：2010-02-04 摘要：视频监控作为一种传统视频技术与现代通信技术相结合的应用，目前在国内外已引起了越来越多的关注。本文对视频监控业务作了简单的介绍与回顾，指出当前视频监控业务与传统视频监控业务在需求上的转变，以及与视频监控相关的一些技术的进展情况，然后指出当前视频监控系统所面临的主要问题，以及为了解决这些问题所带来的未来技术发展趋势 视频监控作为一种传统视频技术与现代通信技术相结合的应用，目前在国内外已引起了越来越多的关注。本文对视频监控业务作了简单的介绍与回顾，指出当前视频监控业务与传统视频监控业务在需求上的转变，以及与视频监控相关的一些技术的进展情况，然后指出当前视频监控系统所面临的主要问题，以及为了解决这些问题所带来的未来技术发展趋势。 引言 视频监控业务具有悠久的历史，在传统上广泛应用于安防领域，是协助公共安全部门打击犯罪、维持社会安定的重要手段。近年来，随着宽带的普及，计算机技术的发展，图像处理技术的提高，视频监控正越来越广泛地渗透到教育、政府、娱乐、医疗、酒店、运动等其他各种领域。 业务简介 视频监控的基本业务功能是提供实时监视的手段，并对被监视的画面进行录像存储，以便事后回放。在此基础上，高级的视频监控系统可以对监控装置进行远程控制，并能接收报警信号，进行报警触发与联动。业务功能如图1所示。 最早的视频监控系统是全模拟的视频监控系统，也称闭路电视监控系统(CCTV)。图像信息采用视频电缆，以模拟方式传输，一般传输距离不能太远，主要应用于小范围内的监控，监控图像一般只能在控制中心查看。全模拟视频监控系统以模拟视频矩阵和磁带式录像设备VCR为核心。 随着数字技术的发展，数字视频监控系统从20世纪90年代中期开始出现，以数字控制的视频矩阵替代原来的模拟视频矩阵，以数字硬盘录像机DVR替代原来的长延时模拟录像机，将原来的磁带存储模式转变成数字存储录像，实现了将模拟视频转为数字录像。DVR 集合了录像机、画面分割器等功能，跨出数字监控的第一步。在此基础上产生了全数字的视频监控系统，可以基于PC机或嵌入式设备构成监控系统，并进行多媒体管理。这类系统是目前视频监控市场的主流。
数字视频处理技术的发展 一、数字处理技术 从年代起，人类社会步入信息时代，而信息时代一个重要特征就是数字化的产品大行其道，其中最典型的代表就是以为核心的技术及其产品应用。是数字信号处理的英文缩写，但是它的发展已经超越了其自身的表面含义，它已经成为一种新的数字处理技术。特点是在摄像机中的成功应用掀开了现代摄像技术的新篇章。成为继之后的又一个划时代的摄像机新技术应用成果。 数字信号处理技术是数字信号处理、微电子学、计算机科学和计算机数学的综合科研成果。芯片现已广泛应用于磁量驱动器，蜂窗式电话、调制解调器、无线电接收机、微控制器、光盘机、数码相机和数字摄像机等诸多领域，并将在绝大部分的电子设备中得以应用。 数字信号处理器在彩色摄像机中的应用使其成为整个系统最核心的部件之一，它的功能是通过一系列复杂的数字算法，对数字图像信号进行优化处理，包括白平衡、彩色平衡、伽玛校正及边缘校正等，这些优化处理将直接影响图像信号的质量。 就任何一个芯片来说，其本质上都是一个单片微型计算机，但它是专门用来处理数字信号的，其最大特点就是运算速度极快，比普通的微型计算机快个数量级，能在短时间内完成复杂而繁琐的数学运算。数字信号处理摄像技术于年代中期开发，并首先在格式摄录机中应用。图就是这种摄录机中处理电路的典型结构图。 图中从摄像头送出的图像信号经变换成数字信号后就送进了数字信号处理
集成电路。在集成电路中首先进行白平衡的调整，然后从处理电路送出的数字信号经数字变焦后存入帧存储器。同时,数字变焦处理电路可根据不同比例，从帧存储器中取出放大或缩小的图像信号送到自动聚焦处理器，经过对信号中主频分量的分析，控制电机调整镜头距离，使信号中主频分量为最大，即最佳聚焦状态。 在掌中宝型摄录机的实际应用中一个重要的问题就是操作者手掌的晃动，由于晃动引起图像的不稳定，而不使手掌晃动又几乎是不可能的。因此，必须要在摄录机电路中解决这个问题，而电路中的模糊图像稳定处理，就是专门解决这个问题的。在图中，经处理的信号分出一路送运动检测电路，检测图像运动状态，并送入模糊处理电路。通过模糊逻辑分析，判断图像的运动是否由手抖引起的，电路根据手抖动的程度进行判断，认定是手抖动引起的晃动，则从储存器中选择读取图像信息去抵消图像的晃动。 经上述数字化处理后，再经变换还原成模拟视频信号送入记录系统，并记录在磁带上。 经过几年的开发研制，摄像技术已趋成熟。目前主要摄像机厂商代表当前最高水平的机型全部都采用了摄像技术。如索尼公司彩色摄像机—比较突出的机型。（如图） 二、全数字化视频处理技术 目前数字摄像机仍有部分模拟处理电路，其发展方向是视频信号处理的全部数字化，而关键在于发展产量化。 比特的转换器。目前最新一代的是比特数字信号处理的摄像机，如公司的，（格式），公司的（），松下公司的个市的等等，在性能上提高了图像清晰度，扩展了图像的细节校正，提供更为灵活的色度控制，增加了更大的过曝光信号的控制等等。
第六章2013网络视频技术发展分析 一、网络视频编解码技术新发展 1．H.265编码技术 2013年，1080P超清、4K极清等概念层出不穷，在这个视频行业不烧钱就没法血拼的年代，人们都希望在不用增加带宽的前提下获得更高清更细腻的视频画质体验，因此H.265在这一年赚足了眼球。 在视频传输过程中在要求图像不失真，则图像传输的比特数就大，在网络带宽一定的情况下，降低视频图像的码流就成为一项重要的技术。 H.265是ITU-T VCEG 继H.264之后所制定的新的视频编码标准，全称为高效视频编码(High Efficiency Video Coding)。2012年8月，爱立信公司推出了首款H.265编解码器，而在仅仅六个月之后，国际电联(ITU)就正式批准通过了HEVC/H.265标准。H.265标准围绕着现有的视频编码标准H.264，保留原来的某些技术，同时对一些相关的技术加以改进：提高压缩效率、提高鲁棒性和错误恢复能力、减少实时的迟延、减少信道获取时间和随机接入迟延、降低复杂度等。H.264由于算法优化，可以低于1Mbps的速度实现标清数字图像传送；H.265则可以实现利用1~2Mbps的传输速度传送720P(分辨率1280×720)普通高清音视频传送。
2. H.265技术优势 1）更大的宏块和变换块。相对于H.264的4×4、8×8、16×16宏块类型，H.265引入了32×32、64×64甚至于128×128的宏块，目的在于减少高清数字视频的宏块个数，减少用于描述宏块内容的参数信息，同时整形变换块大小也相应扩大，用于减少H.264中变换相邻块问的相似系数。 2）使用新的运动矢量预测方式。H.265扩充更加多的方向进行帧内预测，同时将预测块的集合由原来的空间域扩展到时间域及空时混合域，通过率失真准则计算后选择最佳的预测块。使用该方法，在基本模式下测试，在与H.264相同质量的情况下，得到平均为6.1%的压缩增益，复杂图像的压缩增益甚至能提高到20%。 3）更多的考虑并行化设计。当前芯片架构已经从单核性能逐渐往多核并行方向发展，H.265引入了Entropyslice、WPP等并行运算思路，使用并行度更高的编码算法，更有利于H.265在GPU/DSP/FPGA/ASIC 等并行化程度非常高的CPU中快速高效的实现产业化。 4）新添加的Tile划分机制使得以往的slice、帧或GOP为单位的粗粒度数据并行机制更加适合于同构多核处理器上的并行实现。Dependentslice和WPP机制解决了以往H.264等编码技术中熵编码环节无法并行实现的问题，使得整个编解码过程中DCT、运动估计、运动补偿、熵编码等任务模块的划分更加均衡，显著提高并行加速比。 5）更低的码流。反复的质量比较测试已经表明，在相同的图象质量下，相比于H.264，通过H.265编码的视频码流大小比H.264减少大约39-44%。通过一项主观视觉测试得出的数据显示，在码率减少51-74%