数字视频基础
数字视频的采样格式及数字化标准
模拟视频的数字化包括不少技术问题，如电视信号具有不同的制式而且采用复合的YUV信号方式，而计算机工作在RGB空间；电视机是隔行扫描，计算机显示器大多逐行扫描；电视图像的分辨率与显示器的分辨率也不尽相同等等。因此，模拟视频的数字化主要包括色彩空间的转换、光栅扫描的转换以及分辨率的统一。
模拟视频一般采用分量数字化方式，先把复合视频信号中的亮度和色度分离，得到YUV或YIQ分量，然后用三个模／数转换器对三个分量分别进行数字化，最后再转换成RGB 空间。
一、数字视频的采样格式
根据电视信号的特征，亮度信号的带宽是色度信号带宽的两倍。因此其数字化时可采用幅色采样法，即对信号的色差分量的采样率低于对亮度分量的采样率。用Y：U：V来表示YUV三分量的采样比例，则数字视频的采样格式分别有4：1：1、4：2：2和4：4：4三种。电视图像既是空间的函数，也是时间的函数，而且又是隔行扫描式，所以其采样方式比扫描仪扫描图像的方式要复杂得多。分量采样时采到的是隔行样本点，要把隔行样本组合成逐行样本，然后进行样本点的量化，YUV到RGB色彩空间的转换等等，最后才能得到数字视频数据。
二、数字视频标准
为了在PAL、NTSC和 SECAM电视制式之间确定共同的数字化参数，国家无线电咨询委员会（CCIR）制定了广播级质量的数字电视编码标准，称为CCIR 601标准。在该标准中，对采样频率、采样结构、色彩空间转换等都作了严格的规定，主要有：
＝13.5MHz
1、采样频率为f
s
2、分辨率与帧率
的采样率，在不同的采样格式下计算出数字视频的数据量：
3、根据f
s
这种未压缩的数字视频数据量对于目前的计算机和网络来说无论是存储或传输都是不现实的，因此在多媒体中应用数字视频的关键问题是数字视频的压缩技术。
三、视频序列的SMPTE表示单位
通常用时间码来识别和记录视频数据流中的每一帧，从一段视频的起始帧到终止帧，其间的每一帧都有一个唯一的时间码地址。根据动画和电视工程师协会SMPTE（Society of
Motion Picture and Television Engineers）使用的时间码标准，其格式是：小时：分钟：秒：帧，或 hours：minutes：seconds：frames。一段长度为00：02：31：15的视频片段的播放时间为2分钟31秒15帧，如果以每秒30帧的速率播放，则播放时间为2分钟31.5秒。
根据电影、录像和电视工业中使用的帧率的不同，各有其对应的SMPTE标准。由于技术的原因NTSC制式实际使用的帧率是29.97fps而不是30fps，因此在时间码与实际播放时间之间有0.1%的误差。为了解决这个误差问题，设计出丢帧（drop-frame）格式，也即在播放时每分钟要丢2帧（实际上是有两帧不显示而不是从文件中删除），这样可以保证时间码与实际播放时间的一致。与丢帧格式对应的是不丢帧（nondrop-frame）格式，它忽略时间码与实际播放帧之间的误差。
视频压缩编码的基本概念
视频压缩的目标是在尽可能保证视觉效果的前提下减少视频数据率。视频压缩比一般指压缩后的数据量与压缩前的数据量之比。由于视频是连续的静态图像，因此其压缩编码算法与静态图像的压缩编码算法有某些共同之处，但是运动的视频还有其自身的特性，因此在压缩时还应考虑其运动特性才能达到高压缩的目标。在视频压缩中常需用到以下的一些基本概念：
一、有损和无损压缩：在视频压缩中有损（Lossy ）和无损（Lossless）的概念与静态图像中基本类似。无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE 行程编码算法。有损压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复。几乎所有高压缩的算法都采用有损压缩，这样才能达到低数据率的目标。丢失的数据率与压缩比有关，压缩比越小，丢失的数据越多，解压缩后的效果一般越差。此外，某些有损压缩算法采用多次重复压缩的方式，这样还会引起额外的数据丢失。
二、帧内和帧间压缩：帧内（Intraframe）压缩也称为空间压缩（Spatial compression）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法，由于帧内压缩时各个帧之间没有相互关系，所以压缩后的视频数据仍可以以帧为单位进行编辑。帧内压缩一般达不到很高的压缩。
采用帧间（Interframe）压缩是基于许多视频或动画的连续前后两帧具有很大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息，根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压缩量，减小压缩比。帧间压缩也称为时间压缩（Temporal compression），它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。帧差值（Frame differencing）算法是一种典型的时间压缩法，它通过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样可以大大减少数据量。
三、对称和不对称编码：对称性（symmetric）是压缩编码的一个关键特征。对称意味着压缩和解压缩占用相同的计算处理能力和时间，对称算法适合于实时压缩和传送视频，如视频会议应用就以采用对称的压缩编码算法为好。而在电子出版和其它多媒体应用中，一般是把视频预先压缩处理好，尔后再播放，因此可以采用不对称（asymmetric）编码。不对称或非对称意味着压缩时需要花费大量的处理能力和时间，而解压缩时则能较好地实时回放，也即以不同的速度进行压缩和解压缩。一般地说，压缩一段视频的时间比回放（解压缩）该视频
的时间要多得多。例如，压缩一段三分钟的视频片断可能需要10多分钟的时间，而该片断实时回放时间只有三分钟。
目前有多种视频压缩编码方法，但其中最有代表性的是MPEG数字视频格式和AVI
数字视频格式。
MPEG数字视频
MPEG（Moving Picture Experts Group）是1988年成立的一个专家组。这个专家组在1991年制定了一个MPEG－1国际标准，其标准名称为"动态图像和伴音的编码－－用于速率小于每秒约1.5兆比特的数字存储媒体（Coding of moving picture and associated audio －－for digital storage media at up to about 1.5Mbit / s）"。这里的数字存储媒体指一般的数字存储设备如CD－ROM、硬盘和可擦写光盘等。MPEG的最大压缩可达约1：200，其目标是要把目前的广播视频信号压缩到能够记录在CD光盘上并能够用单速的光盘驱动器来播放，并具有VHS的显示质量和高保真立体伴音效果。MPEG采用的编码算法简称为MPEG 算法，用该算法压缩的数据称为MPEG数据，由该数据产生的文件称MPEG文件，它以MPG
为文件后缀。
MPEG数字视频格式
MPEG采用有损和不对称的压缩编码算法。MPEG标准详细地说明了视频图像的压缩和解压缩方法，以及播放MPEG数据所需的图像与声音的同步。MPEG标准包括三个部分：MPEG 视频（Video）、MPEG音频（Audio）和MPEG系统（System）。
一、MPEG视频：MPEG视频是标准的核心。MPEG－1是为了适应在数字存储媒体如CD－ROM 上有效地存取视频图像而制定的标准。CD－ROM驱动器的数据传输率不会低于150KB/s＝1.2Mb/s（单倍速），而容量不会低于650MB，MPEG－1算法就是针对这个速率开发的。MPEG －1的的视窗尺寸为CCIR 601定义分辨率的二分之一，可达到30fps或25fps的帧率，它采用多种压缩算法，压缩后的数据率为1.2－3MB/s。因此可以实时播放存储在光盘上的数字视频图像。
二、MPEG音频：MPEG－1标准支持高压缩的音频数据流，其采样率为44、22和11KHz，16位量化。还原后声音质量接近于原来的声音质量，如CD－DA的音质。CA－DA音质的音频数据率为每分钟约10兆字节（10MB/min），等价于每秒约1.4兆位（1.4Mb/s），这是单速CD－ROM的整个带宽！采用MPEG-1音频压缩算法可以把单声道位速率降到0.192Mb/s，甚至更低，而声音的质量又无明显的下降。MPEG－1支持两个声道，可设置成单声道（mono）、双声道（dual）、立体声（stereo）等。
目前在网络上广泛使用的MP3音频文件，就是利用 MPEG-3的音频技术, 实现了1:10 甚至 1:12 的压缩率，而且失真很小。
三、MPEG系统：这部分是有关同步和多路复合技术，用来把数字电视图像和伴音复合成单一的、位速率为1.5Mb/s的数据位流。MPEG的数据位流分成内外两层，外层为系统层，内层为压缩层。系统层提供在一个系统中使用MPEG数据位流所必须的功能，包括定时、复合和分离视频图像和伴音，以及在播放期间图像和伴音的同步。压缩层包含压缩的视频和伴音数据位流。
在多种视频压缩算法中，MPEG是可提供低数据率和高质量的最好算法。MPEG-1已经为广大用户所采用，如VCD或小影碟的发行等。其播放质量可以达到家用录像机的水平。采用不同的编码参数，得到的MPEG-1数据的质量也是不同的。同时，MPEG专家组在1993年又制定了MPEG－2标准，DVD 就是采用的这种标准。
MPEG-1数据的回放
由于MPEG采用非对称的压缩算法，在PC机上用软件来进行MPEG压缩编码是很费机时的，即使编码几个视频片断也要花费好几小时。因此，一般用专门的MPEG编码卡，用硬件实现MPEG压缩编码。要回放压缩的MPEG数据，首先要对其进行解码，然后把解压缩后的大量数字视频数据送往显示缓存进行屏幕显示。因此，影响回放效果的因素主要有两点：一是解码的速率，二是显示的速率。解码的速度比编码的速度快得多，因此在不同的MPC硬件基础上可以采用软件解码和硬件解码两种方式。
一、MPEG-1软件解码：软件解码即采用软件算法的方式读取MPEG压缩数据，对其进行解压缩并把解压缩后的大量数字视频数据送往显示缓存进行屏幕显示。所以MPEG解压缩软件也称为MPEG播放软件。采用软件解码的优点是它无需额外硬件的支持，在MPC机上就可以播放MPEG数字视频，使用方便；其缺点是解码的速度和解码后的视频质量完全取决于MPC的处理能力。
如果MPC的处理速度和显示速度不够快，采用软件解码播放MPEG数据时可能出现帧率不够、图像和伴音不同步或者图像的"马赛克"现象（图像呈块状）。因此，在一定的硬件条件下，尽可能地利用MPC的系统资源是达到较好回放效果的关键。
二、MPEG-1硬解压卡：MPEG硬解压卡（简称解压卡）是专用于MPEG数据的解压和回放的硬件设备，解压卡的核心是一块解压芯片。采用硬件解压的优点是其解压和回放的速率不受MPC主机速率的影响，达到全屏实时回放，播放VCD时其稳定性和色彩效果也较好。但其缺点是需额外的硬件设备，并且其安装调试也较麻烦。因此，硬件解压卡一般用于处理速度不够高的MPC中。
解压卡需插入MPC主机的扩展槽中，把端口与MPC相应的端口相连，设置好系统参数，利用解压卡自带的播放软件就可以进行MPEG-1的回放了。
虽然MPEG－1具有标准化、高压缩、视频质量好的特点，但是它生成的MPEG文
件需要用专门的解压软件或硬件来回放，解压软件的回放效果取决于系统的处理能力，而解压硬件又需额外的设备，不利于用户在自己开发的软件中应用。此外，为了获得高压缩，MPEG采用帧间压缩算法，由于帧间压缩时每一帧仅存储与前一帧信息的差值，对帧进行
编辑时就非常困难。MPEG文件只能用解压软件或硬件解压后回放，而不能用绝大多数的视频编辑软件进行编辑。
MPEG-4视频编码功能与特点的分析
摘要：本文对MPEG-4视频编码的功能与特点进行了描述。对基于VOP的视频编码器的原理与结构进行了分析，重点讨论了形状编码、运动信息编码、纹理信息编码以及分级编码。关键词：多媒体；视频编码；图像通信；图像编码
. In this paper, the functionalities and features of MPEG-4 video coding technology are described. The principles and structure of the VOP based video coder are analyzed with an emphasis on the coding of shape information, motion information and texture information as well as the scalable coding. Key words multimedia，video coding，image communication，image coding 0
引言
为了加速多媒体通信的发展，实现电信、计算机、广播电视这三大网络的最终融合，MPEG 专家组继成功定义了MPEG-1和MPEG-2之后，于1994年开始制定全新的MPEG-4标准。MPEG-4标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的算法及工具，用于实现音视频（audio-visual）数据的有效编码及更为灵活的存取。作为MPEG-4标准的的核心内容，MPEG-4的视频编码部分正受到越来越多的关注，电子工业、广播电视业、电信业、计算机软件业都在紧密注视着它的发展。我国未来的图像通信、电视广播若要很好地与国际接轨，就必须抓住时机，对MPEG-4中的视频编码进行分析和研究。本文将对MPEG-4视频编码技术的功能及特点进行讨论和分析。
1. MPEG-4视频编码功能与特点
为了支持众多的多媒体应用，MPEG-4不仅保留了现有标准中的一些解决方案，而且致力于一些新功能的研究与定义。这些新功能包括可化分为三大类：1. 基于内容的交互功能：2.基于对象的多媒体存取工具 3. 基于对象的码率控制和编辑功能(提供编辑视频对象的方法)．基于对象的时域随机存取，自然及合成数据的混合编码，数据压缩编码：视频数据的高效编码，多个并发数据的有效编码．通用存取功能: 易错环境下的鲁棒性，基于内容的伸缩性(表现在时域、空间及重建图像质量上)．这些功能无疑会加速多媒体应用的发展，而从中受益的应用领域有：因特网多媒体应用；交互式视频游戏；实时可视通信，例如可视电话、实时通信等；交互式存储媒体应用，如CD-ROM、DVD等；广播电视演播室技术及电视后期制作；采用面部动画技术的虚拟会议；多媒体邮件；移动通信条件下的多媒体应用；远程视频监控；通过A TM网络等进行的远程数据库业务等等．MPEG-4的视频编码部分为了实现这些丰富多彩的多媒体应用，以算法和工具的形式为下列功能的实现提供了解决方案：1) 图像和视频的有效压缩；2) 2D和3D网格纹理映射图(用于合成图像编码)的有效压缩；
3) 隐含(implicit)的2D网格的有效压缩；4) 控制网格运动的节点时变几何数据流的有效压缩；5) 各种视频对象的有效存取；6) 对图像和视频序列的扩展操纵；7) 基于内容的图像和视频编码；8) 纹理、图像和视频基于内容的伸缩性；9) 视频序列中时域、空间及质量的伸缩性；10) 易错环境下的鲁棒性。上述的这些功能大部分与基于内容的创作、发布和存取有关。此外，MPEG-4对合成视频对象的支持同样引人注目：MPEG-4可对合成的面部与人体进行参数化描述；对面部与身体活动信息以参数化的数据流进行描述；支持具有纹
理映射功能的静态/动态网格编码；支持视点有关应用(View Dependent Application)中的纹理编码。MPEG-4视频编码标准将支持MPEG-1、MPEG-2中的大多数功能，提供不同视频标准源格式、码率、帧频下矩形图像的有效编码，同时也将支持基于内容的图像编码。图1为MPEG-4支持的码率与相应功能集之间关系的示意图。在这一功能集的底层是VLBV核心(VLBV：V ery Low Bit Rate Video)。它为5-64kbits/s视频操作与应用提供算法与工具，支持较低的空间分辨率(低于352×288像素)和较低的帧频(低于15Hz)。VLBV核心支持的专用功能包括：(a)实时多媒体应用：支持矩形图像序列的有效编码，具有编码效率高、高精度、高容错度、低延时等特点。(b)多媒体数据库应用：支持多媒体数据库的存储、随机存取以及FF/FR(快进/快退)等功能与操作。图1 MPEG-4支持的码率与相应功能集MPEG-4的HBV(HBV: High Bit Rate Video,范围在64kbits/s-4Mbits/s之间)同样支持上述功能，但它支持较高的空间与时间分辨率。其输入可以是ITU-R 601的标准信号，因此其典型应用为数字电视广播与交互式检索。未来的多媒体应用呼唤全新的交互方式，以满足用户的需求。传统的交互存取方式中，在传统的交互过程中，用户得到的场景是制作人员事先编排好的，用户只能对音视频序列进行简单的回放。MPEG-4提出了基于内容（Content-based）的存取概念，努力使用户根据制作者设计的具体自由度，与场景进行交互。用户不仅可以改变场景的视角，在其中尽情畅游，还可以改变场景中物体的位置、大小和形状，或对该对象进行置换甚至清除。用户将从这些简便、灵活的交互过程中获得的丰富的信息和极大的乐趣。
2从矩形帧到VOP(Video Object Plane:视频对象面)
传统图像编码方法依据信源编码理论的框架，将图像作为随机信号，利用其随机特性来达到压缩的目的。这种方法本身未能考虑信息获取者的主观意义与主观特性，未能考虑事件本身的特性如具体含义、重要性以及后果等等。但正是由于信源编码理论的限定使得传统的图像编码具有较高的概括性和综合性，而基于矩形帧编码的传统视频编码标准如H.261、MPEG-1/MPEG-2在实际应用中也获得了巨大成功。然而MPEG-4并不满足于此，它的目标在于采用现代图像编码方法，利用人眼的视觉特性，抓住图像信息传输的本质，从轮廓－纹理的思路出发，支持基于视觉内容的交互功能。而实现基于内容交互功能的关键在于基于视频对象的编码，为此MPEG-4引人了视频对象面VOP的概念。在这一概念中，我们根据人眼感兴趣的一些特性如形状、运动、纹理等，将图像序列中每一帧中的场景，看成是由不同视频对象面VOP(V ideo Object Plane)所组成，而同一对象连续的VOP称为视频对象VO(Video Object)。VO可以是视频序列中的人物或具体的景物，例如电视新闻中的播音员，或是电视剧中一辆奔驰的汽车；也可以是计算机图形技术生成的二维或三维图形。图2为MPEG-4基于内容图像编码方法的简化原理图。对于输入视频序列，通过分析可将其分割为n个VO（n=1,2,3…），对同一VO编码后形成VOP数据流。VOP的编码包括对运动(采用运动预测方法)及纹理(采用变换编码方法)的编码，其基本原理与H.261和MPEG-1/MPEG-2极为相似。由于图2 MPEG－4基于内容图像编码方法VOP具有任意形状，因此要求编码方案可以处理形状(Shape)和透明(Transparency)信息，这同只能处理矩形帧序列的现有视频编码标准形成了鲜明的对照。在MPEG-4中，矩形帧被认为是VOP的一个特例，这时编码系统不用处理形状信息，退化为类似于H.261、MPEG-1/MPEG-2的传统编码系统，同时也实现了与现有标准的兼容。从矩形帧到VOP，MPEG-4顺应了现代图像压缩编码的发展潮流，即从基于像素的传统编码向基于对象和内容的现代编码的转变。从这个意义上讲，MPEG-4视频编码技术翻开了图像编码史上崭新的一页。
3 基于VOP的视频编码
图3为简化的VOP编码器原理框图，该编码器由两个主要部分组成：形状编码和纹理、运
动信息编码。其中纹理编码、运动预测和运动补偿部分在原理上同现有标准是一致的。值得注意的是形状编码，这是图像编码标准中第一次引入形状编码技术，我们将在3.1中对其进行讨论。为了支持基于内容的功能，编码器可对图像序列中具有任意形状的VOP进行编码。尽管如此，编码器内的机制都是基于16×16像素宏块(Macroblock)来设计的，这不仅是出于与现有标准在兼容问题上的考虑，而且是为了便于对编码器进行更好的扩展。VOP被限定在一个矩形窗口内，称之为VOP窗口(VOP Window),窗口的长、宽均为16的整数倍，同时保证VOP窗口中非VOP的宏块数目最少，图4为一个典型的VOP窗口。标准的矩形帧可认为是VOP的特例，在编码过程中其形状编码模块可以被屏蔽。系统依据不同的应用场合，对各种形状的VOP输入序列采用固定的或可变的帧频。图3 简化的VOP编码器原理图编码算法仍是基于块(8×8像素)的预测-变换混合编码。对VOP的编码采用帧内(Intra)编码与帧间预测编码相结合的方法，帧内编码中对DCT变换的DC、AC因子进行有效的预测。帧间预测分为前向预测和双向预测。对于甚低码率(<64kbits/s)下的应用，由于方块效应较明显，所以需用除方块滤波器进行相应处理。图4 VOP窗口
3.1 形状编码
MPEG-4引入了形状信息的编码，尽管形状编码在计算机图形学、计算机视觉和图像压缩领域不是什么新技术，但将其纳入完整的视频编码标准内，这还是第一次。VO的形状信息有两类：二值形状信息和灰度形状信息。二值形状信息用0、1来表示VOP的形状，0表示非VOP区域，1表示VOP区域。二值形状信息的编码采用基于运动补偿块的技术，可以是无损或有损编码。灰度形状信息用0～255之间的数值来表示VOP的透明程度，其中0表示完全透明(相当于二值形状信息中的0)，255表示完全不透明(相当于二值形状信息中的1)。灰度形状信息的编码采用基于块的运动补偿DCT方法(同纹理编码相似)，属于有损编码。目前的标准中采用矩阵的形式来表示二值或灰度形状信息，称之为位图(或阿尔法平面)。实验表明，位图表示法具有较高的编码效率和较低的运算复杂度。但为了能够进行更有效的操作和压缩，在最终的标准中可能出现另一种表示方法，即借用高层语义的描述，以轮廓的几何参数进行表征。
3.2运动信息编码
类似于现有的视频编码标准，MPEG-4采用运动预测和运动补偿技术来去除图像信息中的时间冗余成分，而这些运动信息的编码技术可视为现有标准由向任意形状的VOP的延伸。VOP 的编码有3种模式，即帧内(Intra-frame)编码模式(I-VOP)，帧间(Inter-frame)预测编码模式(P-VOP)，帧间双向(Bidirectionally)预测编码模式(B-VOP)。在MPEG-4中运动预测和运动补偿可以是基于16×16像素宏块的，也可以是基于8×8像素块的。为了能适应任意形状的VOP，MPEG-4引入了图像填充(Image Padding)技术和多边形匹配(Polygon Matching)技术。图像填充技术利用VOP内部的像素值来外推VOP外的像素值，以此获得运动预测的参考值。多边形匹配技术则将VOP的轮廓宏块的活跃部分包含在多边形之内，以此来增加运动估值的有效性。此外，MPEG-4采用8参数仿射运动变换来进行全局运动补偿；支持静态或动态的SPRITE全局运动预测，对于连续图像序列，可由VOP全景存储器预测得到描述摄像机运动的8个全局运动参数，利用这些参数来重建视频序列。图5 VOP帧结构关系示意图
3.3纹理编码
纹理编码的对象可以是帧内编码模式的I-VOP，也可以是帧间编码模式B-VOP或P-VOP运动补偿后的预测误差。编码方法基本上仍采用基于8×8像素块的DCT方法。在帧内编码模式中，对于完全位于VOP内的像素块，则采用经典的DCT方法；对于完全位于VOP之外
的像素块则不进行编码；对于部分在VOP内，部分在VOP外的像素块则首先采用图像填充技术来获取VOP之外的像素值，之后再进行DCT编码。帧内编码模式中还将对DCT变换的DC及AC因子进行有效的预测。在帧间编码模式中，为了对B-VOP和P-VOP运动补偿后的预测误差进行编码，可将那些位于VOP活跃区域之外的像素值设为128。此外，还可采用SADCT(Shape-adaptive DCT)方法对VOP内的像素进行编码，该方法可在相同码率下获得较高的编码质量，但运算的复杂程度稍高。变换之后的DCT因子还需经过量化(采用单一量化因子或量化矩阵)、扫描及变长编码，这些过程与现有标准基本相同。
3.4分级编码
很多多媒体应用需要系统支持时域、空间及质量的伸缩性，分级编码就是为了实现这一目标。例如，在远程多媒体数据库检索及视频内容重放等应用中，分级编码的引入使得接收机可依据具体的信道带宽、系统处理能力、显示能力及用户需求进行多分辨率的解码及回放。接收机可视具体情况对编码数据流进行部分解码，以获得：较低的解码复杂度，同时也意味着较低的重建图像质量；较低的空间分辨率；较低的时间分辨率，即帧率．相同空间分辨率及帧率条件下，较低的重建图像质量MPEG-4中通过视频对象层VOL(Video Object Layer)的数据结构来实现分级编码。每一种分级编码都至少有2层VOL，低层称为基本层，高层称为增强层。空间伸缩性可通过增强层强化基本层的空间分辨率来实现，因此在对增强层中的VOP进行编码之前，必须先对基本层中相应的VOP进行编码。同样对于时域伸缩性，可通过增强层来增加视频序列中某个VO(特别是运动的VO)的帧率，使其与其余区域相比更为平滑。
4 结束语
MPEG-4将于1999年1月正式成为国际标准(标准号为ISO/IEC 14496)，其中暂时不能解决和充分测试的先进功能将在1999年11月的后继版本中实现，它将增加可变形、半透明视频对象和工具，以进一步提高效率，后继版将与第一版反向兼容。在过去的几年中，MPEG-1/MPEG-2和VCD/DVD的成功与蓬勃发展表明：符合MPEG标准的产品与应用具有强大的生命力。MPEG在压缩编码标准化、商业化方面所获得的巨大成功也使人们感到：MPEG总是能够兼顾技术发展潮流与实际应用需求，紧扣商业应用的脉搏，这使得它的活动变得越来越引人注目而又激动人心。MPEG-4视频编码技术采用了现代图像编码方法，利用人眼视觉特性，从轮廓－纹理的思路出发，支持基于内容和对象的编码，支持基于内容的交互功能。MPEG-4视频编码正在完成从基于像素的传统编码向基于对象和内容的现代编码的转变，它代表了新一代智能图像编码，必将对未来图像通信机制产生深远的影响。
2.1.2 编码RS
编码采用里德-索洛蒙编码，是一种二进制编码，在MPEG188个包后加上16个奇偶校验字节，8个错误字节可以纠正，码字为（204，188）。
码生成多项式：g(x)=(x+ λ0)(x+λ1)…(x+λ15) 其中λ=02HEX
域生成多项式为：p(x)=x8+x4+x3+x2+1
纠t个符号的RS码有如下参数：
码长n=2m-1 个符号
信息段k个符号
监督段n-k=2t符号
最小码距d =2t+1符号
方法：在实现RS编码时，应在TS包前加上51个字节0，然后输入RS（255，255）编码器，在完成编码操作时，再去掉这些这些字节。
2.1.3卷积交织
在通信由于外界因素的干扰,常常回出现突发性干扰,产生突发性错误。突发性错误误码一般比较长，通常纠错码不能提供的纠位数纠错。防止突发性错误一般有两种方法：一种是采用交织码，另一种采用纠错码。交织码一般也有两种方法：一种是矩阵行列转置法，将能纠正T个随机错误的码作为行码，I行组成一个矩阵，这样可以纠正T个突发长度为I的错误。另一种是卷积交织码，这种方法基于Forney的方法。交织器由I=12个分支组成，由输入开关轮流接通输入的字节。这样，在前端由复用器将输入流传输次序打乱，经有干扰的信道传输到达接受端后由去扰器将次序恢复，从而达到抗干扰的能力。
每个分支器都有一个长度为Mj字位的FIFO移位寄存器，其中，M=17，1≦j≦17。
2.1.4 QAM调制
正交幅度调制（QAM）用在通信中称为正交幅度键控调制，调制效率好于其它调治方法。DVB-C采用QAM调制，至少要支持64QAM调制。经64QAM调制，在一个模拟频道
上，码率为8MHz/1.15（1.15为滚降因子，调制效率6bit/band,可调制出速率6.9*6=41.4Mbps ,除去开销，信道净速率为38.8Mbps。
数字视频基础 数字视频的采样格式及数字化标准 模拟视频的数字化包括不少技术问题，如电视信号具有不同的制式而且采用复合的YUV信号方式，而计算机工作在RGB空间；电视机是隔行扫描，计算机显示器大多逐行扫描；电视图像的分辨率与显示器的分辨率也不尽相同等等。因此，模拟视频的数字化主要包括色彩空间的转换、光栅扫描的转换以及分辨率的统一。 模拟视频一般采用分量数字化方式，先把复合视频信号中的亮度和色度分离，得到YUV或YIQ分量，然后用三个模／数转换器对三个分量分别进行数字化，最后再转换成RGB 空间。 一、数字视频的采样格式 根据电视信号的特征，亮度信号的带宽是色度信号带宽的两倍。因此其数字化时可采用幅色采样法，即对信号的色差分量的采样率低于对亮度分量的采样率。用Y：U：V来表示YUV三分量的采样比例，则数字视频的采样格式分别有4：1：1、4：2：2和4：4：4三种。电视图像既是空间的函数，也是时间的函数，而且又是隔行扫描式，所以其采样方式比扫描仪扫描图像的方式要复杂得多。分量采样时采到的是隔行样本点，要把隔行样本组合成逐行样本，然后进行样本点的量化，YUV到RGB色彩空间的转换等等，最后才能得到数字视频数据。 二、数字视频标准 为了在PAL、NTSC和 SECAM电视制式之间确定共同的数字化参数，国家无线电咨询委员会（CCIR）制定了广播级质量的数字电视编码标准，称为CCIR 601标准。在该标准中，对采样频率、采样结构、色彩空间转换等都作了严格的规定，主要有： ＝13.5MHz 1、采样频率为f s 2、分辨率与帧率 的采样率，在不同的采样格式下计算出数字视频的数据量： 3、根据f s 这种未压缩的数字视频数据量对于目前的计算机和网络来说无论是存储或传输都是不现实的，因此在多媒体中应用数字视频的关键问题是数字视频的压缩技术。 三、视频序列的SMPTE表示单位 通常用时间码来识别和记录视频数据流中的每一帧，从一段视频的起始帧到终止帧，其间的每一帧都有一个唯一的时间码地址。根据动画和电视工程师协会SMPTE（Society of
数字视频技术总复习题 一基本概念填空题 1 摄像机在拍摄时，通过光敏器件，将光信号转换为电信号，这种电信号就是（RGB）信号。 2 模拟彩色电视机的制式主要有（NTSC制、PAL制和SECAM制）；中国、朝鲜等国家采用（PAL）制式彩色电视机标准。 3 电视机的扫描方式有（隔行扫描和非隔行扫描（逐行扫描））之分。 4 行频f H是指（每秒钟扫描多少行）；场频f f是指（每秒钟扫描多少场）；每秒扫描多少帧称为（帧频）f F。 5 PAL制式电视的场扫描频率是（50 Hz）,周期为（20 ms）；帧频是25 Hz，是场频的（一半），周期为（40 ms）。 6 彩色电视中，用Y、C1, C2彩色表示法分别表示亮度信号和两个色差信号，C1，C2的含义与具体的应用有关。在NTSC彩色电视制中，C1，C2分别表示（I、Q）两个色差信号；在PAL彩色电视制中，C1，C2分别表示（U、V）两个色差信号；在CCIR 601数字电视标准中，C1，C2分别表示（Cr，Cb）两个色差信号。 7 电视图像数字化常用的方法有两种，一种是（从复合彩色电视图像中分离出彩色分量，然后数字化）；另一种是（用一个高速A/D转换器对彩色全电视信号进行数字化，然后在数字域中进行分离，以获得所希望的YCbCr，YUV，YIQ 或RGB分量数据）。 8 NTSC制、PAL制和SECAM制共同的电视图像采样频率是fs=（13.5MHZ）。 9 目前数字电视图像使用（MPEG-2）video标准。 10 目前传输数字电视的主要方式是（卫星，地面广播和电缆）；用它们传输的电视分别称为（卫星数字电视、地面数字电视和有线数字电视）。 11 数字彩色电视机的制式主要有（ATSC DTV、DVB和ISDB）。中国等国家采用（欧洲DVB）制式数字彩色电视机标准。 12 数字电视的视频接口主要有（DVI、HDMI、UDI和DisplayPort）四种接口。 13 模拟电视信号转换为数字电视信号的过程是（模拟/数字转换编码过程），称可为（PCM调制脉冲编码调制），由（A/D转换器实现)。数字电视信号转换为模拟信号则称（PCM解调过程），由（D/A转换器实现）。 14全数字电视系统的信源编码采用（MPEG-2标准对数字化视频信号进行）压缩编码，其目的是（降低数字信号的传输码率）。 15全数字电视系统压缩编码后的数字视频信号在调制前，为了保证在传输工程中尽可能减少差错，通常还要加入（用于纠错的RS码和卷积码）。其目的是（提高数字信号的传输的可靠性）。 16 为了在编码中实现最大的压缩比，MPEG使用三种类型的图像，分别是（I 帧、P帧和B帧）。 17 VCD视频压缩采用（MPEG-1）标准，图像分辨率为（352×240）；DVD视频压缩采用（MPEG-2）标准，图像分辨率为(720×480). 18 信息熵表示的是（信源产生信息量的大小）。信息熵越大，不确定度越大，所含信息越多。
3.11 数字视频处理技术的发展 一、DSP数字处理技术 从90年代起，人类社会步入信息时代，而信息时代一个重要特征就是数字化的产品大行其道，其中最典型的代表就是以DSP为核心的技术及其产品应用。DSP是数字信号处理的英文缩写，但是它的发展已经超越了其自身的表面含义，它已经成为一种新的数字处理技术。特点是DSP在摄像机中的成功应用掀开了现代摄像技术的新篇章。成为继CCD之后的又一个划时代的摄像机新技术应用成果。 DSP数字信号处理技术是数字信号处理、微电子学、计算机科学和计算机数学的综合科研成果。DSP芯片现已广泛应用于磁量驱动器，蜂窗式电话、调制解调器、无线电接收机、微控制器、光盘机、数码相机和数字摄像机等诸多领域，并将在绝大部分的电子设备中得以应用。 DSP数字信号处理器在彩色摄像机中的应用使其成为整个系统最核心的部件之一，它的功能是通过一系列复杂的数字算法，对数字图像信号进行优化处理，包括白平衡、彩色平衡、伽玛校正及边缘校正等，这些优化处理将直接影响图像信号的质量。 就任何一个DSP芯片来说，其本质上都是一个单片微型计算机，但它是专门用来处理数字信号的，其最大特点就是运算速度极快，比普通的微型计算机快2个数量级，能在短时间内完成复杂而繁琐的数学运算。DSP数字信号处理摄像技术于90年代中期开发，并首先在VHS-C格式摄录机中应用。图3-81就是这种摄录机中DSP处理电路的典型结构图。
图中从CCD摄像头送出的图像信号经A/D变换成数字信号后就送进了DSP 数字信号处理集成电路。在集成电路中首先进行Y/C白平衡的调整，然后从Y/C 处理电路送出的数字信号经数字变焦后存入帧存储器。同时,数字变焦处理电路可根据不同比例，从帧存储器中取出放大或缩小的图像信号送到自动聚焦处理器，经过对信号中主频分量的分析，控制电机调整镜头距离，使信号中主频分量为最大，即最佳聚焦状态。 在掌中宝型摄录机的实际应用中一个重要的问题就是操作者手掌的晃动，由于晃动引起图像的不稳定，而不使手掌晃动又几乎是不可能的。因此，必须要在摄录机电路中解决这个问题，而电路中的模糊图像稳定处理，就是专门解决这个问题的。在图中，经Y/C处理的信号分出一路送运动检测电路，检测图像运动状态，并送入模糊处理电路。通过模糊逻辑分析，判断图像的运动是否由手抖引起的，电路根据手抖动的程度进行判断，认定是手抖动引起的晃动，则从储存器中选择读取图像信息去抵消图像的晃动。 经上述数字化处理后，再经D/A变换还原成模拟视频信号送入记录系统，并记录在磁带上。 经过几年的开发研制，DSP摄像技术已趋成熟。目前主要摄像机厂商代表当前最高水平的机型全部都采用了DSP摄像技术。如索尼公司3CCD DSP彩色摄像机DXC—D30Pjiushi比较突出的机型。（如图） 二、全数字化视频处理技术 目前数字摄像机仍有部分模拟处理电路，其发展方向是视频信号处理的全部数字化，而关键在于发展产量化。 比特的A/D转换器。目前最新一代的是14比特DSP数字信号处理的摄像机，如JYC公司的DY-90EC，DY-70EC（D9格式），SONY公司的DSR-PDX10P （DVCAM），松下公司的DVCPRRO50个市的AJ-D900等等，在性能上提高了图像清晰度，扩展了图像的细节校正，提供更为灵活的色度控制，增加了更大的过曝光信号的控制等等。 D Y-90 E C(D9格式）
多视点视频编解码 吕永超 [摘要]与二维视频编码有所不同，多视点视频编码还存在不同视点间的 空间冗余，因此除了进行运动估计和运动补偿外，还需要对立体视频进 行视差补偿预测，来消除视点间的空间冗余，提高视频压缩的效率。大 模块所占比率大，耗时少，小模块所占比例小，但是耗时多。而且，立 体视频编码中，小模块模式相对于平面视频编码所占的比例更少，这也 说明了立体视频编码中模式选择的重要性。JMVC测试模型遍历所有模式然后选择最优编码模式，致使编码速度低下。我们通过快速模式选择， 尽可能的减少小模块模式的预测，在保证图像质量和压缩效率的基础上，大幅度的提高了立体视频编码速度。CPU单独解码效率较低，最多仅能 支持6个视点1280X720P格式的高清视频实时解码。而基于本文提出的CPU和GPU混合解码技术，由于IDCT和彩色空间变换这些并行运算均有GPU完成，充分发掘了当前GPU的特点，CPU主要负责解码控制类型的 运算，整体解码运算效率较高，可以实时解码8个视点的1280X720P格 式的高清视频。 [关键词] 多视点视频快速帧间模式选择IDCT和图像彩色空间变换
目录 第一章绪论 (1) 第二章多视点视频编码 (1) 2.1多视点视频编码原理 (1) 2.2视频编码方案 (2) 2.3立体视频运动估计搜索算法 (3) 2.4快速帧间模式选择 (3) 2.5本章小结 (3) 第三章基于GPU和CPU混合运算的解码技术 (4) 3.1 IDCT运算在GPU上实现的基本原则 (4) 3.2图像彩色空间变化在GPU上的实现 (4) 3.3 本章小结 (4) 参考文献 (5)
模拟电视电路中处理的信号越复杂失真越大，稳定性也越差，而数字电视在信号处理过程中几乎不受外界干扰，可毫无失真的使信号还原。因此数字电视图像清晰，色彩更加鲜艳逼真。按照规划，我国将在2005年开展数字卫星直播业务，2008年全面推广地面数字电视，2015年停止模拟电视播出。实现模拟电视和数字电视的兼容要处理的主要问题之一是将隔行信号转化为逐行信号，即去隔行。 第七章数字视频处理
目前主要的去隔行方法有： 9一维处理法：利用本场信息插补出未知像素点.9二维处理法：比较前后场中的信息,将两场中静止 区域的数据相编织，运动区域只 使用其中一场的数据去插补。 9 三维运动补偿法：沿着运动估计得到的物体运动 轨迹对运动图像插补。 目前的电视中只有少数高端产品具有简单的 运动补偿功能。国内外研究现状
主要内容 一、运动估计 二、运动补偿 三、去隔行算法 四、去隔行算法FPGA实现 五、小波SPIHT编码方法C语言及 DSP实现
7.1 运动估计 运动估计是根据帧间的运动信息得到帧内像素点的运动位移（又称为运动矢量，Motion Vector）。视频处理系统中，运动估计是非常重要的一个环节，它可以广泛应用于视频压缩、格式转换、滤波等。去隔行中，运动估计的好坏直接影响到变换后的效果。主要有以下三种运动估计方法： ?基于像素的运动估计 ?基于块的运动估计 ?多分辨率运动估计
一基于像素的运动估计 基于像素的运动估计思想是要估计每一个像 素的运动矢量，运算量非常大，进而提出了像素 递归算法。在像素递归算法中，运动矢量是递归 得出的。当前像素的运动矢量是根据在此之前已 经得到的邻近像素的运动矢量或它们的线性组合 得到。 返回
第三章 数字视频基础知识 3.1 视频的基础知识 在人类接受的信息中，有70%来自视觉，其中视频是最直观、最具体、信息量最丰富的。我们在日常生活中看到的电视、电影、VCD、DVD以及用摄像机、手机等拍摄的活动图像等都属于视频的范畴。 摄影机是指用胶片拍摄电影的机器，摄像机是用磁带、光盘、硬盘等作为界质记录活动影像的机器，广泛用于电视节目制作、家庭及其他各个方面。 摄影机使用胶片和机械装置记录活动影像，所采用的是光学和化学记录方式，摄象机是采用电子记录方式。 1 视频的定义 ?视频(Video)就其本质而言，是内容随时间变化的一组动态图像(25或30帧/秒)，所以视频又叫作运动图像或活动图像。 ?一帧就是一幅静态画面，快速连续地显示帧，便能形运动的图像，每秒钟显示帧数越多，即帧频越高，所显示的动作就会越流畅。 『视觉暂留现象』 ?人眼在观察景物时，光信号传人大脑神经，需经过一段短暂的时间，光的作用结束后，视觉形象并不立即消失，这种残留的视觉称“后像”，视觉的这一现象则被称为“视觉暂留现象”。 ?具体应用是电影的拍摄和放映。 ?根据实验人们发现要想看到连续不闪烁的画面，帧与帧之间的时间间隔最少要达到是二十四分之一秒。 ?视频信号具有以下特点： ?内容随时间而变化 ?有与画面动作同步的声音(伴音) ?图像与视频是两个既有联系又有区别的概念：静止的图片称为图像(Image)，运动的图像称为视频(Video)。 ?图像与视频两者的信源方式不同，图像的输入靠扫描仪、数字照相机等设备；视频的输入是电视接收机、
摄象机、录象机、影碟机以及可以输出连续图像信号的设备。 2.视频的分类 ?按照处理方式的不同，视频分为模拟视频和数字视频。 ?模拟视频（Analog Video） ?模拟视频是用于传输图像和声音的随时间连续变化的电信号。早期视频的记录、存储和传输都采用模拟方式，如在电视上所见到的视频图像是以一种模拟电信号的形式来记录的，并依靠模拟调幅的手段在空间传播，再用盒式磁带录像机将其作为模拟信号存放在磁带上。 ?模拟视频的特点： ?以模拟电信号的形式来记录 ?依靠模拟调幅的手段在空间传播 ?使用磁带录象机将视频作为模拟信号存放在磁带上 ?传统视频信号以模拟方式进行存储和传送然而模拟视频不适合网络传输，在传输效率方面先天不足，而且图像随时间和频道的衰减较大，不便于分类、检索和编辑。 ?要使计算机能对视频进行处理，必须把视频源即来自于电视机、模拟摄像机、录像机、影碟机等设备的模拟视频信号转换成计算机要求的数字视频形式，这个过程称为视频的数字化过程。 ?数字视频可大大降低视频的传输和存储费用、增加交互性、带来精确稳定的图像。 ?如今，数字视频的应用已非常广泛。包括直接广播卫星(DBS)、有线电视(如图5.2)、数字电视在内的各种通信应用均需要采用数字视频。 ?一些消费产品，如VCD和DVD，数字式便携摄像机，都是以MPEG视频压缩为基础的。 数字化视频的优点 ?适合于网络应用 ?在网络环境中，视频信息可方便地实现资源共享。视频数字信号便于长距离传输。 ?再现性好 ?模拟信号由于是连续变化的，所以不管复制时精确度多高，失真不可避免，经多次复制后，误差就很大。
成绩 评阅人 中国矿业大学2015-2016学年第一学期 《数字视频技术》课程小设计考核 设计题目：图像的算术编码研究 专业班级： 学生姓名： 学生学号： 指导教师： 成绩： 本人郑重声明：本人认真、独立完成了查找资料、完成作业、编写程序等考核任务，无抄袭行为。 签字： 日期：
一、设计任务、目的和要求： 1.1设计任务： 图像的算术编码 1.2设计目的： 1.了解图像压缩的意义方法，对比不同的压缩方法； 2.熟悉算术编码的基本原理和特点； 3.掌握改进的算术编码的方法与具体实例应用； 4.掌握利用MATLAB编程实现数字图像的算术编码。 1.3设计要求： 要求实现灰度图像的算术编码和解码恢复图像；处理结果要求最终图像显示，且计算图像的信息熵，平均码字长度，编码效率，压缩比。 二、总体方案设计 2.1 算术编码简介 算术编码，是图像压缩的主要算法之一。是一种无损数据压缩方法，也是一种熵编码的方法。和其它熵编码方法不同的地方在于，其他的熵编码方法通常是把输入的消息分割为符号，然后对每个符号进行编码，而算术编码是直接把整个输入的消息编码为一个数，一个满足(0.0 ≤ n < 1.0)的小数n。 算术编码是一种到目前为止编码效率最高的统计熵编码方法,它比著名的Huffman编码效率提高10％左右,但由于其编码复杂性和实现技术的限制以及一些专利权的限制,所以并不象Huffman编码那样应用广泛。算术编码有两点优于Huffman码：①它的符号表示更紧凑；②它的编码和符号的统计模型是分离的，可以和任何一种概率模型协同工作。后者非常重要, 因为只要提高模型的性能就可以提高编码效率。 2.2 软件运行环境 系统运行环境：windows 操作系统。 软件编程平台：Matlab 2014a。 2.3 编解码算法原理 2.3.1编码 算术编码将整个要编码的数据映射到一个位于[0,1)的实数区间中。并且输出一个小于1同时大于0的小数来表示全部数据。利用这种方法算术编码可以让压缩率无限的接近数据的熵值，从而获得理论上的最高压缩率。 算术编码进行编码时，从实数区间[0,1)开始。按照符号的频度将当前的区间分割成多个子区间。根据当前输入的符号选择对应的子区间，然后从选择的子区间
第一章数字视频概述 1．什么是复合视频？2页，可改为填空题 例如：黑白视频信号是一个已经经过加工处理并包含扫描同步和消隐的图像信号，通常也叫做复合视频，简称视频。由于频带范围在1-6MHZ人们又把它叫做电视基带视频。 2．什么是视频技术？它主要应用在哪些领域？3页，可以改为填空题 例如：在不考虑电视调制发射和接收等诸多环节时，单纯考虑和研究电视基带信号的摄取、改善、传输、记录、编辑、显示的技术就叫做视频技术。 主要应用领域：广播电视的摄录编系统、安全及监控、视频通信和视频会议、远程教育及视听教学、影像医学、影音娱乐和电子广告。 3．什么是数字视频？5页 广义的数字视频表述为数字视频是指依据人的视觉暂留特性，借着计算机或微处理器芯片的高速运算，加上Codec技术、传输存储技术等来实现的以比特流为特征的，能按照某种时基规律和标准在显示终端上再现活动影音的信息媒介。狭义的数字视频时指与具体媒体格式所对应的数字视频。 第二章彩色数字视频基础 1．彩色电视系统是根据色光三基色原理来再现彩色图像的。按照此原理，任何一种色光颜色都可以用R G B三个彩色分量按一定的比例混合得到。7页 2．匹配兼容制彩色电视亮度信号的公式是：8页（2-2） 3．两个色差信号正交调制的目的是什么？10页 4．电视扫描分为逐行扫描和隔行扫描两种。 5．电视基带视频有复合视频、亮色分离视频和分量视频三种。13页 6．彩色电视制式有哪三种？制式差异主要体现在哪些方面？14页或改为填空 世界上现行的彩色电视制式有NTSC制式、PAL制式和SECAM制式三大制式。制式差异主要体现在亮度合成公式、色差信号提取、色副载选取及其正交调制类型、扫描方式、同步时基确定等方面的参数。 7．彩色电视图像的数字化有信号上游数字化和信号下游数字化两种。 8．A/D转换主要包括哪些环节？量化的实质是什么？编码的实质是什么？17，18页，可改为填空 A/D转换就是指对幅值连续变化的模拟视频电信号进行脉冲抽样保持、量化、编码等环节后形成二进制码流的技术处理过程。 9．一般常用的线性D/A转换器，其输出模拟电压U和输入数字量D之间成正比关系。19页 10．YCbCr信号和YUV信号是正比关系。21页，或选择A正比B反比C非线性D平方11．CCIR601标准为NTSC、PAL、和SECAM制式规定了共同的图像采样频率是13.5MHZ。21页 12．PAL制NTSC制的现行标准数字电视有效显示分辨率（清晰度）各为720X576像素和720X480像素。公用中分辨率为352X288像素。23页 第三章广义数字视频及分类 1．广义数字视频的定义？28页 2．广义的数字视频是依据人的视觉暂留特性，借助计算机或微处理器芯片的高速运算加上Codec编解码技术、传输存储技术等来实现的比特流为特征的全新的信息媒介。 3．图像序列的特点有哪些？33页 特点是每帧的分辨率相同，图像内容相关、图像文件名连续编号，而且有表示开始的图像序列头和表示结束的图像终止码。
数字视频技术考复习题 一、填空题 1、MPEG-1视频流采取分层式数据结构，包括视频序列、、图像、 像条、、块共六层。 2、已知HDB3码为-1000-1+1000+l-l+l-100-1+l，原信息代码 为。 3、以在上一帧图像中找到相似的块，这两个宏块之间的位移，称为。 4、数字复接过程中，按各支路信号的交织情况来分，可以分为复 接、复接和复接。 5、视频基本码流(ES)层次结构由视频序列层、、、像条层、 宏块层和。 6、当前宏块与它匹配的宏块之间的差值称为。 7、模拟彩色电视信号，世界存在三种制式，它们分别是制、制 和制。 8、PAL制式彩色电视信号中，为了节省频带宽度，一般将色度信号调制在 -----MHZ的频率上，再安插在信号中。 9、在NTSC制式电视信号中，色度矢量的幅度代表，初 相位代表。 10、标准清晰度电视演播室标准规定，亮度信号每行的取样点 数，取样频率为MH Z。 11、基带传输时，接收波形满足取样值无串扰的充要条件是：仅在本码元的取 样时刻上有，而在其他码元的取样时刻，本码元的值为。 12、准同步复接中一般采用正码速调节，其方式为当缓存器即将读空时，禁止 读时钟输出，使缓存器读出一位，在输出码流中插入一个，可以把码速调高。 13、某一信道传输二进制时，速率为a，如果利用这一信道传输8进制时， 传输速率将是。 14、MPEG-2结构可分为和层，针对不同的环 境，MPEG-2规定了两种系统编码句法，分时是流和流。 15、H．264标准算法在概念上分为2个层次，分别是层和层。 16、H．264除了有I、P、B帧之外，还有2个切换帧，分别是帧 和帧。 17、SDH帧结构由和两大部分组成，他们的字长分别 （）和。 18、在一个STM-1中，可包容的基群个数为。
1.三基色原理：任何一种颜色可以通过三基色按不同比例混合得到。 照明光源的基色系包括红色、绿色和蓝色，称为RGB基色。R+G+B=White 反射光源的基色系包括青色、品色和黄色，称为CMY基色。C+M+Y=Black RGB和CMY基色系是互补的，也就是说混合一个色系中的两种彩色会产生另外一个色系中的一种彩色。 2.HVS(人类视觉系统) -人类获取外界图像、视频信息的工具。 视网膜有两种类型感光细胞： 锥状细胞:在亮光下起作用，感知颜色的色调。含有三种类型的锥状细胞。 杆状细胞:在暗一些的光强下工作，只能感知亮度信息。 3.相加混色法： 1）空间混色法：将三种基色光同时分别投射到同一平面的相邻3点，若3点相距足够近，由于人眼的分辨力有限和相加混色功能，因此，人眼看到的不是基色，而是这三种基色的混合色。 彩色显像管的现象就是利用了空间混色法。 2）时间混色法：按一定顺序轮流将三种基色光投射到同一平面上，由于人眼的视觉惰性和相加混色功能，因此，人眼看到的不是基色，而是这三种基色的混合色。 场顺序制彩色电视就是采用时间混色法以场顺序来传送三种基色信号的。 3）生理混色法：（立体彩色电视的显像原理） 4）全反射混色法：（投影电视的基本原理） 4.彩色电视三种制式： NTSC制：正交平衡调幅制（采用YIQ彩色空间） PAL制：正交平衡调幅逐行倒相制（采用YUV彩色空间） SECAM制：行轮换调频制（采用YDbDr彩色空间） 矢量量化 编码--用二进制数来表示量化后样值的过程 9.量化：（将无限极的信号幅度变换成有限级的数码表示） 量化的用途 1）将模拟信号转换为数字信号，以便进行数字处理和传输 2）用于数据压缩 10.二维采样定理： 若二维连续信号f(x,y)的空间频率u和v分别限制在|u|<=Um、|v|<=Vm （Um、Vm为最高空间频率），则只要采样周期Δx、Δy满足Δx<=1/2Um、Δy<=1/2Vm，就可以由采样信号无失真的恢复原信号。 3.基于多分辨率的运动估计： 1）运动场接近最优解的概率更大；在较小分辨率层上，误差函数可以接近全局最小值，通过插值，获得高分辨率上的初始解，最后到达最大分辨率时，运动场很可能接近最优解。 2）计算量比直接在最大分辨率上进行运动估计时要小；在较小分辨率层上，搜索范围限制在较小的范围。 1.压缩时，视频冗余：
5.2《数字视频信息的加工》教学设计 一、学习者分析： 其一，学生们通过上学期信息技术基础的学习，对视频加工有简单的了解；其二，随着各类数码产品的普及，实际生活中，很多同学有使用数码相机或手机拍片的经历，但大部分同学不会很好地应用视频加工技术，所以对此非常感兴趣，都希望能通过学习，最终创作出自己满意的视频作品，比如能把校运会、艺术节、班会活动中录制的视频信息进一步加工处理，留作美好回忆；其三，不可否认，学生之间认知能力和基础水平的差异很大，教学中应充分考虑这些因素。 二、教材内容分析 本节是教育科学出版社出版的普通高中课程标准实验教材选修《多媒体技术应用》第四章第四节“数字视频信息采集与加工”部分。本节安排三课时，第一课时为数字视频的格式及播放环境，第二课时为数字视频信息的采集方法，第三课时为数字视频信息的加工。本案例为第三课时的内容。主要介绍常用视频编辑软件的使用方法以及根据需要如何恰当选择软件工具进行简单视频编辑、合成。结合学生实际，在教学过程中，笔者对照相关的课程标准，充分考虑学生的需求后，对教材内容进行了适当拓展和相应的调整。 三、教学设计 1、知识与技能： （1）了解常用的几种视频编辑器。 （2）掌握使用视频编辑软件进行视频加工的基本流程。 2、过程与方法： 让学生在创作作品的过程中，体会数字视频作品制作的步骤和方法。学会对视频信息进行富有创意的，实现良好视觉效果的处理。 （1）掌握adobe premiere pro的基本使用。 （2）掌握视频的编辑、合成技术以及发布的方法。 （3）通过学案中的导学材料，结合自身兴趣，有选择地熟悉其他视频编辑软件的使用。 3、情感、态度与价值观： （1）激发学生对信息技术的兴趣：爱技术、懂技术、用技术。 （2）尊重知识产权，合理使用视频资源。 （3）培养学生对家乡的热爱。 四、教学重点、难点分析： 1、掌握adobe premiere pro的基本使用 2、掌握视频信息加工的流程和各个过程的实现。 五．教学策略设计： 1．教学方法设计： 任务驱动教学法、学案导学法、分组讨论法。
《单片机原理与接口技术》期中论文 论文题目HD-SDI数字视频信号处理及传输的FPGA设计与 实现 姓名 学号 学院电气工程学院 专业班级2008级通信工程
目录 引言 (3) 1.HD-SD I卡电路结构 (4) 2.HD-SD I数字行、场定时关系 (5) 3.视频数据的提取及处理 (9) 4.DMA控制模块 (13) 5.PLX9656局部总线到Avalon总线转换模块 (13) 6.实验调试 (14) 7.结束语 (15) 参考文献: (16)
HD-SD I数字视频信号处理及传输的FPGA设计与实现专业：通信工程姓名：黄鑫 摘要：设计了一种符合SMPTE292M标准的高清晰度数字电视信号采集传输用的HD-SD I卡,介绍了其电路结构,对HD-SD I中的视频数据、视频定时基准码、行号数据、校验码进行了分析,并就数字视频识别和提取模块、DMA传输模块和PLX9656 局部总线到Avalon总线的转换模块进行了设计。FPGA采用Altera公司的StratixEP1S25,实验调试结果表明, HD-SD I数字视频信号处理及传输工作稳定可靠。 关键词:高清晰度电视; 比特串行数字接口; HD-SD I; 现场可编程门阵列 FPGA design and implementation of HD-SD I digital video signal processing and transport Abstract: This paper designed a newly developed SDI card for HDTV of SMPTE292M, and gave the construction of the HD-SD I card’s circuits. Gave detailed analyses of video data, timing reference codes, line number data, DMA transport，conversion between PLX9656 local bus and Avalon bus. This paper also p resented the design of these model.The design adopted Altera’s Stratix EP1S25 as FPGA, and experimental results show that the processing and transport of HD-SD I card isstabilization and trustiness. Key words: HD-SD I; FPGA; bit-serial digital interface
数字视频处理 数字视频处理概述 数字视频就是先用摄像机之类的视频捕捉设备,将外界影像的颜色和亮度信息转变为电信号，再记录到储存介质（如录像带）。播放时，视频信号被转变为帧信息，并以每秒约30帧的速度投影到显示器上，使人类的眼睛认为它是连续不间断地运动着的。电影播放的帧率大约是每秒24帧。如果用示波器（一种测试工具）来观看，未投影的模拟电信号看起来就像脑电波的扫描图像，由一些连续锯齿状的山峰和山谷组成 为了存储视觉信息，模拟视频信号的山峰和山谷必须通过数字/模拟（D/A）转换器来转变为数字的“0”或“1”。这个转变过程就是我们所说的视频捕捉（或采集过程）。如果要在电视机上观看数字视频，则需要一个从数字到模拟的转换器将二进制信息解码成模拟信号，才能进行播放。 模拟视频的数字化包括不少技术问题,如电视信号具有不同的制式而且采用复合的YUV信号方式，而计算机工作在RGB空间；电视机是隔行扫描，计算机显示器大多逐行扫描；电视图像的分辨率与显示器的分辨率也不尽相同等等。因此，模拟视频的数字化主要包括色彩空间的转换、光栅扫描的转换以及分辨率的统一。 模拟视频一般采用分量数字化方式，先把复合视频信号中的亮度和色度分离，得到YUV或YIQ分量,然后用三个模／数转换器对三个分量分别进行数字化，最后再转换成RGB空间。 DSP是数字信号处理器的简称，在全球的数字化浪潮中，DSP以其高性能和软件可编程等特点，长期对数字媒体处理起到了积极的推动作用。最初DSP的应用在于专业数据通信和语音处理，各种专用调制解调器、声码器、数据加密机初步获得市场。其后DSP应用扩展到广泛的民用产品，诸如硬盘驱动器、通用调制解调器、数字答录机、无线通信终端。九十年代中DSP在数字GSM手机应用和无线基站应用中都获得了巨大的成功。与此同时，DSP开始全面拓展到新兴应用，并在宽带通信、数字控制、数字音频、数字视频等众多市场全球。现在，我们就DSP在数字视频行业中的应用进行分析。 视频行业的数字化，是模拟世界中数字化较晚的行业之一。原因主要是因为模拟视频的数字化产生巨大的数据量，造成应用的实现比较困难。随着互联网的速度提高，数字视频已经开始商业化，并逐步取代原来模式视频的地位。 现阶段在数字视频领域内，主要有以下一些DSP厂商：Philips、Equator、Ti、ADI、Cradle等等。各家厂商都有其特点，以下分别进行详细的介绍： 一、Philips视频处理DSP介绍： Philips是最早开发视频DSP的厂商之一，最早在1996年就推出了Trimedia 系列的第一款芯片TM-1000，当时主要的定位是数字电视方面的产品，随后推出了TM-1100、TM-1300、PNX-1300（TM-1300改进版）系列。虽然在数字电视方面没有取得很大的成功，但是PNX-1300系列芯片视频监控产品中得到了大规模的应用，也算是无心插柳柳成荫。随后飞利浦推出PNX-1500系列，也同样在视频监控应用上面成为主流。下一步飞利浦还将推出PNX1700系列。现在主流的PNX1500主流的300M内频，内部配有专门的媒体协处理器，在PNX1300系列的基础上，解决了以前PNX1300系列中功耗过大的问题，增加了网络口，IDE接口，提供了开发信息化家电和数字视频设备的主要接口；提供LED高分辨输出、高清视频输出（1920x1080）视频输出；具有视频滤波和De-interlace处理视频处理
高清、标清数字视频系统的同步 出处：《传播与制作》作者：程宏张京春日期：2011-5-17 所属期刊：201104 同步是高清、标清和模拟视频系统中最基本也是最严格的技术环节。视频系统中的各种设备，如摄像机、VTR、服务器和切换器等，均应处于同步状态。同步信号是系统的锁相基准信号，它保证了信号切换时画面不出现滚动、跳动以及A/D、D/A转换颜色不失真等现象。对于演播、播出系统来说，整个系统的统一同步是必不可少的。在视频系统设计、安装、调试、维护中，工程技术人员除了要重视视频、音频等技术环节，还需要重视同步这一技术环节，科学合理地配置同步和相关设备。 一. 高清、标清系统中同步信号的种类和选择 1．模拟黑场同步信号 模拟黑场同步信号（BLACK BURST 简称BB），称它为黑场色同步是因为该信号的正程图像对应的信号电平是黑电平(对于PAL制黑电平为0mV；对于北美NTSC制为7.5IRE)。 图1
模拟黑场同步信号应符合国家广播电影电视总局在2000年颁布的中华人民共和国广播电影电视行业标准《GY/T167-2000数字分量演播室的同步基准信号》。该标准规定数字分量演播室系统中用模拟基准信号作为数字标清系统的外同步基准信号，该同步基准信号的有效视频信号部分应是消隐信号，同步脉冲是负极性信号，脉冲幅度300mv，行同步基准点定义为行同步脉冲的下降沿的50%处。模拟黑场同步信号的行同步提供了行时序；场同步提供了场时序。这一同步基准信号已经广泛用于大量的串行数字分量系统中。模拟视频同步信号如图1。 模拟黑场同步信号的同步脉冲幅度标称值为300mV，可选色同步信号峰峰幅度标称值为300mV，同步脉冲极性应为负极性。行同步脉冲前沿（基准沿）的建立时间不应超过210ns，在10%和90%幅度值之间测量。行同步脉冲各前沿的定时在至少一场时间上应在前沿平均定时的±2.5ns范围之内。基准信号应工作在75Ω阻抗下，应符合标准的BNC型。 2．数字BB 数字的同步信号包括高清数字同步信号（HD SDI BLACK）和标清数字同步信号（SD SDI BLACK）。时钟和定时基准信息更加容易提取，适合于全数字系统应用。 数字环境中的同步是通过特定的编码字序列来实现的。这些编码字序列代表着有效视频 随后是000、000两个字，最后是XYZ字。在XYZ字中，包含有场序(F)、场消隐(V)和行消隐(H)信息，参见图2。在数字视频信号中，是利用上述数据来实现同步定时的。在图中可以观察到F、V和H比特的指配使用情况。数字视频信号的行场计数从第一场的第一行开始。数字的同步信号如图2。
数字视频信号基础 （白皮书） 目录 引言...................................................................................... - 2 -DVI –Digital Visual Interface ................................... - 4 -HDMI –High Definition Multimedia Interface ... - 6 -DisplayPort ....................................................................... - 8 -SDI –Serial Digital Interface .................................. - 10 -数字视频信号解析.......................................................... - 11 -保持数字信号的完整性 ................................................. - 13 -延长数字视频信号传输距离的解决方案.................... - 15 -数字内容保护(Digital Content Protection) ........... - 16 -内容提要 数字视频信号在AV行业内日趋普及。它和传统的模拟视频信号相比有很多不同，比如性能指标以及对整个信号链路的时基要求等。本文对数字视频信号的基础知识以及常见的数字视频信号进行了简要的介绍。同时，还介绍了如何利用眼图来对数字视频信号的完整性进行直观的量化，以及设计数字AV系统时数字视频信号修整功能的重要性。
数字视频技术 模式识别：摄像机+计算机模仿人眼+大脑 --- 图像、视频与色彩空间的应用 图像:模拟与数字图像；处理、传输、保存、检索、显示等；数字图像是可以看作是两个变量的离散函数f(x,y) 视频:视频是一个图像序列，数字视频可以看作是三个变量的离散函数f(x,y,t)；帧率函数值可以是一个数值（灰度图像），也可以是一个向量（彩色图像） 一个基本视频通信系统的框架 视频采集系统—数字视频处理系统—视频编码系统—视频传输系统—视频解码系统—数字视频处理系统 图像的分类：二值化图像，灰度图像，彩色图像 像素：一个像素通常被视为图像的最小的完整采样 图像的空间分辨率：指图像中每单位长度所包含的像素或者点的数目 色彩空间就是表达色彩的数学模型（表达逻辑性）（需要计算机实现）（用不同方式表达同一色彩信息，因为应用不同） YUV颜色空间里，亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量，那么这样表示的图就是黑白灰度图。 彩色电视采用YUV空间正是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色信号。 数字视频技术 --- 图像处理中的数学工具 时域（空间域）:加减乘除，微积分，直方图 频域：傅里叶变换，dct（数字余弦）变换 图像变换的实质是建立输入图像与输出图像之间所有各点之间映射关系的数学关系（函数）（线性，非线性）。 熵（信息量）：混乱情况下信息量大
同空间，不同空间的转换：是为了通过转换，在保持信息量不变的情况下，找到更便于观察的方式 直方图：分析不同灰度值的浓度分布（所占百分比） 二次化的方法：1划定像素值范围2找出每个像素在图中出现的次数3横纵轴标注名称（横轴：像素值；纵轴：像素浓度比例） 卷积：选定一个对称轴相加 非线型处理：对图像局部处理线型处理：对图像全局处理 对图像平面进行直接的数据操作：空域操作 1加减乘除2线性与非线性函数变换3微分4卷积5矩阵操作 卷积在图像中的应用 用一个模板和一幅图像进行卷积，对于图像上的一个点，让模板的原点和该点重合，然后模板上的点和图像上对应的点相乘，然后各点的积相加，就得到了该点的卷积值。对图像上的每个点都这样处理。 边缘检测（卷积，依照需求选取核）：一阶导数找出变化信息，检测出边缘信息 微分在图像中的应用 Sobel检测使用两个上述的3×3卷积内核来逼近水平边缘和垂直边缘。第一个矩阵(Sx)检测垂直边缘的变化，而第二个矩阵(Sy)检测水平边缘的变化。 傅立叶变换：将原来难以处理的时域信号转换成了易于分析的频域信号（信号的频谱）。 傅立叶变换提供另外一个角度来观察图像，可以将图像从灰度分布转化到频率分布上来观察图像的特征。 傅立叶变换在图像处理以下几个话题都有重要作用： 1.图像增强与图像去噪 2.图像分割之边缘检测
数字视频信息的索引研究 1、引言 视频是源于广播电视业的术语，指内容随着时间变化的图像序列，也称为活动图像。广义的视频有电影、电视和计算机动画等不同类型，狭义上的视频主要是指电视类视频。 视频是一种重要的视觉信息源。随着各种数字影像设备的发展与遍及，以及多媒体技术和Internet的发展，人们面对的视频信息种类迅速地增长，如电影、电视、视频会议、监控录像等。仅中央电视台截至xx年就保存有约30万盘视频节目，目前CCTV开设有15套节目、6套付费电视频道，以每天保存80—90h的首播节目计算，每年新增节目将会达到3万小时以上[1]。面对如此巨量的视频信息，人们迫切希望改进传统的对视频数据的线性查找方式，研发出能够快速定位和部分析取的视频数据获取技术。要达到这样的目标，首先需要将视频数据有序化，即对视频信息进行有效的索引，使之便于检索[2]。 从目前来看，数据库信息、文本信息、图形图像信息的检索已进入成熟期，已有许多实用的检索工具和产品，而视频信息的检索目前还处于研究阶段，虽然已有一些实验原型和个别针对特定领域的检索工具，但目前还无普遍实用的
工具和产品。其主要原因是，与其他信息相比，视频信息主要有如下一些特点： 信息内涵丰富； 无“显式”的结构； 存档方式、视频格式和编码标准较多； 数据量大。 近年来，许多研究人员在文本信息、图形图像信息检索技术的基础上，对视频信息检索技术进行了大量的研究，研究内容涉及视频信息的存储组织、内容分析、特征抽取、索引方法、匹配算法、检索算法、检索结果的评估和视频信息的表现形式等诸多方面。本文在分析视频信息的隐含结构基础上，研究视频信息的索引对象、索引模型和索引结构。 2、视频信息的隐含结构与索引对象 目前的视频文档都是以节目为单位表现某个主题，其数据在组织时无“显式”的结构和索引信息，用户只能采用线性方式观看和欣赏。传统的视频信息的消费往往是以节目为单位进行的，即查找某一电视节目，但不同类型的用户，在不同的场合下可能有不同的视频消费要求，即可能需要以镜头、场景或故事单元为单位进行消费。例如，篮球教练需要查找“姚明进攻”的视频镜头、司机在“塞车”时利用PDA收看某场足球比赛的精彩片段或画面等等。所以，对视频信息进行“结构化”，并针对不同的结构层次对象进行索引，是实
第４９卷第２期中山大学学报（自然科学版） ２０１０年３月ＡＣＴＡＳＣＩＥＮＴＩＡＲＵＭＮＡＴＵＲＡＬＩＵＭＵＮＩＶＥＲＳＩＴＡＴｌＳＳＵＮＹＡＴＳＥＮＩＶ０１．４９Ｎｏ．２ＭａＬ２０１０ 一种基于ＤＳＰ与ＦＰＧＡ实现场发射平板 显示器视频信号处理系统的方案＋ 陈振华１’２，邓少芝１，许宁生１ （１．中山大学光电材料与技术国家重点实验室／／显示材料与技术广东省重点实验室／／ 物理科学与工程技术学院，广东广州，５１０２７５； ２．中山火炬职业技术学院电子工程系，广东中山，５２８４３６） 摘要：数字视频信号处理涉及对高速实时视频信号的传输和处理，要求相关电路系统具有强大的数据处理能 力。介绍一种以ＤＳＰ和ＦＰＧＡ器件为核心构建的场发射平板显示器视频信号处理系统方案，并以，１１公司的ＤＳＰ芯片ＴＭＳ３２０Ｃ６７１３和Ｘｉｌｉｎｘ公司的ＦＰＧＡ芯片ＸＣ３Ｓ２００一ＰＱ２０８来实现系统方案，在自主研制的４．５ｉｎｃｈ（１１．４３ｃｍ）１６０×１２０分辨率单色场发射平板显示样屏上得到了功能验证。所设计的视频信号处理电路方案把两种处理器的性能优势结合起来，具有微处理器嵌入式系统的优点，同时可实现并行算法结构，满足视频信号传输和处理的高速实时性要求。 关键词：场发射平板显示器（ＦＥＤ）；视频信号处理；ＤＳＰ（数字信号处理器）；ＦＰＧＡ（现场可编程门阵列） 中图分类号：ＴＮ２７文献标志码：Ａ文章编号：０５２９—６５７９（２０１０）０２—０００８—０５ ＡＳｃｈｅｍｅｏｆＶｉｄｅｏＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｆｏｒＦｉｅｌｄ ＥｍｉｓｓｉｏｎＤｉｓｐｌａｙＢａｓｅｄｏｎＤＳＰａｎｄＦＰＧＡＤｅｖｉｃｅｓ ＣＨＥＮＺｈｅｎｈｕａｌ”，ＤＥＮＧＳｈａｎｚｈｉｌ，ＸＵＮｉｎｇｓｈｅｎ９１ （１．ＳｔａｔｅＫｅｙＬａｂｏｒａｔｏｒｙｏｆＯｐｔｏｅｌｅｃｔｒｏｎｉｃＭａｔｅｒｉａｌｓａｎｄＴｅｃｈｎｏｌｏｇｉｅｓ／／ＧｕａｎｇｄｏｎｇＰｒｏｖｉｎｃｅ ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＤｉｓｐｌａｙＭａｔｅｒｉａｌｓａｎｄＴｅｃｈｎｏｌｏｇｉｅｓ／／ＳｃｈｏｏｌｏｆＰｈｙｓｉｃｓａｎｄＥｎｇｉｎｅｅｒｉｎｇ， ＳｕｎＹａｔ—ｓｅｎＵｎｉｖｅｒｓｉｔｙ，Ｇｕａｎｇｚｈｏｕ５１０２７５，Ｃｈｉｎａ； ＤｅｐａｒｔｍｅｎｔｏｆＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇ，ＺｈｏｎｇｓｈａｎＴｏｒｃｈＰｏｌｙｔｅｃｈｎｉｃ，Ｚｈｏｎｇｓｈａｎ５２８４３６，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｓｄｉｇｉｔａｌｖｉｄｅｏｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇｆｏｒｄｉｓｐｌａｙｄｅｖｉｃｅｒｅｑｕｉｒｅｓｈｉｇｈ??ｓｐｅｅｄｔｒａｎｓｍｉｓｓｉｏｎａｎｄｒｅａｌ?－ｔｉｍｅｐｒｏｃｅｓｓｉｎｇ，ｔｈｅｃｉｒｃｕｉｔｓｙｓｔｅｍｍｕｓｔｇｉｖｅａｐｏｗｅｒｆｕｌｄａｔａ－ｐｒｏｃｅｓｓｉｎｇｃａｐａｃｉｔｙ．Ａｓｃｈｅｍｅｏｆｖｉｄｅｏｓｉｇ－ ｎａｌ ｐｒｏｃｅｓｓｉｎｇｓｙｓｔｅｍｆｏｒＦＥＤ（ＦｉｅｌｄＥｍｉｓｓｉｏｎＤｉｓｐｌａｙ）ｗｈｉｃｈｃｏｎｓｔｒｕｃｔｅｄｂｙＤＳＰｏｆＴＭＳ３２０Ｃ６７１３ａｎｄＦＰＧＡｏｆＸＣ３￥２００一ＰＱ２０８ｉｓｉｎｔｒｏｄｕｃｅｄ．ＴｈｅｃｉｒｃｕｉｔｓｙｓｔｅｍｃｏｍｂｉｎｅｓｔｈｅａｄｖａｎｔａｇｅｓｏｆｂｏｔｈＤＳＰａｎｄＦＰＧＡ，ｗｉｔｈａｍｉｃｒｏｐｒｏｃｅｓｓｏｒｅｍｂｅｄｄｅｄｓｙｓｔｅｍｆｕｎｃｔｉｏｎａｎｄｐａｒａｌｌｅｌａｌｇｏｒｉｔｈｍｓｔｒｕｃｔｕｒｅ，ａｎｄｐｒｏｖｉｄｅｓａｇｏｏｄｓｏｌｕｔｉｏｎｔｏｔｈｅｈｉｇｈ－ｓｐｅｅｄａｎｄｒｅａｌ—ｔｉｍｅｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇ． Ｋｅｙｗｏｒｄｓ：ｆｉｅｌｄｅｍｉｓｓｉｏｎｄｉｓｐｌａｙ；ｖｉｄｅｏｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇ；ＤＳＰ；ＦＰＧＡ． 场发射平板显示器（ＦｉｅｌｄＥｍｉｓｓｉｏｎＤｉｓｐｌａｙ，简称ＦＥＤ）是在研的新型平板显示技术ｍ２ｌ。结合ＦＥＤ器件的自身特性，利用数字图像处理技术和电路技术获得适合于ＦＥＤ器件的显示数据和显示驱动方式，将促进器件技术的发展和提高器件图像显示质量，因此数字视频信号处理及其相关电路研究在ＦＥＤ显示技术研发活动中是一个受到关注的内容‘３。４１。 ?收稿日期：２００９—０３一Ｏｌ 基金项目：国家科技部“９７３”计划资助项目（２００３ＣＢ３１４７０１）；国家“８６３”计划资助项目（２００８ＡＡ０３Ａ３１４）；国家自然科学基金一广东省联合科学基金资助项目（Ｕ０６３４００２） 作者简介：陈振华（１９７１年生），女，博士研究生；通讯作者：邓少芝；Ｅ－ｍａｉｌ：ｓｔｓｄｓｚ＠ｍａｉＬｓｙｓｕ．ｅｄｕ．ｃａ 万方数据