任意比例视频图像放大算法的研究与实现
摘要：随着多媒体信息技术的发展，针对视频信号的处理技术应运而生。其中实时缩放正是视频信号处理技术的关键。对于图像缩放，所用数学模型的优劣会直接影响用户观看图像的质量。在视频处理中，图像的缩放算法不仅影响视频质量，而且算法的处理速度也会影响视频流的显示，从而影响用户观看的连续性。本文针对视频信号对处理速度和精度的要求，采用只对亮度信号进行复杂处理的方法。分析图像边缘区域的特性，并通过数学推导，在边缘区域的插值中设计四个模板，从而设计改进的视频缩放算法。实验结果表明，本设计的视频信号缩放算法在主观视觉上保持了图像纹理细节和边缘信息。客观评价中，本算法处理得到的图像高频分量丢失少，且保证较好的低频分量处理效果；平均峰值信噪比较双线性插值提高0.24dB。
关键词：视频信号；图像处理；缩放；边缘
ABRSTRACT：With the rapid development of multimedia information technology，video signal's processing technology emerges at that time. Video’s real-time scaling is the key issue in video signal's processing technology. For image scaling，the mathematical model affects the picture’s visual quality. In video processing，not only the scaling algorithm influences the video’s quality，but also the alg orithm’s performance affects the display of the video so that influences the video playing smoothly.Due to the speed and precision demanded in video signal’s processing，only employ the proposed algorithm in Y channel signal. Under the analysis on the characteristic of the edge in image，four scaling masks are deduced mathematically. This paper issues a lot of experiments on the infrastructure of the theoretical study，which show that the video signal's scaling algorithm designed in this paper has obtained the better effectiveness than traditional algorithms. Our design keeps texture details in subjective vision，raises the PSNR 0.24dB on average，and it has well performance in both high and low frequency component in spectrum at the same. This is satisfied with the designated target of the project.
Key words: video signals; image processing; scaling; edge
1 绪论
1.1 研究背景及意义
信息技术和互联网发展到今天，多媒体信息技术的应用范围日趋广泛，多媒体信息包括音频数据、图像和视频数据及文字数据。而人类获取的各种信息中，图像信息占有绝大部分，图像带给人们直观并具体的事物形象，这是声音、语言和文字不能比拟的。
人眼看到的是连续变化的景物，是模拟图像，而在数字设备中存储和显示的图像是经过采样和量化的数字图像。为满足人类视觉和实现信息传输的需求，针对图像和视频信息的实时缩放技术在生活中起着不可忽略的作用[1]。
视频图像的后期缩放处理势必将会作为显示呈现在终端之前的一个重要环节。无论其输入视频信源的分辨率大小尺寸多少，最终都应该以用户的实际物理显示设备的最佳观看分辨率作为显示输出结果，通常由于带宽有限的关系，该显示过程通常以放大为主，即输入视频图像分辨率小于输出分辨率。为了满足不同终端用户对图像尺寸的需求，改变图像尺寸的缩放技术应运而生。
图像缩放是数字图像处理中非常重要的技术之一。对于网络传输的图像，由于客观条件的种种限制，想要快速地传输高分辨率的图像一般难以达到，同时由于硬件性能的限制，图片往往也无法满足所需要的分辨率，而硬件的改进却需要复杂的技术并付出昂贵的代价，所以如果能够从软件技术方面进行改进，采用图像插值技术提高图像质量来达到所期望的分辨率和清晰度，其具有的实用意义将是十分重大的。因此，利用插值的方法将低分辨率图像插值放大成高分辨率图像就成为人们追求的目标。
用图像缩放算法进行处理时，存在一对相悖的要素：图像处理速度和图像精度。一般情况下，要想获得比较高的速度甚至达到实时的图像输出速率，只能采用相对来说运算量比较简单的缩放算法；而如果要想获得处理效果比较好的图像，就只能考虑牺牲处理速度，采用计算量大、比较复杂的缩放算法。图像缩
放算法目前的研究趋势是希望能够尽可能准确地、清晰地恢复出图像的边缘信息和细节要素，最终实现无级缩放[2]。
1.2 国内外研究现状
目前数字图像缩放有很多新兴的技术，例如基于小波的图像缩放技术，基于分形的图像缩放技术等。最典型的是近几年出现的应用梯度、差值信息进行的基于边缘的缩放算法，这些算法能够对图像的处理效果有所改善。尽管软件仿真结果表现良好，但是它们的计算量庞大，实现复杂。
国外方面，Giovanni Ramponi提出WaDi插值算法，他考虑图像的内在相关性和几何相似性，提出对待插值点的空间距离做非线性修正[3]；Jung Woo Hwang和Hwang Soo Lee提出一种基于图像梯度信息的自适应插值方法，他们在待插值点周围的邻域内应用了四种模板，通过基于图像梯度信息的模板，将图像边缘变得尖锐[4]；文献[5]提出的边缘插值方法，根据计算待插值像素周围已知像素点得出的梯度值调整周围像素点灰度的权重，使得插值后像素点的灰度值能够更接近于较平坦区域像素点对应的灰度值，这种算法对噪声干扰小的图像进行缩放处理时对于边缘的处理效果比较好，但是如果噪声干扰比较大，那么会容易造成插值的判断失误。
国内方面，党向盈提出基于边缘检测的边缘梯度多方向优化插值方法和阈值控制方法的边缘最大相关性的快速图像插值算法[9]；王立国等人利用图像边缘在不同分辨率下具有不变性，根据局部标准偏差和局部协方差来计算最优插值系数向量，在边缘上得到较好的插值效果，同样，只能完成2k的缩放[10]；陈建辉等人提出的插值算法通过判断插值点邻域多个方向上的相关性，在最大相关性方向插值，从而更好保持了多种边缘信息，并结合Warp Distance做自适应非线性优化插值，取得了较好的视觉效果[11]；文献[12]利用了小波变换的思想，并将其与变分相结合提出一种新的图像放大算法，与传统的插值放大图像不同，该算法是用变分的思想进行图像放大，能达到和样条插值同样的放大效果。此外，文献[13-16]对图像缩放算法也进行了改进，但在算法的速度和性能上仍有待提高。
目前提出的诸多缩放算法，虽然在仿真实验中得到较好的处理效果，但存在模型复杂，计算量大，不能达到快速有效缩放图像的目的。上述缩放算法均在仿真实验中取得较好的处理结果，但使用模型复杂，运算量大，更有些只能完成2k倍数的缩放，为实际应用带来困难。所以，设计一个运算速度快、处理图像效果好，并且能实时缩放的算法是很有必要的。不仅降低编码文件处理时的数据复杂程度，解决占用过多带宽的问题，而且满足不同用户对分辨率、播放速率、图像质量的多样化需求，同时，对我国的高清数字电视的发展起着重大作用。
针对文献[4]中的模板中包含在硬件设计中难于实现的平方根和除法运算，本设计对其进行改进，取得较好的实验结果，达到任意比例实时缩放图像的目的。
2 数字图像缩放方法
2.1 数字图像缩放的基本理论
图像按照光谱特性可以分为彩色图像和灰度图像，按照图像在空间是否连续可以将图像分为模拟图像和数字图像。视频信号处理和传输的图像均为数字图像，因此所研究的缩放算法分为：灰度数字图像缩放和彩色图像缩放。
图像的灰度是指物体的二维光强度函数f（x，y），其中x，y是空间点的坐标，任意点错误！未找到引用源。处的数值（x，y）正比于图像在该点的亮度(灰度级L)，一个二变量实函数就表示一幅灰度图像，它是在空间的坐标和亮度的取值上均已离散化的图像。可以把一幅灰度图像看作一个矩阵，其行和列表示的是图像中一个点的位置，而对应的矩阵中的元素值则表示的是该点的灰度级。在研究图像放大的方法的时候，通常将试图回到图像被数字化之前，寻求原始图像的特点，在离散的数据上施加相应的影响和处理方法，通过或是基于连续，或是基于离散的数学方法，来实现图像的缩放[17]。
彩色图像一般常用三原色(R红色、G绿色、B蓝色)来产生，所以彩色图像一般可以表示为：
()()()(){},,,,,,c r g b f x y f x y f x y f x y = 错误！未找到引用源。（2.1）
其中f r （x ，y ）错误！未找到引用源。由（r ，g ，b ）错误！未找到引用源。表示，r ，g ，b 分别为f r ，f g ，f b 三个灰度图像的灰度值。
彩色图像的另一种主要表示方式是YUV 图像。相比与RGB 视频信号的传输，它最大的优点在于只需占用极少的频宽（RGB 要求三个独立的视频信号同时传输）。其中“Y ”分量表示明亮度（Luminance 或Luma ），也就是灰阶值；而“U ”分量和“V ”分量表示的则是色度（Chrominance 或Chroma ），是用来描述影像色调及饱和度的数值，用于指定像素具体的颜色。由于彩色图像是由RGB 分量构成，而RGB 是三个正交的分量。因此可以对彩色图像的处理就是对三个矩阵分别进行处理。所以首要的工作是如何处理好单色灰度图像。
2.1.1 灰度图像缩放方法
灰度数字图像缩放按实现的方法不同可以分为两类：重建方法和非重建方法。目前典型的灰度数字图像缩放方法大多是通过重建实现的。
非重建方法是单纯的利用插值点周围的像素信息，直接运算得到待插值点的像素值。通过非重建方法实现数字图像的缩放，一般是利用选取插值像素点附近的原始像素点的信息，进行分析处理计算获取插值点灰度值的方法。邻域交换算法通过简单的时序控制就可以较好的去除马赛克效应[1]。虽然在边缘、细节等方面取得了较良好的处理效果。但要想获得高精度的处理效果，只能牺牲速度，采用比较复杂的算法。
重建方法的过程是通过各种重建函数将离散数字图像重建为连续数学模型，再对连续模型进行重采样得到插值点的灰度值[2]。它们基本上都有快速生成图像的特点、视觉效果良好。但是，由于在插值过程中，没有针对图像的边缘和纹理等局部特征进行特殊处理，所以，导致处理后的图像难以保持边界的清晰和轮廓的分明。
综合以上分析，灰度数字图像缩放时总是存在相悖的两个因素：图像处理精度和处理速度。
2.1.2 彩色图像缩放方法
常用的彩色数字图像处理缩放方法有两种。第一种是把三基色R 、G 、B 作为三个分量，每一个分量分别采用灰度图像的缩放处理，然后再将三个分量合并。另一种则是先把RGB 图像转化为YUV 彩色模式，对Y 、U 、V 信号分别进行缩放处理，最后将YUV 模型转换回RGB 图像进行显示。经实验得到：对于同一幅彩色原始图像，如果对Y 分量采用某一种算法进行缩放，而对U 、V 分量分别采用不同的算法进行缩放，得到的放大倍数相同的处理后图像，从视觉效果上看，几乎不能分辨出其中的差别。可见人眼对色度的变化不敏感。因此可以在采用第二种方法进行彩色数字图像的缩放处理时，只需要采用优秀的缩放算法对Y 分量进行处理，U 、V 信号完全可以采用简单的算法来进行放大处理。
从彩色数字图像缩放的实现角度考虑，第一种方法需要对三个分量分别采用灰度数字图像的缩放方法进行处理，计算量大；第二种方法只需要把性能良好的灰度数字图像算法应用于Y 分量的缩放中，忽略人眼不敏感的分量，减小运算量，本设计中即采用第二种针对RGB 图像的放大方法。
2.2 经典图像缩放方法
数字图像的像素点就好像棋盘上的一个个交叉点。在图像缩放处理中，往往需要求得两个交叉点之间的灰度值，如果交叉点上的灰度值刚好落在像素位置上，可称之为像素灰度；而交叉点以外的灰度值是像素位置间的灰度值或称之为子像素灰度值[9]。像素位置间的灰度值通常可以使用插值的方法进行计算，传统插值算法通常有双线性插值法（Bilinear ）、双三次缩放法（Bicubic Interpolation ）等。
2.2.1双线性缩放法
双线性缩放法又称一阶插值，是对最近邻域插值法的一种改进。作为对最近邻域法的一种改进，根据待采样点与相邻点的距离确定相应的权值计算出待采样点的灰度值。从一维的角度来看，线性插值是使用
原图中两个值来线性计算所求坐标处的值。如果已经知道了两点x 0，x 2处的函数值f （x 0）f （x 2），现在要求x 1处得函数f （x 1）。假设函数是线性的，利用几何知识可以知道：
()()()()())()12010200f x f x f x x x x x f x =---+ （2.2）
在图像处理中需要将上述的一维线性插值扩展到二维的情况下，即双线性插值法(Bilinear Interpolation)，图2.1为双线性插值的示意图。因为通过四个点确定的一个平面是一个过约束问题，所以在一个矩形栅格上进行一阶插值就需要用到双线性函数。已知a 、b 、c 、d 四个点的灰度值，想要求得g 点的灰度值，可以先在水平方向上由a 、b 线性插值求出e ，由c 、d 线性插值求出f ，然后在垂直方向上通过得到的e 、f 的灰度值线性插值求出g 。
图2.2是双线性插值求像素间灰度值的示意图。设以（u ，v ）表示由点（i ，y ）（i+1，y ）（i ，y+1）和（i+1，y +1）组成的网络内任意点的位置，则（u ，v ）为局部坐标，对由周围领域内四个像素组成的网络内灰度的计算在该局部坐标内进行[1]。四个点的像素值分别为g (i ，y ）g （i+1，y ）g （i ，y+1）和g （i+1，y+1）。
a b
c
d
f
图2.1 双线性插值示意图
)1(i )1j +
图2.2 双线性插值求像素灰度值示意图
双线性插值需要在水平和垂直两个方向上均进行，因此，用双线线性插值方法求网络内任意点（u ，v ）的灰度值，计算过程整理如下：
()()()()()(),11,1,1g i v j u u v g i j u v g i j ++=--+-+
()()()11,1,1u vg i j uvg i j +-++++ （2.3）
双线性插值法是利用待求像素点临近的四个像素点的灰度值在两个方向上做线性插值，考虑了插值点周围像素对插值点的贡献和空间距离上的不同对缩放效果带来的线性影响，基本克服了最近邻域法灰度值不连续的缺点。双线性插值法比最近邻域法复杂些，计算量增加，但没有灰度不连续的缺点，结果较令人满意。由于此方法仅考虑四个直接邻点灰度值的影响，而未考虑到各邻点间灰度值变化率的影响，因此具有低通滤波器的性质，使该方法会使高频分量受到损失，图像轮廓变得较模糊。主要缺点为既平滑了图像高频分量又使低频分量产生了混叠。
2.2.2双三次缩放法
计算像素间灰度值还可以用双三次插值（Bicubic Interpolation ），又称双立方插值。将插值点（i +u ，j +v ）的灰度值表示为g *（u ，v ），在插值函数中，仅与待插值点的位置和周围像素点的灰度值有关，可以写成：
()*223301234567,g u v a a u a v a uv a u v a uv a u a v =+++++++ （2.4）
上式中八个常数a 0，a 1，……，a 7仍然由周围的灰度值确定，在计算插入函数常数时，除了需要利用周围最近的四个点的灰度值外，还需要利用四个点灰度值的二阶混合导数值（这样可以保证灰度函数在水平和垂直两个方向上均连续），即如公式2.5所示。
由此可见，双立方插值的工作量比双线性插值要大得多。在计算每个点的二阶导数时采用差分法，为此，实际计算时需要利用与待插值点最近四点的相邻像素的灰度值，例如要计算（i ，j ）点对,u v 的二阶混合导数，可利用下述2.6式差分。双三次插值算法的插值邻域大小为4×4。利用了待插值点周围更大邻域内像素点的灰度值作三次插值。此法用了三次多项式S （w ），其数学表达式如公式2.7所示。式中w 为自变量，S （w ）为三次多项式的值。
利用周围的16个相邻点的灰度值按照式2.8进行插值。
()()(){
2,11,11,14g i j g i j g i j u v ?=--++-?????? ()()}
1,11,1g i j g i j --+++-???? （2.6） ()2323124850w w S w w w w ?-+??=-+-????
01122w w w ≤<≤<≤ （2.7）
式中：
()()()()112A S u S u S u S u =+--????
()()()()()()()()()()()()()()()()1,11,1,11,2,1,,1,21,11,1,11,22,12,2,12,2g i j g i j g i j g i j g i j g i j g i j g i j B g i j g i j g i j g i j g i j g i j g i j g i j ----+-+????-++??=??+-+++++??+-+++++????
()()()()112C S v S v S v S v =+--????
(),g i u j v A B C ++=?? （2.8）
分析式（2.7）和式（2.8），可得：
()()232314815112S u u u u u u u
+=-+++-+=--+ （2.9） ()()()23231212S u u u u u u u =-+=-+-+ （2.10） 令232k u u u =-+，则：()1S u k +=-，()()
1S u u k =-+。
()
()()()
()()()
()
()()()
()()()()()()()()()()()()()*,*,1*1,*1,12*2,2*2,12*21,2*21,1,,,,1,1,,1,1,,,,1,1,,1,1i j i j i j i j i j i j i j i j g u v g i j g u v g i j g u v g i j g u v g i j g u v g i j u v u v
g u v g i j u v u v
g u v g i j u v u v
g u v g i j u v u v ++++++++==+=+=++??=??????+=??????+=??????++=???? （2.5）
若令k =0，则双三次卷积法就退化为双线性插值法。因此，可以把双三次多项式插值的立方卷积法看作由两个部分组成，其中1-|u |代表直接临近点对待插值点的影响，而k 则代表临近点灰度值的变化率对待插值点的影响。
与双线性法相比，双三次插值法不仅考虑了待插值点的临近点的灰度值对待插值点的影响，还考虑了临近点间灰度值变化率的影响，因此具有很高的插值精度。经典插值中，双三次插值计算量最大，但插值效果最好，精度最高。参与计算的像素点的个数会影响计算的复杂度，参与计算的像素越多，计算结果越精确，但时间会长一些。双三次插值法考虑了图像纹理对图像的贡献，产生的曲面表面是连续的，但由于计算复杂，不适宜在要求速率较高的视频处理中应用。
2.3 基于图像局部特征的缩放方法
以上介绍了几种经典的插值算法，这些算法只考虑到像素点的空间关系，针对图像中所有的像素点均采用了相同的处理方法，未针对待插值点周围像素点的不同灰度值信息而采用不同插值方法。近几年，不少学者提出了针对图像局部特征不同，而采用不同计算方式的插值运算。
Warped Distance 缩放方法是对经典图像插值方法的改进，经典插值方法又称空间线性插值，因为它们在插值时只考虑到像素点的空间关系，Warped Distance 同时考虑了图像内在的相关性和几何相似性，对像素空间距离作了非线性修正。
以一维的情况为例，如图2.3，考虑其中的相关性，针对x 位置处做插值，线性插值公式为：
()()()()11k k f x s f x sf x +=-+ （2.11）
s 1s
-1k x -k x 1k x +2k +
图2.3 线性插值临近像素点
Warped Distance 方法将空间距离s 修正为s '，使之偏向图像中最大相似性的一边，s 和s '之间的关系如公式2.12所示。
()1k s s kA s s '=-- （2.12）
A k 为待插值点邻域的几何相似性参数，由下式定义： ()()()()
1121k k k k k f x f x f x f x A L +-+---=- （2.13）
L 为灰度级最大值，8位图像取256以保证A k ∈[-1，1]，A k =0，表示两边的像素对称；A k >0表示插入点位置与右边像素具有更大的相似性，右边像素应有更大的加权系数，s ’ > s ；反之，左边像素应具有更大的加权系数，s ’< s 。k 为修正因子，一般取1k =或者2k =。
该Warped Distance 算法通过针对图像局部特征的计算，对待插值点在原图像中的空间距离进行了修正，取得了较好的图像处理效果。相对于传统插值算法，保持了较好的高频成分，使得图像边缘看起来更加清晰。视觉效果较好。
3 视频信号缩放算法的设计
线性插值的方法具有算法简单、处理效率高的优点，但在保持图像背景平滑和边缘锐利时出现矛盾；新兴的基于图像局部信息的插值方法，充分地利用了图像的细节信息，很大程度上改善图像质量。但是，算法复杂度较大，在实际应用上存在困难。所以设计一个硬件可实现，计算量小、能达到快速有效缩放图像的算法很有必要。
3.1 缩放算法的设计
上文提到，传统的线性滤波插值由于只考虑了图像像素点之间的距离信息，而没有考虑到图像内容之间的联系，因此在图像变化较快的地方存在模糊现象、锯齿现象等伪像。而在观察一幅图像时，人们总是先着眼于图像边界、纹理等区域。可见人眼对图像的边缘信息特别敏感。因此，边缘信息是影响视觉效果的重要因素，它不仅能勾勒出物体的基本轮廓，而且能够传递图像的大部分信息。所以研究数字图像边缘的特性，针对图像的边缘和非边缘做不同的处理，将使得图像的视觉效果更好，对缩放算法的设计重要。
3.1.1 图像边缘特性分析
简单来说，所谓边缘点是指位于它两边的像素灰度值有显著的不同。从数字图像的内容看，边缘即指物体与物体之间或物体与背景之间的交界处，纹理的边界或轮廓。在图像中，边界区域的灰度值是突变或不连续的[9]。边缘可以定义为两个具有不同灰度的均匀图像区域的边界，边缘往往具有以下特征：（1）灰度突变；（2）是不同区域的边界；（3）具有方向性。
根据边缘的这三个特征，可以通过判断所关心的区域是否存在以上特征差异来判断是否存在边缘的可能性。如果特征不存在差异，则认为是平坦区域；如果特征存在差异，则将该点判断为边缘点。
粗略的区分边缘种类可以分成两种，一种是阶跃状的边缘，它两边像素的灰度值有显著的不同，另一种为屋顶状边缘，它位于灰度值从增加到最大值然后减少的变化转折点[1]。
在对二阶连续可微函数进行插值时，待插值点的值与其左右两点的值相比更接近于处于平坦区域的点，也就是说，在利用其左右两点进行插值时，导数越小的点对应的权值应该越大。在决定权重函数时，可采用以邻域内各点处的梯度值来确定权重值大小的思想。待插值点的灰度值应接近于其周围各点中导数值较小的点。可以以导数为准确定权重系数，导数值越大，权重值越小；导数值越小，权重值越大。
3.1.2 边缘检测方法及Sobel 算子
边缘检测用在图像插值方面也能达到很好的效果。边缘提取首先是检测出图像局部特性的不连续性，然后再将这些不连续的边缘像素连成完备的边界。边缘区域最显著的特性之一是沿边界走向的像素灰度值变化比较平缓，而垂直于边界方向的像素灰度值变化剧烈；所以，从这个意义上说，提取边缘的算法就是运用能够检测出符合边缘特性的边缘像素的数学算子[1]。图像的边缘点即对应着一阶微分图像的峰值处；而二阶微分图像则是过零点处对应着图像的边缘点[9]。
根据数字图像的特点，在处理图像的过程中通常采用差分来代替导数的运算，对于简单的图像的一阶导数运算，由于具有固定的方向性，只能检测特定方向的边缘，所以不具有普遍性。为了克服一阶导数的这一缺点，定义图像的梯度算子为：
()1222f f G f x x y ????????=+???? ? ?????????????
错误！未找到引用源。（3.1） 它是图像处理中最常用的一阶微分算法，这里f （x ）错误！未找到引用源。表示图像的灰度值，关于图像梯度的最重要性质是它可以表示图像梯度的方向上灰度最大变化率，也就说明它可以反映出图像在边界处的灰度变化。
Sobel 算子是图像处理中常用的算子之一，主要用于边缘检测。Sobel 算子包含两组3×3的矩阵，分别用来检测横向边缘和纵向边缘，将矩阵与图像做平面卷积，即可分别得出横向和纵向的灰度差分近似值。
如果以I 代表原始图像，G x 及G y 分别代表横向和纵向的边缘检测的图像，其公式如下：
101202101x G I -+????=-+*????-+??
（3.2） 121000121y G I +++????=*????---??
（3.3） 图像每一个像素点的横向和纵向的梯度近似值可以由式（3.2）、（3.3）的结合来计算梯度的大小。G 表示梯度大小，如下表示：
G = （3.4）
可用以下公式计算梯度方向：
arctan y x G G θ??= ???
（3.5） Sobel 算子对于像素位置之间的影响也作了加权，因此效果更好。Sobel 算子的另一种形式是各向同性Sobel 算子，也有两个模板，分别如下：
检测水平边缘的1100011??++??????--??
，检测垂直边缘的1010101-+??????-+??
各向同性的Sobel 算子和普通的Sobel 算子相比，位置加权系数更为准确，在对不同的方向进行边缘时梯度幅度保持一致。由于Sobel 算子是滤波算子的形式，可以利用快速卷积函数，简单有效，因此应用广泛。
3.1.3 视频信号缩放算法的设计步骤
针对图像的特征分析，利用已有的理论知识，设计RGB 视频信号的缩放算法。本算法的设计流程如图
3.1所示。
首先，由于人眼对亮度分量Y 的感觉比对颜色分量U 、V 的感觉敏感，且边缘细节的处理效果直接决定缩放后图像的视觉质量，为降低运算量，达到实时缩放的目的，将RGB 图像转换为YUV 格式，只针对Y 分量的边缘进行较复杂的缩放算法，对非边缘像素和U 、V 分量分别做双线性插值和最近邻域插值。
其次，根据传统插值算法在权重计算中存在的问题，经数学推导得到待插值点的灰度值接近于其周围
导数值较小的点，所以本算法中在边缘处设计得到的权重系数和导数存在类似反比的关系。
在权重设计时，针对基于图像局部梯度特征插值算法的计算量大、硬件实现困难，本算法特此省去其中倒数和开方等复杂的运算，根据待插值点周围像素的梯度值设置四个模板，减少运算量。如图3.2所示。
权重模板定义如公式3.6。其中α是尖锐化常数，经实验仿真，测得错误！未找到引用源。时插值效果最好。然后，将其进行归一化。如公式3.7所示。
()()(),1,,11,11,2,1,12,1,,11,1,1111r i j i j i j i j l i j i j i j i j d i j i j i j i j H f f f f H f
f f f V f
f f f ααα-+-+++++++-++-=+-+-=+-+-=+-+- ()
,1,21,11,21u i j i j i j i j V f f f f α++++++=+-+- （3.6） ()()01h h l bil w H s D =-，()1h h r bil w H s D =，
()()01v v u bil w V t D =-，()1v v d bil w V t D =，
()1h b i l l r D H s H s =-+，()1v bil u d D V t V t =-+ （3.7）
最后，得到待插值点的灰度值为
()()()00,11,10,111,1,v h h v h h i j i j i j i j f x y w w f w f w w f w f ++++=+++ （3.8）
通过比较分析，可以得出本缩放算法的计算量较双线性插值大，较双三次插值小，在硬件实现和实际应用中有很大的优势。
图3.1 RGB 视频缩放算法流程图
图3.2 本算法权重模板示意图
4 仿真实验和性能分析
为证明本文提出算法性能优于传统插值方法，进行大量仿真实验。比较用双线性插值算法、双三次插值算法和本文算法插值得到的图像质量，用两个指标来评价图像质量：峰值信噪比（PSNR ）和频谱分析。实验仿真是在Intel （R ） core （TM ）2 duo ：T6500，2G 内存，2.10GHZ 主频的计算机上进行的，程序采用MA TLAB R2010b 语言实现。
为证明本算法的普遍适用性，仿真实验中，采用六幅静态图像和两组视频序列对本设计缩放算法的性能进行分析，图像分别选择细节较丰富的LENA 、COUPLE 、AIRPLANE 和PEPPERS 以及边缘信息量较少的HATS 和FOOTBALL ，视频序列选择两个国际公认的测试序列FOREMAN 和FOOTBALL 。
4.1 峰值信噪比分析
峰值信噪比是一种评价图像的客观标准。是原图像与输出图像之间的均方误差相对于（2n -1）2错误！未找到引用源。的对数值(信号最大值的平方，n 是每个采样值的比特数)，它的单位是dB 。
假设f （x ，y ）是原始图像，f ’（x ，y ）是处理后的图像，M 和N 分别为图像的行数和列数，即图像的分辨率为M N ?，则峰值信噪比（PSNR ）的定义为
[][]22max min 1010255010log 10log f f PSNR MSE MSE ????-- ? ?=?=? ? ?????
（4.1）
其中，f max 和f min 分别为灰度图像的最大值和最小值，通常取值为255和0 [18]。通过PSNR 的定义，可以得出，PSNR 值越大，处理后的图像和原始图像差异越小，即处理后图像的效果越好。
对于图像放大过程，首先将原图像采用经典插值方法缩小，然后分别以双线性插值算法、双三次插值算法及本设计方案将缩小后的图像进行放大，缩小的倍数与待放大的倍数之积为1，以满足最终得到的图像与原图像尺寸相同，最后将插值得到的图像与原始图像进行PSNR 值比较。如图4.1所示。同理，在图像缩小时的PSNR 值的比较过程与插值过程的比较相反。
表4.1是采用三种不同算法，对六幅静态图像进行不同倍数缩放后得出的平均PSNR 值进行的比较，放大倍数在0.5-4之间，增长步长为0.1。仿真实验结果表明，本算法的平均峰值信噪比较双线性插值的增加0.24dB ，较双三次插值小0.12dB 。
图4.2和图4.3是采用三种不同缩放算法，针对HATS 和FOOTBALL 两幅图像的PSNR 值比较结果。可以看出，本文提出算法与双线性插值相比性能有一定的提高，无论在放大还是缩小时，性能明显得到改善。
图4.1 放大图像PSNR 值比较流程
图4.2 用三种方法对HA TS 图像缩放的PSNR 比较结果
图 4.3 用三种方法对FOOTBALL 图像缩放的PSNR 比较结果 双线性 38.95006 33.08851 34.70622 34.68243
35.44163 35.49937 双三次 39.47391 33.33420 35.11514 34.88634
35.80014 35.89866 本算法 39.26217 33.18145 35.07360
34.94540 35.55389
35.76331 4.2 图像傅里叶变换的频谱分析
从纯粹的数学意义上看，傅里叶变换是将一个函数转换为一系列周期函数来处理的。从物理效果看，傅里叶变换是将图像从空间域转换到频率域。换句话说，傅里叶变换的物理意义就是将图像的灰度分布变换为图像的频率分布函数。
图像的频率是表征图像中灰度变化剧烈程度的指标，是灰度在平面空间上的梯度。将一幅图像进行傅里叶变换后，图像中的高频信息和低频信息在频率域中分开了，方便对图像的各种处理[19]。将原图像和处理后的图像进行傅里叶变换，通过对比，能体现出缩放算法针对图像各个频率的处理结果，如高频缺失的多少。
本设计算法 其他放大算法
相
比
较
经典图像缩放算
法
本文针对不同方法缩放得到的图像进行傅里叶变换，对频谱进行分析比较，图4.4和4.5分别为COUPLE 和PEPPERS图像采用不同缩放方法放大4倍后频谱的比较结果。
(a)原图像频谱(b)本算法缩放后频谱
(c)双线性插值缩放后频谱(d)双三次插值缩放后结果
图4.4COUPLE图像缩放频谱比较结果
(a) 原图像频谱(b)本算法缩放后频谱
(c)双线性插值缩放后频谱(d)双三次插值缩放后结果
图4.5PEPPERS图像缩放频谱比较结果
通过观察频谱，可以看出COUPLE含有的高频成分比较多，而PEPPERS图像同时含有丰富的高频和低频分量。与双线性插值和双三次插值比较，本算法在保持高频分量尽可能少丢失的同时，也保证了较好的低频分量处理效果。
4.3 视频信号缩放算法性能的主观分析
以上给出了双线性插值、双三次插值以及本设计算法处理后图像的客观评价结果。下面对本算法进行主观上的评价，即在空间域上将三种算法处理得到的结果通过人眼视觉进行比较。
图4.6是AIRPLANE和PEPPERS图像先经过双线性插值算法缩小为原图像的0.5倍，再分别采用不同的缩放方法放大2倍，最终得到和原图像尺寸相同的图像，比较结果如下：
(a) 原图像(b)本算法
(c)双线性插值(d)双三次插值
图4.6AIRPLANE图像缩放结果比较
通过以上不同缩放算法得到图像的视觉比较可以看出，在AIRPLANE图像中，双线性插值和双三次插值在飞机和雪山交界等纹理细节的处理上存在模糊现象，本算法很好的克服了这一缺点。可见，本设计的缩放算法在图像处理的视觉效果上优于双线性插值和双三次插值。特别是在边缘和纹理细节丰富的区域。
以上给出了针对不同类型的静态图像，不同缩放算法在主观上的比较结果，接下来给出本设计在不同缩放倍数上的视觉效果。
为了证明本算法适用于视频信号的处理，将本缩放算法应用于国际公认的标准视频序列，以此来来验证可行性和有效性。
(a)原图像(b)本算法放大1.5倍
(c)双线性插值放大1.5倍(d)双三次插值放大1.5倍
图4.7FOREMAN视频序列第58帧放大结果
(a)原图像(b)本算法放大1.5倍
(c)双线性插值放大1.5倍(d)双三次插值放大1.5倍
图4.8FOOTBALL视频序列第60帧放大结果
图4.7和图4.8分别为采用三种缩放算法进行放大1.5倍的QCIF视频序列FOREMAN中第58帧和FOOTBALL中第60帧图像结果的比较。通过对视频序列的仿真结果可以看出，本算法得到的图像边缘更加清晰。仿真实验结果表明，本文提出的算法不仅在非边缘的平坦区域上有很好的处理效果，也保持锐利清晰的边缘，同时，对各种类型图像，在任意放大倍数下均表现出较好的处理效果。
结论
多媒体信息技术和Internet技术飞速发展，已深入到生活各个领域。不仅要求视频信号有较好的容错能力，并且能够根据终端处理能力、显示设备、用户需求等不同因素进行自适应的调整。在传输时，很难得到视频编码能够同时提供不同质量、不同尺寸、不同传输速率的比特流，以满足不同用户对分辨率、播放速率、图像质量的多样化需求。针对上述问题，采用传输相同的图像或视频编码，在终端接收后，对图像或视频信息进行相应的快速、实时的图像处理，使其满足显示器的尺寸或用户需求，此方法更经济方便，并且能够满足用户针对图像细节的特殊要求。本文针对视频信号处理的关键技术，即图像的快速缩放技术进行了深入的研究，对不同种图像缩放算法的性能和实际应用中存在的问题进行分析比较，并设计在硬件上可实现的RGB视频信号任意比例缩放算法。
总体而言，本文对图像和视频信号缩放技术进行详细的研究，提出针对RGB视频信号任意比例缩放的算法，并对算法的性能进行分析和对比。通过仿真实验，本文取得的各项性能指标仍有改进的余地。对于边缘检测方法或阈值的选取应进一步深入研究。
本算法针对RGB视频信号可以实现任意比例缩放，但倍数较大时，由于信息量的缺失，插值效果不是很理想。所以一种改进方式是在缩放比例较大时，采用分级缩放的形式，并分析采用几级插值能够使得到的图像效果达到最佳，同时分担硬件芯片的工作量，减小硬件压力。
参考文献
[1]常军.基于图像缩放的新算法研究与应用[D].无锡：江南大学，2008.
[2]竺加毅.自适应图像缩放算法及硬件实现[D].上海：上海交通大学，2009.
[3]Giovanni Ramponi. Warped Distance for Space-Variant Linear Image Interpolation[J]. Transactions on Image Processing，1999，8 (5): 629-639.
[4]Jung Woo Hwang，Hwang Soo Lee. Adaptive Image Interpolation Based on Local Gradient Feature[J]. IEEE Signal Processing Letters，2004，11(3): 359-362.
[5]Nira SheZaf，Hagit Abramov-Segal，Ilan Sutskover and Ran Bar-Selia.Adaptive Low Complexity Algorithm For Image Zooming at Fractional Scaling Ratio [A].Proceeding of the 21st IEEE convention of the Electrical and Electronic Engineers in Israel[C].2000，4: 253- 256.
[6]Darwish A M，Bedair M S，Shaheen S I. Adaptive Resampling Algorithm for Image Zooming[J].HE Proceedings-Visoin Image and Signal Processing，1997，144(4): 207-212.
[7]S. Thurnhofer，S. K. Mitra. Edge-Enhanced Image Zooming[J]. Eng，1996，6: 1862-1869.
[8]Battiato S，Gallo G，Stanco F. A Locally-Adaptive Zooming Algorithm for Digital Images[J].Elsevier Image Vision and Computing journal，2002，20(11): 805-812.
[9]党向盈.基于边缘方向的高精度快速图像插值算法研究与应用[D].无锡：江南大学.2008.
[10]王立国，张晔，谷延锋.基于自适应边缘保存算法的图像插值[J].哈尔滨工业大学学报，2005，1(37)：18-21.
[11]陈建辉，王博亮，徐中佑等.一种自适应最大相关性数字图像插值算法[J].厦门大学学报（自然科学版），2005，44(3):355-358.
[12]冯象初，姜东焕，徐光宝等.基于变分和小波变换的图像放大算法[J].计算机学报，2008，31(2):340-345.
[13]郝丽花，张世禄，刘军.新代数插值算法在图像放缩中的应用[J].电脑开发与应用，2004，17(9)：24-27.
[14]刘俊华.数字图像插值[D].兰州：兰州大学，2010.
[15]刘栎莉.边缘检测及其在图像缩放中的应用[D].合肥：合肥大学，2009.
[16]张美玉，王孝通，徐晓刚.改进的图像自适应梯度插值[J].中国图像图形学报，2009，5(14)：853-858.
[17]马天骏.图像放大技术研究[D].西安电子科技大学，2004.
[18]杨高波，杜青松.MA TLAB图像/视频处理应用及实例[M].北京：电子工业出版社，2009:44.
[19]周金萍.MA TLAB 6.5图形图像处理与应用实例[M].北京：科学出版社，2003: 74.
视频会议视频调试技术与技巧 视频会议是图像、声音的有机结合，为了获得理想的效果，必须按照操作规程做好前期的准备和调试工作。在实际应用中还有许多不尽人意的地方，主要表现在参数设置和实际操作等方面。如何做到心中有数、得心应手?本文就相关技术问题进行探讨，提出不同的解决方法和应用技巧。在视频调试过程中，常见的问题是图像无彩色和图像偏色。对于图像无彩色现象，可通过会议终端控制软件中的参数设置来加以解决;对于图像偏色现象，要通过白 视频会议是图像、声音的有机结合，为了获得理想的效果，必须按照操作规程做好前期的准备和调试工作。在实际应用中还有许多不尽人意的地方，主要表现在参数设置和实际操作等方面。如何做到心中有数、得心应手?本文就相关技术问题进行探讨，提出不同的解决方法和应用技巧。 在视频调试过程中，常见的问题是图像无彩色和图像偏色。对于图像无彩色现象，可通过会议终端控制软件中的参数设置来加以解决;对于图像偏色现象，要通过白平衡调整来校正因光源的色温变化而引起的图像偏色。会场中应避免使用混合光(室内照明光源、室外阳光的直射和散射)作为照明光源，不同色温的光源混合使用，将得不到理想的色彩还原，因此要尽量避免在会场中存在两种以上不同色温的光源。若使用视频会议摄像机，可通过重启的方法加以排除;若使用专业摄像机，可通过白平衡调整来加以解决，具体方法是：根据会场照明光源的色温选择合适的色温滤色片，采用自动白平衡调整，以保证准确的色彩还原。 在召开会议期间，要显示各地分会场的画面，若分会场采用“推”、“拉”、“摇”技巧来拍摄，存在问题的具体表现为运动画面不连贯、运动速度不均匀、落幅画面不到位。“推”是把视线逐渐接近被摄对象，由整体引向局部，突出整体中的某一部分;“拉”是由局部引向整体，说明某一局部所处的环境;“摇”分为左摇和右摇。“推”和“拉”是在同一镜头内包含有特写、近景、中景、全景画面，强调落幅，因此落幅的画面构图尤其重要，这是衡量画面是否到位的标准。不论采用哪种拍摄技巧，都要确保画面的稳定性和连续性，都要以稳定的画面作为起幅，并以稳定的画面作为落幅，并要有足够长的时间来保证画面的相对静止，这是人们心理要求和镜头组接所需要的。无目的地急推、急拉、突然变速、中途停止等，都会使观众造成视觉感受异常和动荡不安的感觉，其主要原因是操作失误和画面延滞效应所造成的。 对于采用会议终端控制软件进行控制的，要采用手动方式进行。比如，若要进行“推”(或拉)的动作，先构好落幅的画面，然后“拉”(或推)到全景，当总控室切换到本端的画面后，再按下鼠标，在落幅处松开鼠标;若要进行“摇”的动作，先构好落幅的画面，当总控室切换到本端的画面后，再按下鼠标进行左摇或右摇，在落幅处松开鼠标。但在实际操作中，由于摄像机的机位所限制，“摇”动作的落幅画面不太理想。对于采用专业摄像机控制的，要采用电动变焦方式进行，按下T(推)或W(拉)即可完成所需要的拍摄技巧。由于按压变焦钮
线性插值算法实现图像缩放详解 在Windows中做过图像方面程序的人应该都知道Windows的GDI有?个API函数：StretchBlt，对应在VCL中是 TCanvas类的StretchDraw方法。它可以很简单地实现图像的缩放操作。但问题是它是用了速度最快，最简单但效果也是最差的“最近邻域法”，虽然在大多数情况下，它也够用了，但对于要求较高的情况就不行了。 不久前做了?个小玩意儿，用于管理我用DC拍的?堆照片，其中有?个插件提供了缩放功能，目前的版本就是用了StretchDraw，有时效果不能令人满意，我?直想加入两个更好的：线性插值法和三次样条法。经过研究发现三次样条法的计算量实在太大，不太实用，所以决定就只做线性插值法的版本了。 从数字图像处理的基本理论，我们可以知道：图像的变形变换就是源图像到目标图像的坐标变换。简单的想法就是把源图像的每个点坐标通过变形运算转为目标图像的相应点的新坐标，但是这样会导致?个问题就是目标点的坐标通常不会是整数，而且像放大操作会导致目标图像中没有被源图像的点映射到，这是所谓 “向前映射”方法的缺点。所以?般都是采用“逆向映射”法。 但是逆向映射法同样会出现映射到源图像坐标时不是整数的问题。这里就需要“重采样滤波器”。这个术语看起来很专业，其实不过是因为它借用了电子信号处理中的惯用说法（在大多数情 况下，它的功能类似于电子信号处理中的带通滤波器），理解起来也不复杂，就是如何确定这个非整数坐标处的点应该是什么颜色的问题。前面说到的三种方法：最近邻域法，线性插值法和三次样条法都是所谓的“重采样滤波器”。 所谓“最近邻域法”就是把这个非整数坐标作?个四舍五入，取最近的整数点坐标处的点的颜色。而“线性插值法”就是根据周围最接近的几个点（对于平面图像来说，共有四点）的颜色作线性插值计算（对于平面图像来说就是二维线性插值）来估计这点的颜色，在大多数情况下，它的准确度要高于最近邻域法，当然效果也要好得多，最明显的就是在放大时，图像边缘的锯齿比最近邻域法小非常多。当然它同时还带业个问题：就是图像会显得比较柔和。这个滤波器用专业术语来说（呵呵，卖弄?下偶的专业^_^）叫做：带阻性能好，但有带通损失，通带曲线的矩形系数不高。至于三次样条法我就不说了，复杂了?点，可自行参考数字图像处理方面的专业书籍，如本文的参考文献。 再来讨论?下坐标变换的算法。简单的空间变换可以用?个变换矩阵来表示： [x’,y’,w’]=[u,v,w]*T 其中：x’,y’为目标图像坐标，u,v为源图像坐标，w,w’称为齐次坐标，通常设为1，T为?个3X3的变换矩阵。 这种表示方法虽然很数学化，但是用这种形式可以很方便地表示多种不同的变换，如平移，旋转，缩放等。对于缩放来说，相当于： [Su 0 0 ] [x, y, 1] = [u, v, 1] * | 0 Sv 0 | [0 0 1 ] 其中Su,Sv分别是X轴方向和Y轴方向上的缩放率，大于1时放大，大于0小于1时缩小，小于0时 反转。 矩阵是不是看上去比较晕？其实把上式按矩阵乘法展开就是： { x = u * Su
数字图象处理技术在电子通信与信息处理领域得到了广泛的应用，设计一种功能灵活、使用方便、便于嵌入到监控系统中的视频信号采集电路具有重要的实用意义。 在研究基于DSP的视频监控系统时，考虑到高速实时处理及实用化两方面的具体要求，需要开发一种具有高速、高集成度等特点的视频图象信号采集监控系统，为此监控系统采用专用视频解码芯片和复杂可编程逻辑器件(CPLD)构成前端图象采集部分。设计上采用专用视频解码芯片，以CPLD器件作为控制单元和外围接口，以FIFO为缓存结构，能够有效地实现视频信号的采集与读取的高速并行，具有整体电路简单、可靠性高、集成度高、接口方便等优点，无需更改硬件电路，就可以应用于各种视频信号处理监控系统中。使得原来非常复杂的电路设计得到了极大的简化，并且使原来纯硬件的设计，变成软件和硬件的混合设计，使整个监控系统的设计增加柔韧性。 1 监控系统硬件平台结构 监控系统平台硬件结构如图1所示。整个监控系统分为两部分，分别是图象采集监控系统和基于DSP主监控系统。前者是一个基于SAA7110A/SAA7110视频解码芯片，由复杂可编程逻辑芯片CPLD实现精确采样的高速视频采集监控系统；后者是通用数字信号处理监控系统，它主要包括：64K WORD程序存储器、64K WORD数据存储器、DSP、时钟产生电路、串行接口及相应的电平转换电路等。 监控系统的工作流程是，首先由图象采集监控系统按QCIF格式精确采集指定区域的视频图象数据，暂存于帧存储器FIFO中；由DSP将暂存于FIFO中的数据读入DSP的数据存储器中，与原先的几帧图象数据一起进行基于H.263的视频数据压缩；然后由DSP将压缩后的视频数据平滑地从串行接口输出，由普通MODEM或ADSL MODEM传送到远端的监控中心，监控中心的PC机收到数据后进行相应的解码，并将还原后的视频图象进行显示或进行基于WEB的广播。 2 视频信号采集监控系统 2.1 视频信号采集监控系统的基本特性 一般的视频信号采集监控系统一般由视频信号经箝位放大、同步信号分离、亮度/色度信号分离和A/D变换等部分组成，采样数据按照一定的时序和总线要求，输出到数据总线上，从而完成视频信号的解码，图中的存储器作为帧采样缓冲存储器，可以适应不同总线、输出格式和时序要求的总线接口。 视频信号采集监控系统是高速数据采集监控系统的一个特例。过去的视频信号采集监控系统采用小规模数字和模拟器件，来实现高速运算放大、同步信号分离、亮度/色度信号分离、高速A/D变换、锁相环、时序逻辑控制等电路的功能。但由于监控系统的采样频率和工作时钟高达数十兆赫兹，且器件集成度低，布线复杂，级间和器件间耦合干扰大，因此开发和调试都十分困难；另一方面，为达到精确采样的目的，采样时钟需要和输人的视频信号构成同步关系，因而，利用分离出来的同步信号和监控系统采样时钟进行锁相，产生精确同步的采样时钟，成为设计和调试过程中的另一个难点。同时，通过实现亮度、色度、对比度、视频前级放大增益的可编程控制，达到视频信号采集的智能化，又是以往监控系统难以完成的。关于这一点，在监控系统初期开发过程中已有深切体会[1]。 基于以上考虑，本监控系统采用了SAA7110A作为视频监控系统的输入前端视频采样处理器。 2.2 视频图象采集监控系统设计 SAA7110/SAA7110A是高集成度、功能完善的大规模视频解码集成电路[2]。它采用PLCC68封装，内部集成了视频信号采样所需的2个8bit模/数转换器，时钟产生电路和亮度、对比度、饱和度控制等外围电路，用它来替代原来的分立电路，极大地减小监控系统设计的工作量，并通过内置的大量功能电路和控制寄存器来实现功能的灵活配置。
视频压缩算法对比 视频2008-05-23 10:10:09 阅读557 评论0 字号：大中小订阅 视频压缩标准及比较原始的数字视频信号的数据量是相当惊人的，例如，NTSC 图像以大约640X480的分辨率，24bist/象素，每秒30帧的质量传输时，则视频数据有640X480x24X30=221Mb/S或28MB/s秒，显然这样庞大的数据流对大多数传输线路来说是无法承受的，而且也是无法存储的。为此人们开始专门研究将这些视频、音频数据流进行压缩。很多压缩编码标准相继推出，主要有JPEG月吐一JPEG‘，幻，_H.261旧.263和MPEG等标准。其中JPEG标准主要是用在静止图像的压缩。M一PJEG是将PJEG改进后用到运动图像上，在压缩比不高时，有较好的复现图像质量，但占用存储空间大;在压缩比高的情况下，复现图像质量差。.H261爪.263标准是专门为用于图像质量要求不高的视频会议和可视电话设计。MpEG(MovnigPictureExPertGorPu即活动图像专家组)。它是由150(国际标准化组织)和正(c国际电工委员会)于1988年联合成立的。专门致力于运动图像及伴音编码标准化工作。它们推出了MPEG编码标准【1卜，1l。到现在为止，专家组己制定了MPEG一1，MPEG一2和MPEG一4三种标准，由于其标准化、较大的压缩比及较高的画面质量，成为视频压缩系统首选算法。 MPEGI是一种压缩比高但图像质量稍差的技术;而MPEGZ技术主要专注于图像质量，压缩比小，因此需要的存储空间就大;MPEG4技术是时下比较流行的技术，使用这种技术可以节省空间、提高图像质量、节省网络传输带宽等优点。 来自：https://www.doczj.com/doc/251171824.html,/blog/static/80720305200842310109120/
一、基于matlab图像缩小算法 缩小算法与放大算法不同，图像缩小是通过减少像素个数来实现的。因此，需要根据缩小的尺寸来选择合适的像素点，使得图像缩小后尽可能保持源图像特征。基于等间隔采样的缩小算法。 这种算法是通过对图像像素的均匀采样来保持所选择的像素仍旧保持像素的概貌特征。 算法1通过matlab实现可得： function small=big2small(A,h,l) [m,n]=size(A); k1=m/h;k2=n/l; small=zeros(h,l); for i=1:h for j=1:l i0=i*k1;j0=j*k2; i1=floor(i0+0.5); j1=floor(j0+0.5); small(i,j)=A(i1,j1); end end end 1、基于局部均值的缩小算法。 这种算法通过采样间隔dx，dy将原图像矩阵分割为一系列小的矩阵，并计算这些小矩阵的元素的和，再求其均值赋给目标矩阵相应的像素。这样就避免了算法1中某些未取到的元素不能将其信息反映到目标矩阵的缺点。 算法2通过matlab实现可得： function small=big2small2(A,h,l) [m,n]=size(A); %获得矩阵A大小 A=im2double(A); small=zeros(h,l); for i=1:h for j=1:l sum=0; i1=round((m/h).*(i-1)+1); %将矩阵分块 j1=round((n/l).*(j-1)+1); %i1,j1为矩阵小块左上角元素下标 i2=round((m/h).*i); j2=round((n/l).*j); %i2,j2为矩阵小块右下角元素下标 for ii=i1:i2 for jj=j1:j2 sum=sum+A(ii,jj); %计算矩阵内元素值的和 end end small(i,j)=sum/((i2-i1+1).*(j2-j1+1)); %将均值赋给目标矩阵 end end end
任意比例视频图像放大算法的研究与实现 摘要：随着多媒体信息技术的发展，针对视频信号的处理技术应运而生。其中实时缩放正是视频信号处理技术的关键。对于图像缩放，所用数学模型的优劣会直接影响用户观看图像的质量。在视频处理中，图像的缩放算法不仅影响视频质量，而且算法的处理速度也会影响视频流的显示，从而影响用户观看的连续性。本文针对视频信号对处理速度和精度的要求，采用只对亮度信号进行复杂处理的方法。分析图像边缘区域的特性，并通过数学推导，在边缘区域的插值中设计四个模板，从而设计改进的视频缩放算法。实验结果表明，本设计的视频信号缩放算法在主观视觉上保持了图像纹理细节和边缘信息。客观评价中，本算法处理得到的图像高频分量丢失少，且保证较好的低频分量处理效果；平均峰值信噪比较双线性插值提高0.24dB。 关键词：视频信号；图像处理；缩放；边缘 ABRSTRACT：With the rapid development of multimedia information technology，video signal's processing technology emerges at that time. Video’s real-time scaling is the key issue in video signal's processing technology. For image scaling，the mathematical model affects the picture’s visual quality. In video processing，not only the scaling algorithm influences the video’s quality，but also the alg orithm’s performance affects the display of the video so that influences the video playing smoothly.Due to the speed and precision demanded in video signal’s processing，only employ the proposed algorithm in Y channel signal. Under the analysis on the characteristic of the edge in image，four scaling masks are deduced mathematically. This paper issues a lot of experiments on the infrastructure of the theoretical study，which show that the video signal's scaling algorithm designed in this paper has obtained the better effectiveness than traditional algorithms. Our design keeps texture details in subjective vision，raises the PSNR 0.24dB on average，and it has well performance in both high and low frequency component in spectrum at the same. This is satisfied with the designated target of the project. Key words: video signals; image processing; scaling; edge 1 绪论 1.1 研究背景及意义 信息技术和互联网发展到今天，多媒体信息技术的应用范围日趋广泛，多媒体信息包括音频数据、图像和视频数据及文字数据。而人类获取的各种信息中，图像信息占有绝大部分，图像带给人们直观并具体的事物形象，这是声音、语言和文字不能比拟的。 人眼看到的是连续变化的景物，是模拟图像，而在数字设备中存储和显示的图像是经过采样和量化的数字图像。为满足人类视觉和实现信息传输的需求，针对图像和视频信息的实时缩放技术在生活中起着不可忽略的作用[1]。 视频图像的后期缩放处理势必将会作为显示呈现在终端之前的一个重要环节。无论其输入视频信源的分辨率大小尺寸多少，最终都应该以用户的实际物理显示设备的最佳观看分辨率作为显示输出结果，通常由于带宽有限的关系，该显示过程通常以放大为主，即输入视频图像分辨率小于输出分辨率。为了满足不同终端用户对图像尺寸的需求，改变图像尺寸的缩放技术应运而生。 图像缩放是数字图像处理中非常重要的技术之一。对于网络传输的图像，由于客观条件的种种限制，想要快速地传输高分辨率的图像一般难以达到，同时由于硬件性能的限制，图片往往也无法满足所需要的分辨率，而硬件的改进却需要复杂的技术并付出昂贵的代价，所以如果能够从软件技术方面进行改进，采用图像插值技术提高图像质量来达到所期望的分辨率和清晰度，其具有的实用意义将是十分重大的。因此，利用插值的方法将低分辨率图像插值放大成高分辨率图像就成为人们追求的目标。 用图像缩放算法进行处理时，存在一对相悖的要素：图像处理速度和图像精度。一般情况下，要想获得比较高的速度甚至达到实时的图像输出速率，只能采用相对来说运算量比较简单的缩放算法；而如果要想获得处理效果比较好的图像，就只能考虑牺牲处理速度，采用计算量大、比较复杂的缩放算法。图像缩
基于arm的视频图像采集系统 摘要：本系统采用了Samsung公司生产的S3C2440芯片作为嵌入式处理器，再结合系统所需的外围硬件构成基本硬件电路。主要包括二大部分：处理器和存储器部分；电源时钟复位电路部分；外围接口电路部分。在对各部分硬件进行详细设计后，接下来详细介绍了嵌入式软件平台的构建，包括如何移植Linux操作系统：基于嵌入式Linux下USB接口摄像头视频设备采集；移植H.264视频压缩库和视频传输程序的编写。 1 抓拍系统开发环境的构建 本文所设计的采集系统按功能可划分为嵌入式主控模块、视频采集模块、网络传输模块、等三大部分。图1-1为本系统的系统框架图: 1. USB数字摄像头采集图像数据: 2.采集传输应用程序通过摄像头驱动从摄像头获取到采集的图像数据: 3.采集传输应用程序调用H.264编码库对图像数据进行压缩: 4.采集传输应用程序将压缩后的图像数据通过网络传输给windows PC上 的显示程序: 5. Windows上的显示程序对图像数据进行解码并显示: 图1-1软件架构图 本系统的嵌入式主控模块是基于Samsung公司生产的S3C2440这款处理器，主要作用是实现对各模块数据的响应、处理以及控制。在硬件上，主控模块包括电源、时钟、复位电路、存储模块、以太网接口电路等。在软件上，主控模块上运行Linux操作系统，管理各应用程序模块进程并调度各进程。
1.1采集系统的硬件平台设计 本系统的核心处理器为二星公司的S3C2440，外扩64M的SDRAM存储器以及64M 的FLASH存储器，外围接口电路模块:包括USB接口电路，以太网网卡DM9000接口电路以及网眼3000的数字摄像头等。本系统的硬件结构如图1-2所示。 图1-2系统硬件架构图 1.1.1电源、时钟模块设计 系统各部分硬件要求提供1.8V和3V的电压。其中S3C2440处理器内核需要提供1.8V 电源，NandFlash, SDRAM及DM9000等芯片需要提供3V电源，所以本系统采用了LM1117-3.3和LM1117-1.8电压转换芯片设计稳压电源，得到1.8V和3.3V的所需电压。USB 控制器需要提供5V的电源。本文采用了5V直流电压供电。LM1117是一个低压差电压调节器系列。其压差在1.2V输出，负载电流为800mA时为1.2V 。LM1117有5个固定电压输出(1.8V, 2.5V, 2.85V, 3.3V和5V)的型号。根据本系统的需要，这里选用了电压输出为1.8V 和3.3V两型号。 时钟电路为CPU和其它外围电路提供精准的工作时钟，按照电路中设计使用的器件特性分为有源和无源晶振，在本系统的设计电路中采用的是无源晶振。ARM芯片均提供时钟发生电路，结合一定的辅助电路的配合就可以得到所需要的时钟信号。基十ARMS的这款S3C2440芯片的时钟控制逻辑可以产生为CPU核供给时钟信号的FCLK、为AHB总线供给时钟信号的HCLK、为APB总线供给时钟信号的PCLK。 1.1.2外部存储器的扩展 S3C2440微处理器存储空间仅有32M，应用于本系统，需要外扩存储器。本设计采用两片二星公司的HY57V561620来扩展64M的SDRAM。它们均4M* 16bit*4bank的SDRAM 芯片，这样，两片SDRAM实现了位扩展，数据总线达到了32bit，构成64M寻址空间。图1-3为S3C2440与NandFlash的接口图。
视频交通流信息采集系统解决方案 1概述 视频交通流信息采集系统主要包括视频图像采集设备、视频传输网络、交通流视频检测器等。视频检测器采用虚拟线圈技术，利用边缘信息作为车辆的检测特征，实时自动提取和更新背景边缘，受环境光线变化和阴影的影响较小；同时采用动态窗的方式来进行车辆计数，解决了采用以往固定窗方式进行车辆计数时由于车辆变道而导致的错误、重复计数问题。视频检测器能对视频图像采集设备或交通电视监视系统的视频信号自动进行检测，主要采集道路的微观交通信息如流量、速度、占有率、车辆间距、排队长度等，适用于近景监控模式。 2系统功能及特点介绍 2.1数据接口设计 视频交通流信息采集系统可以通过调用本项目提供的交通流数据统一接入接口，或由本项目提供数据格式标准化及上传程序，将采集到的交通流数据共享给本项目相关系统，以实现视频交通流数据的采集功能。 图1 数据接口设计 2.2系统功能 交通流信息视频检测系统的主要功能如下： （1）车辆检测 系统能够对输入的视频流图像进行车型、车牌等特征检测。
（2）交通流数据采集功能 系统可以采集交通流数据包括交通流量、平均车速、车道占有率、车型、平均车头间距、车辆排队长度、车辆密度、交通流状态等，交通流数据采集时间间隔在1～60分钟任意可调。 图 2 视频交通流检测模块 （3）视频图像跟踪功能 系统能对单路监控前端设备在不同预置位采集的视频图像进行不同区域不同事件的自动检测。一旦检测到特定的交通事件，事件检测器应具有该交通事件的视频图像目标自动跟踪、记录、分析功能。 当输入的视频图像不为设定的预置位的视频图像，系统应能自动不进行事件检测。一旦监控前端设备恢复至设定的预置位，系统应能自动进行事件检测。 （4）事件图像抓拍、录像功能 系统可以根据用户的设置，完成相应的录像和图片抓拍功能。 事件录像可以按摄像机、按事件类型、按时间归档存储在系统的预录像子系统中，由系统服务器进行统一的管理调用。 系统循环进行录像，当发生交通异常事件时，系统能够提供事发之前和之后的3分钟间的录像（可设置）。 系统可通过多种组合查询条件对视频交通流检测所采集的数据进行统计，包括时间-流量统计、时间-平均车速统计、时间-占有率统计、速度-流量统计等；统计结果可导出为
视频压缩格式的分析和对比（MJPEG、MPEG-4、H.264等） 时间：2011-08-06 点击数：1977 视频压缩格式的分析和对比（MJPEG、MPEG-4、H.264等） 1．H.261 H.261又称为P*64，其中P为64kb/s的取值范围，是1到30的可变参数，它最初是针对在ISDN上实现电信会议应用特别是面对面的可视电话和视频会议而设计的。实际的编码算法类似于MPEG算法，但不能与后者兼容。H.261在实时编码时比MPEG所占用的CPU运算量少得多，此算法为了优化带宽占用量，引进了在图像质量与运动幅度之间的平衡折中机制，也就是说，剧烈运动的图像比相对静止的图像质量要差。因此这种方法是属于恒定码流可变质量编码而非恒定质量可变码流编码。 2．H.263 H.263是国际电联ITU-T的一个标准草案，是为低码流通信而设计的。但实际上这个标准可用在很宽的码流范围，而非只用于低码流应用，它在许多应用中可以认为被用于取代H.261。H.263的编码算法与H.261一样，但做了一些改善和改变，以提高性能和纠错能力。.263标准在低码率下能够提供比H.261更好的图像效果，两者的区别有：(1)H.263的运动补偿使用半象素精度，而H.261则用全象素精度和循环滤波；(2)数据流层次结构的某些部分在H.263中是可选的，使得编解码可以配置成更低的数据率或更好的纠错能力；(3)H.263包含四个可协商的选项以改善性能；(4)H.263采用无限制的运动向量以及基于语法的算术编码；(5)采用事先预测和与MPEG中的P-B帧一样的帧预测方法；(6)H.263支持5种分辨率，即除了支持H.261中所支持的QCIF和CIF外，还支持SQCIF、4CIF和16CIF，SQCIF相当于QCIF一半的分辨率，而4CIF和16CIF分别为CIF的4倍和16倍。 1998年IUT-T推出的H.263＋是H.263建议的第2版，它提供了12个新的可协商模式和其他特征，进一步提高了压缩编码性能。如H.263只有5种视频源格式，H.263＋允许使用更多的源格式，图像时钟频率也有多种选择，拓宽应用范围；另一重要的改进是可扩展性，它允许多显示率、多速率及多分辨率，增强了视频信息在易误码、易丢包异构网络环境下的传输。另外，H.263＋对H.263中的不受限运动矢量模式进行了改进，加上12个新增的可选模式，不仅提高了编码性能，而且增强了应用的灵活性。H.263已经基本上取代了H.261。 二、M-JPEG M-JPEG（Motion- Join Photographic Experts Group）技术即运动静止图像（或逐帧）压缩技术，广泛应用于非线性编辑领域可精确到帧编辑和多层图像
I.J. Image, Graphics and Signal Processing, 2013, 5, 55-62 Published Online April 2013 in MECS (https://www.doczj.com/doc/251171824.html,/) DOI: 10.5815/ijigsp.2013.05.07 A Comparative Analysis of Image Scaling Algorithms Chetan Suresh Department of Electrical and Electronics Engineering, BITS Pilani Pilani - 333031, Rajasthan, India E-mail: shivchetan@https://www.doczj.com/doc/251171824.html, Sanjay Singh, Ravi Saini, Anil K Saini Scientist, IC Design Group, CSIR – Central Electronics Engineering Research Institute (CSIR-CEERI) Pilani – 333031, Rajasthan, India Abstract—Image scaling, fundamental task of numerous image processing and computer vision applications, is the process of resizing an image by pixel interpolation. Image scaling leads to a number of undesirable image artifacts such as aliasing, blurring and moiré. However, with an increase in the number of pixels considered for interpolation, the image quality improves. This poses a quality-time trade off in which high quality output must often be compromised in the interest of computation complexity. This paper presents a comprehensive study and comparison of different image scaling algorithms. The performance of the scaling algorithms has been reviewed on the basis of number of computations involved and image quality. The search table modification to the bicubic image scaling algorithm greatly reduces the computational load by avoiding massive cubic and floating point operations without significantly losing image quality. Index Terms—Image Scaling, Nearest-neighbour, Bilinear, Bicubic, Lanczos, Modified Bicubic I.I NTRODUCTION Image scaling is a geometric transformation used to resize digital images and finds widespread use in computer graphics, medical image processing, military surveillance, and quality control [1]. It plays a key role in many applications [2] including pyramid construction [3]-[4], super-sampling, multi-grid solutions [5], and geometric normalization [6]. In surveillance-based applications, images have to be monitored at a high frame rate. Since, the images need not be of the same size, image scaling is necessary for comparison and manipulation of images. However, image scaling is a computationally intensive process due to the convolution operation, which is necessary to band-limit the discrete input and thereby diminishes undesirable aliasing artifacts [2]. Various image scaling algorithms are available in literature and employ different interpolation techniques to the same input image. Some of the common interpolation algorithms are the nearest neighbour, bilinear [7], and bicubic [8]-[9]. Lanczos algorithm utilizes the 3-lobed Lanczos window function to implement interpolation [10]. There are many other higher order interpolators which take more surrounding pixels into consideration, and thus also require more computations. These algorithms include spline [11] and sinc interpolation [12], and retain the most of image details after an interpolation. They are extremely useful when the image requires multiple rotations/distortions in separate steps. However, for single-step enlargements or rotations, these higher-order algorithms provide diminishing visual improvement and processing time increases significantly. Novel interpolation algorithms have also been proposed such as auto-regression based method [13], fuzzy area-based scaling [14], interpolation using classification and stitching [15], isophote-based interpolation [16], and even interpolation scheme combined with Artificial Neural Networks [17]. Although these algorithms perform well, they require a lengthy processing time due to their complexity. This is intolerable for real-time image scaling in video surveillance system. Hence, these algorithms have not been considered for the comparative analysis in this paper. In this paper, firstly, image interpolation algorithms are classified and reviewed; then evaluation and comparison of five image interpolation algorithms are discussed in depth based on the reason that evaluation of image interpolation is essential in the aspect of designing a real-time video surveillance system. Analysis results of the five interpolation algorithms are summarized and presented. II.I MAGE S CALING Image scaling is obtained by performing interpolation over one or two directions to approximate a pixel’s colour and intensity based on the values at neighbouring
DSP实习报告 题目：图像采集系统的设计 班级：xxx 姓名：xxx 学号：xxx 指导老师：xxxx
目录 一.实习题目 (3) 二.实习背景知识 (3) 三.实习内容 (5) 四.实习程序功能与结构说明 (8) 六．实习心得 (19)
一、实习题目 图像采集系统的设计 二、实习目的： 1、熟练掌握数字信号处理的典型设计方法与技术手段； 2、熟悉D6437视频输入，输出端的操作及编程。； 3、掌握常用电子仪器设备的使用方法； 4、熟悉锐化变换算法。 三、实习背景知识 1、计算机 2、CCS3.3.软件 3、DSP仿真器 4、EL_DM6437平台 EL-DM6437EVM是低成本，高度集成的高性能视频信号处理开发平台，可以开发仿真达芬奇系列DSP应用程序，同时也可以将该产品集成到用户的具体应用系统中。方便灵活的接口为用户提供良好的开放平台。采用该系列板卡进行产品开发或系统集成可以大大减少用户的产品开发时间。板卡结构框图如图所示：
板卡硬件资源： TMS320DM6437 DSP ，可工作在400/600 MHz； 2 路视频输入，包括一个复合视频输入及一个S端子视频输入； 保留了视频输入接口，可以方便与CMOS影像传感器连接； 3 路视频输出，包括2路复合视频，一路S端子输出； 128MByte 的DDR2 SDRAM存储器，256MBit的Nor Flash存储器；用户可选的NAND Flash接口； 可选的256K字节的I2C E2PROM； 1个10M/100Mbps自适应以太网接口； 1 路立体声音频输入、1路麦克风输入，1路立体声音频输出； USB2.0高速接口，方便与PC连接； 1个CAN总线、1个UART接口、实时时钟（带256Byte的电池保持RAM）；4个DIP开关，4个状态指示LED； 可配置的BOOT模式； 10层板制作工艺，稳定可靠； 标准外部信号扩展接口； JTAG仿真器接口； 单电源+5V供电； 板卡软件资源：
把小图片放大且不降低质量的技巧
把小图片放大且不降低质量的技巧 这是《数码照片专业处理技法》一书中介绍的一个技巧，作者是Scott Kelby，他描述了数码摄影大师Jim Divitale使用的一种技巧。这种技巧据说能够把数码相机图像增大到整个海报大小，而用肉眼几乎看不出图像质量的降低。是不是如此呢？大家看看吧。 1.启动Photoshop，然后打开一幅图像。 2.选择“图像大小”命令，依下图设置。注意两个地方：一是要勾选“重定像素”，并把插补方法设定为“两次立方”，二是把文档大小的单位设置为百分比，并且只采用110这个百分比，这将把图像增大10%。信不信由您，当以10%的增量增大图像时，由于某种原因，似乎不会使图像变模
糊和柔和。很奇怪也很有趣。 3.要把图像增大到海报大小需要很多遍，因此最好把上述操作过程定义成一个动作。每执行一次动作，图像增大10%。大概要执行这样的动作10到15遍。 4.增大后的图像。是不是如此呢？
有时我们不得不要将一些尺寸较小的珍贵资料图片进行放大使用时会发现，如果直接放大的倍数稍大一些，画面往往会变得模糊不清，出现很多小马赛克状的杂点，边缘也会有相当明显的锯齿，效果惨不忍睹。那么，能不能在放大小图片时尽量减少这些失真现象，让小图片也能做成大海报呢？这里为大家介绍两种行之有效的方法来试一试。 在Photoshop中“小幅多次”放大图片 1.打开要处理的图片，点击“图像→图像大小”，在图像大小对话框中，将“宽度”和“高度”的计量单位从默认的“英寸”改为“百分比”，并在“宽度”处输入110，表示将图像增大10％，勾选“重定图像像素”，并将图像插值方法选择为“两次立方
课程设计任务书 题目: 通信工程应用技术 初始条件： MATLAB 软件，电脑 要求完成的主要任务: 设计视频压缩系统中的运动估计算法：全搜索法（FS: Full Search）和三步法(TSS: Three Step Search)，比较二种方法的搜索点和每帧的峰值信噪比（PSNR： peak signal to noise ratio） 要求：编制算法代码；对视频进行运动估计；计算PSNR 时间安排： 指导教师签名： 2013 年月日系主任（或责任教师）签名： 2013 年月日 目录
摘要 ........................................................................ I Abstract.................................................................... II 1 设计任务 (1) 2 实验原理及基本思想 (2) 2.1 实验原理 (2) 2.2基本思想 (2) 3 运动估计算法 (3) 3.1全搜索算法 (3) 3.1.1全搜索算法及程序流程图 (3) 3.1.2全搜索的特点 (4) 3.2三步法 (4) 3.2.1三步法的方法 (4) 3.2.2三步法的特点 (4) 1.搜索范围为[-7,7]； (4) 4 仿真结果 (6) 4.1全搜索算法仿真结果 (6) 4.2三步法算法仿真结果 (6) 4.3全搜索算法和三步法指标对比 (12) 4.3.1全搜索算法指标 (12) 4.3.2三步法指标 (12) 4.4仿真结果分析 (12) 5 心得体会 (13) 6 参考文献 (14) 试验程序 (15) 附录： ..................................................... 错误！未定义书签。