先进技术专题讲座报告
题目视频超分辨率重建
专业、班级
学生姓名
学生学号
2013 年 12月 01日
摘要
随着视频和图像处理技术的飞速发展，人们对高分辨率视频和图像序列的需求越来越强烈。高分辨率图像能提供目标的更多细节信息，对于图像的分析和处理有重要作用。然而在某些应用场合，由于光学物理器件、处理器性能、信道传输带宽或存储容量等的限制，人们获得图像的分辨率往往较低，并且无法或很难通过直接方式突破这些限制。因此，如何在现有条件限制下，提高图像和视频序列的空间分辨率，就成为人们研究的重点。
视频超分辨率重建技术是近年图像处理与计算机视觉的研究热点之一,目前,视频超分辨率重建中使用较广的是视频重建模型,但由于该方法未对边界帧进行考虑,不能对视频中的每一帧进行重建。每一帧图像的超分辨率重建主要包括配准和重建2 个过程,其中配准算法的精度直接关系到重建视频的质量。配准算法主要包括频率域和空间域两大类,总体而言,空间域方法适用于更为普通的运动模型,但在大运动情况下将会产生较大误差。重建算法主要包括非均匀内插法、迭代反投影法、集合论方法、最大后验概率估计法和自适应滤波法等。由于迭代反投影算法具有计算量小、收敛速度快、算法简洁和可自动降噪等优点,被有效地应用于视频超分辨率重建中。
超分辨率重建是采用软件方法对图像或者视频进行一系列的分析处理，提高图像或视频分辨率的一种数字图像处理技术。利用超分辨率重建技术能够在不升级现有采集设备的情况下，提高采集图像的分辨率；也能够在不增加传输信号带宽的情况下，改善图像或视频的画面质量。因此，超分辨率重建技术具有良好的研究价值和广泛的应用前景。
在获取视频过程中，有许多因素会导致视频质量的退化，使得视频的空间分辨率降低；而摄像机曝光时间和拍摄帧率又限制了视频的时间分辨率。视频超分辨率重建是一种能有效提高视频时间分辨率和空间分辨率的方法，已经在计算机视觉和图像处理等领域引起了广泛关注。详细阐述了视频超分辨率重建研究的概念和必要性，并较全面地回顾了超分辨率技术近年来的发展历程，对视频超分辨率重建中关键问题进行了较为深入的分析，指出了当今研究难点和今后的研究方向，对视频超分辨率重建的应用前景进行了展望。
关键词：图像处理，超分辨率重建，空间超分辨率，时间超分辨率，帧间配准
目录
摘要 (2)
第一章绪论 (4)
1.1研究背景及意义 (4)
1.2研究现状 (5)
第二章超分辨率技术的发展历程 (6)
2.1 静态图像超分辨率重建 (6)
2.2 单视频超分辨率重建 (6)
2.3 多视频超分辨率重建 (7)
第三章视频超分辨率重建中的关键问题 (7)
3.1 视频退化函数的估计 (7)
3.2 视频帧间配准 (7)
3.3 多个视频的时空对齐 (8)
3.4 视频超分辨率重建方法 (9)
3.5 时空“振铃效应”的消除 (9)
第四章未来应用展望 (10)
参考文献 (10)
第一章绪论
1.1研究背景及意义
在实际的数字图像应用中，为了能对图像进行高质量的后处理和图像分析，通常要求高分辨率图像或者高分辨率视频。图像的分辨率是指一幅图像中所包含的细节信息，图像分辨率越高，则图像拥有的细节就越多。在具体的应用中，图像的分辨率受很多因素限制。首先受限于成像传感器或者成像采集设备。目前典型的成像传感器有CMOS 传感器和CCD 传感器。这些传感器将采集得到的二维图像信号以二维阵列的形式排列。因此，传感器单位面积上传感元素的数量决定了采集图像的分辨率：传感器单元密度越大，则成像系统所采集到的图像分辨率越高。如果成像系统没有足够数量的传感元素，那么采集到的图像将由于较低的空间采样频率而发生混叠现象，即采集到的图像分辨率低且可能伴随块效应。因此，提高图像分辨率的最直接的方式为通过减小传感器单元尺寸来增加传感器密度。但是，减小传感器单元尺寸将同时带来传感器单位面积接收到的光量的减少，这样采集到的图像就会有散粒噪声。所以，传感器单元尺寸有下限值，通过这类手段提高的图像分辨率也有限。图像分辨率还受光学系统的影响，包括镜头模糊、由运动造成的光学模糊、透镜畸变效应等等，这类情况可以通过构造较高级的成像芯片以及光学元件来解决，但是这种做法一方面技术要求较高，并且造价昂贵，不适合大量生产，如不能广泛应用在普通的视频监控或者手机内置摄像头中。即使不考虑造价问题，在一些特殊场合，如卫星摄像，受外在物理环境所限不能采用高分辨率的传感器；视频监控，分辨率受摄像速度及硬件存储容量所限。
考虑到通过硬件方式来提升图像的分辨率存在分辨率提高有限、成本高、技术难度大、易受环境影响等问题，因此提出从软件方式着手，采用信号处理技术，权衡计算量及重建质量，对采集到的较低分辨率图像进行后处理，以提高图像的分辨率，这样一类技术就是超分辨率重建技术（Super-Resolution Reconstruction）。
超分辨率重建就是通过软件的手法，克服低分辨率成像系统的局限性，提高图像分辨率的方法。图1-1 是两组低分辨率图像进行超分辨率重建后的效果图，图1-1（a）中左边一幅图像是低分辨率图像，右边一幅为对其进行超分辨率重建后的高分辨率图像，图1-1（b）同前。对比可以看出，重建后的图像更清晰，噪声也降低了，如字母，边界部分都清晰可见。
（a）（b）
图1-1 低分辨率图像进行2 倍的超分辨率重建结果
实际中所采集到的低分辨率图像，往往不仅仅是高分辨率图像的简单下采样，还会受到光学模糊、运动模糊、噪声污染、混叠等因素影响。因此，超分辨率重建技术是传统图像复原技术的进一步深入，在改变图像尺寸的同时去除图像所受的噪声、模糊等。研究超分辨率重建技术，一方面能够推动图像复原技术的进一步发展，另一方面其研究成果在当今社会的多个邻域都具有普遍的实际应用价值，如在继续使用原有低分辨率成像系统设备的情况下，依然能够获得符合高分辨率要求的图像；在网络传输中，带宽有限，采用超分辨率技术能够实现用较少数据量恢复较大的信息量。目前超分辨率重建的典型应用有
● 视频监控：对监控视频中感兴趣区域进行超分辨率重建以及自动目标识别中的分辨率增强，如交通系统的监控视频中对车牌的图像增强，对犯罪嫌疑人的脸部识别等等。
● 遥感技术：提供一个目标场景的多幅图像，提高目标场景图像的清晰度。
● 军事：用于军事上的目标识别与定位，战场环境监测，打击效果评估等。
● 医学图像：对医学图像，包括电脑断层扫描影像（CT），核磁共振影像（MRT），超声波影像（Ultrasound）等，进行处理提高医用图像的主管质量。
● 视频标准之间的转换：例如将NTSC 制的视频信号通过超分辨率重建技术转化为HDTV 信号。
1.2研究现状
广泛研究的超分辨率重建方法是基于学习的超分辨率重建方法。这类方法首先学习训练图像，生成样本集合，然后利用该样本集合重建图像。为了使基于学习的超分辨率重建方法对各种内容的图像都适用，就要求建立一个较大的样本集合，包含足够的样本。这就导致基于学习的超分辨率重建方法的数据量大，重建速度较慢，不适应实际应用。Chang在其文献中提出了一种邻域嵌入（Neighbor Embedding）的超分辨率重建算法，算法将流形中的局部线性嵌入思想引入到超分辨率重建中，即使在样本集合很小的情况下也能达到较好的重建效果。另外，Yang 等也提出了一种基于块的单幅图像超分辨率重建方法，方法引用压缩感知理论，确保高分辨率信号能由它们的低维投影精确重建。Datsenko 和Elad 将最大后验概率引入到基于学习的超分辨率重建算法中，提出全局最优的超分辨率重建方法。Protter吸收了非局部去噪算法的思想，在待重建图像内部（或者图像序列里）寻找相似特征，以此代替原有学习方法的对其他图像学习，为基于学习的超分辨率重建方法增添了新的思路。由于基于学习的超分辨率重建方法在训练图像的内容与待重建图像的内容相似时，有较好的重建效果，并且只需要改变学习过程就能适应不同的放大倍数。因此，基于学习的超分辨率重建方法在针对一种类型的图像重建上效果较为明显，如文字处理、人脸识别等等。
目前，实现超分辨率重建的广泛应用还面临许多问题和挑战。对于多幅图像的超分辨率重建，图像配准是重建过程中举足轻重的环节，直接影响最终的高分辨率图像重建效果。首先图像配准本身就是一个病态问题，其次在超分辨率重建系统中，由于观察图像是一系列具有严重混叠纹影的低分辨率图像，导致标准的图像配准算法会出现较多的配准误差，反映在重建图像上则会出现很多可见的纹影，这些纹影造成的主观质量下降甚至超过了采用普通插值算法时造成的模糊现象。因此，超分辨率重建中的图像配准难度很大。另外，实际中的图像降质是一个复杂的过程，受到模糊、噪声、运动物体、运动模糊等影响，超分辨率重建的降质模型并不准确，降质模型的参数也很难准确估计，这都直接影响超分辨率的重建效果。而这在一些实际应用中是不能接受的，比如在视频标准转化中出现纹影等现象。因此，超分辨率重建中的降质过程建模以及模型参数估计是研究超分辨率重建的又一关键。另外，目前仍未获知，什么才是对超分辨率重建最为有益的先验知识，特别是在基于学习的超分辨率重建中。最后，衡量超分辨率重建质量的标准也是值得研究的课题。例如，虽然很多时候双立
方内插的客观质量（如PSNR）低于部分超分辨率重建方法，但是从主观上来看，超分辨率重建方法存在更多的锯齿、纹眼、噪声等，与双立方内插相比，反而更不容易为人们所接受。
超分辨率重建是一个复杂的研究工作，它包含很多相互依赖的环节，未来的超分辨率重建研究，需要结合数学、图像处理等更多方面的知识，甚至涉及其他邻域，因此要求研究者在理论分析和重建效果上共同推动超分辨率重建技术的发展。
第二章超分辨率技术的发展历程
2.1 静态图像超分辨率重建
传统的超分辨率概念最早是由Harris 和Goodman于20 世纪60 年代针对图像光学系统提出的，是指恢复单幅图像中因为超出光学系统限带传递函数而丢失的极限分辨率之外的图像信息，这种超分辨率方法被称为Harris-Goodman 频谱外推法。随后Barnes 提出了长球波函数外推法，Gerchberg 提出了能量连续降减法，Wadaka 和Sato 提出了叠加正弦模板法。尽管这些法做出了给人印象深刻的仿真结果，但实际应用中并没有获得理想的效果。
1984 年，Tsai 和Huang提出新的超分辨率概念，即利用同一场景的低分辨率图像序列来重建出一幅高空间分辨率图像。可以认为低分辨率图像代表了同一场景的不同侧面，也就是说低分辨率图像是基于亚像素精度的亚采样。如果不同图像之间仅仅是整数单位的像素平移，那么每幅图像中都包含了相同的信息，这样就不能为高分辨率图像的重建提供新的信息。分析国内外研究者使用的图像序列的超分辨率重建方法，主要包括了频率域方法和空间域方法两大类。频域方法主要包括解混叠重建方法、递归最小二乘法和基于多通道采样定理的方法；空域方法主要包括非均匀插值、迭代反投影、凸集投影(Projection Onto Convex Set，POCS)、最大后验概率估计(Maximum a Posteriori，MAP)、自适滤波法、小波复原法、结合自相关信息的重建方法以及混合MAP/POCS 方法等。从20 世纪80 年代至今，超分辨率技术的研究取得了突破进展，研究成果被应用到了遥感检测、军事侦查、交通及安全监控、医学诊断和模式识别等方面。
2.2 单视频超分辨率重建
近年来，伴随着数字视频采集设备的普及，人们对超分辨率重建技术的研究不再局限于静态图像，而是向视频领域发展，提出了视频超分辨率的概念。单个视频的超分辨率重建是静态图像序列超分辨率重建的延伸和发展，其结合了滑动窗口模型和连续帧间的亚像素级互补信息对每个视频帧进行超分辨率重建，从而重建出一个高空间分辨率的视频。不少研究者已对单视频超分辨率展开了研究，并取得了不少的成果，包括得到了较好的视频帧间配准算法以及各种有效的空间超分辨率重建方法。Borman等提出了一种多帧同步超分辨率视频重构方法，该方法利用了时空平滑约束，获得了较好的重建效果。Tom等提出了一种迭代算法来增强视频的分辨率，这种算法的效果依赖于视频运动估计算法的效果。王新年等提出了一种基于运动轨迹的面向超分辨率图像恢复的配准方法，解决了目标运动幅度变化大和目标在视场中远离镜头或靠近镜头情况下的图像配准问题。JIANG采用了一种光流场方法来准确估计视频帧之间图像信息的运动变化，同时提供了一个稳定有效的机制去检测和剔除会影响超分辨率重建效果的错误图像匹配。
2.3 多视频超分辨率重建
就单视频超分辨率重建而言，相邻帧间亚像素级的冗余信息是有限的，因此限制了空间分辨率的重建倍数，同时单视频超分辨率重建不能解决因视频采集帧率低而引起的混叠现象。因此一些研究者开始引入多视频超分辨率重建的思路，并对由此带来的各种复杂科学问题进行研究。韩玉兵对多视频超分辨率重建框架进行了综合性的阐述。Stein等人利用2 台计算机时钟分别标定目标质心，实现了多视频时间上的配准，但配准精度需要进一步提高。Sharma等人在已实现多视频时间配准的前提下，实现了首帧图像的配准和序列内帧间图像的配准。彭晓明等人也提出了一种多视频时空配准算法，配准精度较高，但对拍摄的视频有一定限制要求。Daniel Hazen等人提出了一种多视频超分辨率重建方法，该方法可应用于多视频监控和多视频压缩方面。Shechtman,Caspi 和Irani共同提出了基于特征的多视频时空配准算法，将时空信息作为一个整体同时计算。他们还提出了基于区域的方法，将高斯金字塔模型推广到视频序列图像上。目前，国内多视频的超分辨率重建技术研究还处于初级阶段，从能够查阅到的参考文献来看，研究者较少。因此，还需要各国研究者们对其进行不断的探索。
第三章视频超分辨率重建中的关键问题3.1 视频退化函数的估计
摄像机成像系统会受各种因素的影响，例如传感器噪声、摄像机聚焦不佳、物体与摄像机之间的相对移动、随机大气湍流、光学系统的象差、成像光源和光线的散射等。这些都会导致视频图像质量的降低，或者说是退化。如果能对低分辨率视频的退化函数进行较准确的估计，将会进一步提高重建图像的质量。另外，在多视频超分辨率重建中，常会存在用不同采集设备采集视频的情况。各个视频来自不同的成像系统，在重建的时候需要考虑多个不同的退化函数以及它们在重建模型中的相互关系。现阶段，较多学者对单一退化模型进行了研究，但对多视频超分辨率重建中退化模型的研究还很少。因此，如何建立更符合实际退化情况的视频退化模型，并找出适合多视频超分辨率重建的退化模型是需要进一步研究的关键问题。
3.2 视频帧间配准
在进行视频的空间超分辨率重建前，首先要进行视频帧间配准，估算出参考帧与待配准帧间的亚像素级运动矢量，而且配准精度直接影响到超分辨率重建的效果。通常将视频帧图像的变换类型分为全局变换、局部变换和位移变换这3 类，同一个视频的帧间变换可能同时包含这几种变换，采用精确的数学函数来反映2 帧图像的映射关系是视频帧间配准的关键。目前，根据利用图像信息的不同可将配准方法分为3 个主要类别：基于灰度信息法、变换域法和基于特征法。基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。这类算法实现简单，但不能用于校正图像的非线性形变，并且运算量较大。变换域中最主要的是傅氏变换方法，在傅
氏变换域中图像的平移、旋转、仿射等变换都有相应的体现，运算复杂度低，但空间局域性较差，而且难以包含空域的先验知识。基于特征的匹配方法首先要对待配准图像进行预处理，也就是图像分割和特征提取的过程，再利用提取得到的特征完成两幅图像特征之间的匹配，通过特征的匹配关系建立图像之间的配准映射关系。这几类配准算法的最终目的都是要对低分辨率视频帧图像进行像素内的运动配准，不可避免地存在一定的误差，从而影响重建视频的质量。因此，提高运动配准算法的精度和扩大算法适用范围在视频超分辨率重建过程中起着至关重要的作用。
3.3 多个视频的时空对齐
多视频时空对齐(又称为多视频时空配准)，是多视频超分辨率重建中的一个重要前提，各个视频间的对齐精度(时间对齐精度和空间对齐精度)也将直接影响到视频重建效果。在对多个视频时空对齐的过程中，通常是将其中1 个视频作为参考视频，然后其它所有视频都与该参考视频进行对齐，所以多视频对齐的本质是2 个视频的对齐。视频对齐主要包括2 个方面的内容：空间对齐和时间对齐。由于不同的视频序列之间可能存在时间差(如摄像机不是同时开始采集)，或摄像机有不同的采集帧率，需要对多个视频进行时间上的对齐。而由于各个摄像机的内部参数(如放大倍数等)，以及架设位置(包括拍摄角度和旋转等)的不同，也需要对获取的视频图像进行空间上的对齐。视频时空对齐是多视频超分辨率重建的基础，它决定了重建后的视频的质量。国内外已有学者对多视频对齐进行了研究，并且取得了一定的成果。但现阶段国际上对多视频对齐进行研究的时候，为了将问题简化，主要假设场景为平面，或者假设多个摄像机之间的距离远小于摄像机到场景的距离(该情况下，场景可类似看成一个平面)。但通常情况下，摄像机之间的距离以及摄像机与场景的角度不一定满足这种假设，所以与实际应用存在一定的差距。各个摄像机与场景之间存在大角度的情况也将成为未来的一个研究方向。
(a) low-resolution sequence (b) low-resolution sequence
(c) reconstructed high- resolution sequence
图2 多视频时空超分辨率重建示意图
3.4 视频超分辨率重建方法
通过摄像机获取低分辨率的视频序列是一个三维时空采样的过程，如果把对应的理想高分辨率的视频序列视为一个完整数据集，那么视频超分辨率重建可看作是用这个观测到的不完整数据集来估计理想的完整数据集，这是一个典型的逆问题，存在着多种可能解。处理这样的问题可以根据先验知识约束解空间，包含平滑度、确定性等约束对获取高质量的超分辨率视频是至关重要的，因此更多的重点应该放在能够包含先验知识的方法上。另外，从公开报道的研究来看，国际上对多视频超分辨率重建算法研究有2 种研究思路：一种是分别在空间和时间上重建，然后再将这2 个视频信息进行融合，得到高时空分辨率的视频；另一种思路是在一个总体框架下进行时空联合重建，直接得到一个高时空分辨率的视频。其中，现有的图像超分辨率重建算法可以运用到第一种思路中，但对视频本身的时空连续性以及视频间的联合特性没能充分利用。如何利用好视频的时空联合信息，提出一个优良的算法来得到一个高质量的重建视频则是未来研究中的一大难点。
3.5 时空“振铃效应”的消除
“振铃效应”的典型表现是在图像灰度剧烈变化的邻域出现类吉布斯分布(满足给定约束条件且熵最大的分布)的振荡，它是影响重建视频质量的一个重要因素。视频空间超分辨率重建中根据重建算法的不同，会出现不同程度的振铃现象，而在视频时间超分辨率重建中也会产生时间上的振铃现象(也称为“鬼影现象”)，这通常直接影响到重建视频的效果。
视频超分辨率重建中，时空振铃效应是一个不可忽视的问题。因为视频帧的连续性，振铃效应在重建视频中比较严重，严重降低了重建视频帧的质量，使得难于对重建视频帧进行后续处理。在当前研究阶段，通常所做的方法是引入正则化条件，以此来提高求解的精度，抑制鬼影的产生。比如以色列的Scheman等从时间和空间上分别引入正则化条件，起到了一
定的作用，但效果不是很明显。此外，当运动物体目标较大的时候，鬼影现象会更加明显。所以，如何解决多视频重建中的振铃现象，特别是时间上的振铃现象，是当前迫切需要解决的一个关键问题。
第四章未来应用展望
视频超分辨率重建是近年来计算机视觉和图像处理等领域的一个研究热点，不仅在理论上具有重要意义，而且在实际应用中也有迫切需求。例如在视频监控方面，银行、车站、机场、居民小区等都会设有多个监控摄像头，通过视频超分辨率技术，可以提高视频质量，方便观察可疑人物及可疑物品的细节信息；在交通管理方面，由于摄像头观测的场景较大，无法获取高速行驶的车辆及过往行人的细节信息，利用多视频超分辨率重建技术，可以对车辆违法或肇事过程进行更详细的重现，并有利于对大场景中的车牌或某个人物面部进行辨识等；在刑侦工作方面，对于案发现场获得的低分辨率视频(例如银行、街道等场合中摄像头拍摄到的视频)，利用视频超分辨率技术，则能提高视频质量，获得犯罪人员的更多的体态信息和面部信息，帮助案件的侦破；在体育运动方面，常常会有许多高速运动的物体需要捕捉(例如高速运动的网球、乒乓球等)，视频超分辨率重建可以帮助我们更清晰地观察这些动态事件的细节。随着视频超分辨率相关理论和技术的发展，必将促进其在各个领域的深入应用，同时这又会进一步给研究工作提出更高的要求。
参考文献
[1] Marco Crisani, Dong Seon Cheng, Vittorio Murino, and Donato Pannullo. Distilling information withsuper-resolution for video surveillance[C]. In Proceedings of the ACM 2nd International Workshop onVideo Surveillance and Sensor Networks, 2004: 2–11
[2] Frank Lin, Clinton B. Fookes, Vinod Chandran, and Sridha Sridharan. Investigation into optical flowsuper-resolution for surveillance applications[C]. In The Austrilian Pattern Recognition Society Workshopon Digital Image Computing, 2005:73-78
[3] Xiuping Jia, Feng Li and Donald Fraser. Universal HMT based super resolution for remote sensing images.In IEEE International Conference on Image Processing, 2008, pages 333–336 [4] J. A. Kennedy, O. Israel, A. Frenkel, R. Bar-Shalom, and A. Haim. Super-resolution in PET imaging[J].IEEE Transactions on Medical Imaging, 2006, 25(2):137–147
[5] J. Maintz and M. Viergever. A survey of medical image registration [J]. Medical Image Analysis, 1998,
先进技术专题讲座报告 题目视频超分辨率重建 专业、班级 学生姓名 学生学号 2013 年 12月 01日
摘要 随着视频和图像处理技术的飞速发展，人们对高分辨率视频和图像序列的需求越来越强烈。高分辨率图像能提供目标的更多细节信息，对于图像的分析和处理有重要作用。然而在某些应用场合，由于光学物理器件、处理器性能、信道传输带宽或存储容量等的限制，人们获得图像的分辨率往往较低，并且无法或很难通过直接方式突破这些限制。因此，如何在现有条件限制下，提高图像和视频序列的空间分辨率，就成为人们研究的重点。 视频超分辨率重建技术是近年图像处理与计算机视觉的研究热点之一,目前,视频超分辨率重建中使用较广的是视频重建模型,但由于该方法未对边界帧进行考虑,不能对视频中的每一帧进行重建。每一帧图像的超分辨率重建主要包括配准和重建2 个过程,其中配准算法的精度直接关系到重建视频的质量。配准算法主要包括频率域和空间域两大类,总体而言,空间域方法适用于更为普通的运动模型,但在大运动情况下将会产生较大误差。重建算法主要包括非均匀内插法、迭代反投影法、集合论方法、最大后验概率估计法和自适应滤波法等。由于迭代反投影算法具有计算量小、收敛速度快、算法简洁和可自动降噪等优点,被有效地应用于视频超分辨率重建中。 超分辨率重建是采用软件方法对图像或者视频进行一系列的分析处理，提高图像或视频分辨率的一种数字图像处理技术。利用超分辨率重建技术能够在不升级现有采集设备的情况下，提高采集图像的分辨率；也能够在不增加传输信号带宽的情况下，改善图像或视频的画面质量。因此，超分辨率重建技术具有良好的研究价值和广泛的应用前景。 在获取视频过程中，有许多因素会导致视频质量的退化，使得视频的空间分辨率降低；而摄像机曝光时间和拍摄帧率又限制了视频的时间分辨率。视频超分辨率重建是一种能有效提高视频时间分辨率和空间分辨率的方法，已经在计算机视觉和图像处理等领域引起了广泛关注。详细阐述了视频超分辨率重建研究的概念和必要性，并较全面地回顾了超分辨率技术近年来的发展历程，对视频超分辨率重建中关键问题进行了较为深入的分析，指出了当今研究难点和今后的研究方向，对视频超分辨率重建的应用前景进行了展望。 关键词：图像处理，超分辨率重建，空间超分辨率，时间超分辨率，帧间配准
收稿日期：２００８唱０８唱２１；修回日期：２００８唱１０唱２８ 作者简介：王培东（１９５３唱），男，黑龙江哈尔滨人，教授，硕导，ＣＣＦ会员，主要研究方向为计算机控制、计算机网络、嵌入式应用技术；吴显伟（１９８２唱），男（回族），河南南阳人，硕士，主要研究方向为计算机控制技术（ｗｕ＿ｘｉａｎｗｅｉ＠１２６．ｃｏｍ）． 一种自适应的嵌入式协议栈缓冲区管理机制 王培东，吴显伟 （哈尔滨理工大学计算机科学与技术学院，哈尔滨１５００８０） 摘 要：为避免创建缓冲区过程中必须指定大小和多次释放而导致可能的内存泄露和代码崩溃的弊端，提出一种自适应的嵌入式协议栈的缓冲区管理机制ＡｕｔｏＢｕｆ。它是基于抽象缓冲区接口而设计的，具有自适应性，支持动态内存的自动分配与回收，同时实现了嵌入式ＴＣＰ／ＩＰ协议栈各层之间的零拷贝通信。在基于研究平台Ｓ３Ｃ４４Ｂ０Ｘ的Ｗｅｂｓｅｒｖｅｒ网络数据监控系统上的测试结果表明，该缓冲区的设计满足嵌入式系统网络通信的应用需求，是一种高效、可靠的缓冲区管理机制。 关键词：嵌入式协议栈；抽象缓冲区；零拷贝；内存分配 中图分类号：ＴＰ３１６ 文献标志码：Ａ 文章编号：１００１唱３６９５（２００９）０６唱２２５４唱０３ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１唱３６９５．２００９．０６．０７７ Ｄｅｓｉｇｎａｎｄｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆａｄａｐｔｉｖｅｂｕｆｆｅｒｆｏｒｅｍｂｅｄｄｅｄｐｒｏｔｏｃｏｌｓｔａｃｋ ＷＡＮＧＰｅｉ唱ｄｏｎｇ，ＷＵＸｉａｎ唱ｗｅｉ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＨａｒｂｉｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｈａｒｂｉｎ１５００８０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｏａｖｏｉｄｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｏｆｃｒｅａｔｉｎｇｂｕｆｆｅｒ，ｗｈｉｃｈｍｕｓｔｈａｖｅｔｈｅｓｉｚｅｏｆｂｕｆｆｅｒａｎｄｆｒｅｅｍｅｍｏｒｙｆｏｒｍａｎｙｔｉｍｅｓ，ｗｈｉｃｈｗｉｌｌｒｅｓｕｌｔｉｎｍｅｍｏｒｙｌｅａｋｓａｎｄｃｏｄｅｓｃｒａｓｈ．ＴｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｆｌｅｘｉｂｌｅｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍＡｕｔｏＢｕｆｆｏｒｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．Ｉｔｗａｓａｄａｐｔｉｖｅａｎｄｓｃａｌａｂｌｅａｎｄｂａｓｅｄｏｎａｎａｂｓｔｒａｃｔｂｕｆｆｅｒｉｎｔｅｒｆａｃｅ，ｓｕｐｐｏｒｔｅｄｄｙｎａｍｉｃｍｅ唱ｍｏｒｙａｌｌｏｃａｔｉｏｎａｎｄｂａｃｋｕｐ．ＢｙｕｓｉｎｇｔｈｅＡｕｔｏＢｕｆｂｕｆｆｅｒｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｗｉｔｈｄａｔａｚｅｒｏｃｏｐｙｔｅｃｈｎｏｌｏｇｙ，ｉｔｉｍｐｌｅｍｅｎｔｅｄｔｏｔｒａｎｓｆｅｒｄａｔａｔｈｒｏｕｇｈｔｈｅｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｐｒｏｔｏｃｏｌｓｔａｃｋ．ＴｈｅｍａｎａｇｅｍｅｎｔｍｅｃｈａｎｉｓｍｈａｄｂｅｅｎａｐｐｌｉｅｄｔｏｔｈｅＷｅｂｓｅｒｖｅｒｓｙｓｔｅｍｂａｓｅｏｎＳ３Ｃ４４ｂ０Ｘｐｌａｔｆｏｒｍｓｕｃｃｅｓｓｆｕｌｌｙ．Ｔｈｅｒｅｓｕｌｔｓｉｎｒｅａｌｎｅｔｗｏｒｋｃｏｎｄｉｔｉｏｎｓｈｏｗｔｈａｔｔｈｅｓｙｓｔｅｍｐｒｏｖｉｄｅｓａｇｏｏｄｐｅｒ唱ｆｏｒｍａｎｃｅａｎｄｍｅｅｔｓｔｈｅｎｅｃｅｓｓａｒｙｏｆｅｍｂｅｄｄｅｄｎｅｔｗｏｒｋｓｙｓｔｅｍ．Ｋｅｙｗｏｒｄｓ：ｅｍｂｅｄｄｅｄｓｔａｃｋ；ａｂｓｔｒａｃｔｂｕｆｆｅｒ；ｚｅｒｏ唱ｃｏｐｙ；ｍｅｍｏｒｙａｌｌｏｃａｔｉｏｎ 随着网络技术的快速发展，主机间的通信速率已经提高到了千兆数量级，同时多媒体应用还要求网络协议支持实时业务。嵌入式设备网络化已经深入到日常生活中，而将嵌入式设备接入到互联网需要网络协议栈的支持。通过分析Ｌｉｎｕｘ系统中ＴＣＰ／ＩＰ协议栈的实现过程，可以看出在协议栈中要有大量数据不断输入输出，而管理这些即时数据的关键是协议栈中的缓冲区管理机制，因此对嵌入式协议栈的缓冲区管理将直接影响到数据的传输速率和安全。通用以太网的缓冲区管理机制，例如４．４ＢＳＤｍｂｕｆ ［１］ 和现行Ｌｉｎｕｘ系统中的ｓｋ＿ｂｕｆ ［２］ 多是在大内存、 高处理速率的基础上设计的，非常庞大复杂。由于嵌入式设备的硬件资源有限，特别是可用物理内存的限制，通用的协议栈必然不适用于嵌入式设备，在应用时要对标准的ＴＣＰ／ＩＰ协议进行裁剪 ［３］ 和重新设计缓冲区管理机制。 １ 缓冲区管理机制的性能需求分析 缓冲区管理 ［４］ 是对内存提供一种统一的管理手段，通过该 手段能够对可用内存提供分配、回收、数据操作等行为。内存的分配操作是根据一定的内存分配策略从缓冲区中获得相应大小的内存空间；缓冲区的数据操作主要是向缓冲区写数据，从缓冲区读数据，在缓冲区中删除数据，对空闲的内存块进行合并等行为；内存的回收就是将已空闲的内存重新变为可用内存，以供存 储其他新的数据。 为了满足长度不一的即时数据的需求，缓冲区对内存的操作主要集中在不断地分配、回收、合并空闲的内存块等操作。因为网络中的数据包小到几个字节大到几千个字节，不同长度的数据对内存的需求必然不同。现存嵌入式设备中的内存多是以物理内存，即实模式形式存在的，没有虚拟内存的形式，对内存的操作实际是操作真实的物理内存，所以对内存操作要特别谨慎。在传统使用动态分配的缓冲区（通过调用ｍａｌｌｏｃ（）／ｆｒｅｅ（））在函数之间传递数据。尽管该方法提供了灵活性，但它也带来了一些性能影响。首先考虑对缓冲区的管理（分配和释放内存块）。如果分配和释放不能在相同的代码位置进行，那么必须确保在某个内存块不再需要时，释放一次（且仅释放一次）该内存块是很重要的，否则就会导致内存泄露。其次是必须确定缓冲区的大小才能分配该内存块。然而，确定数据大小并非那么容易，传统做法是采用最大的数据尺寸的保守估计。而采用保守估计预分配的内存大小总是远超过实际需要的大小，而且没有一定的范围标准，这样难免会导致资源的严重浪费。 随着数据在协议栈中的不断流动，内存块的多次释放和多次分配是难以避免的，而保守估计对于有限的资源来说又是一种浪费的策略。因此为了能有效地利用资源，设计一种可自控的、不用预判断大小的数据缓冲区接口就势在必行。 第２６卷第６期２００９年６月 计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｖｏｌ．２６Ｎｏ．６Ｊｕｎ．２００９
第37卷第1期自动化学报Vol.37,No.1 2011年1月ACTA AUTOMATICA SINICA January,2011 一种用于视频超分辨率重建的块匹配图像配准方法 孙琰玥1何小海1宋海英1,2陈为龙1 摘要图像配准是超分辨率重建中的一个关键问题,直接影响超分辨率重建图像的质量.本文在自适应十字搜索(Adaptive rood pattern search,ARPS)块匹配算法的基础上,根据小波域中各图像之间的相关性,提出一种分层块匹配算法—基于小波变换的改进的自适应十字模式搜索算法(Improved adaptive rood pattern search algorithm based on wavelet transform, W-IARPS),该方法在小波变换域完成匹配宏块的搜索,有效地减少了匹配点的搜索个数,且配准图像的峰值信噪比相比全搜索算法下降不到0.l dB,保持了较高的配准精度.最后采用凸集投影(Projections onto convex sets,POCS)算法对配准后的图像进行超分辨率重建,取得了较好的视觉效果.实验结果表明,该方法具有较高的配准精度和重建效果,算法稳健可靠. 关键词超分辨率,块匹配,图像重建,小波变换,凸集投影 DOI10.3724/SP.J.1004.2011.00037 A Block-matching Image Registration Algorithm for Video Super-resolution Reconstruction SUN Yan-Yue1HE Xiao-Hai1SONG Hai-Ying1,2CHEN Wei-Long1 Abstract Image registration is one of the key components in super-resolution reconstruction,and it directly a?ects the quality of the reconstructed image.On the basis of adaptive rood pattern search(ARPS)block-matching algorithm, and according to the correlation between various images in wavelet domain,an hierarchical block-matching algorithm —improved adaptive rood pattern search algorithm based on wavelet transform(W-IARPS)is proposed.Searching matched-macroblocks in wavelet domain can e?ectively reduce the number of search points,and the ratio of peak signal to noise of registered images decreases less than0.l dB compared to the exhaustive-search algorithm.It means that the high registration accuracy is guaranteed.Finally,the projections onto convex sets(POCS)method is used to reconstruct the super-resolution image from the registered images,and it can achieve better visual e?ects.The simulation results show that the algorithm has a high registration accuracy and reliable reconstruction results. Key words Super-resolution,block-matching,image reconstruction,wavelet transform,projection onto convex sets (POCS) 序列图像的超分辨率重建是指利用低分辨率图像帧之间的相似性、冗余性以及一些先验知识进行数据融合,以得到高分辨率的序列图像.超分辨率重建一般包含两个步骤:首先将各个低分辨率图像进行配准,即运动估计过程;然后利用频域或空域重建算法将已配准的低分辨率图像融合为一幅高分辨率图像.视频超分辨率重建中,配准精度的高低对重建效果的影响是巨大的,一个不好的配准结果往往会导致重建的失败.运动估计的方法通常可分为三类: 收稿日期2010-03-02录用日期2010-09-10 Manuscript received March2,2010;accepted September10, 2010 国家自然科学基金(61071161),教育部科学技术研究基金重点资助项目(107094)资助 Supported by National Natural Science Foundation of China (61071161),Major Program of Science and Technology Research Foundation of Ministry of Education(107094) 1.四川大学电子信息学院图像信息研究所成都610064 2.成都电子机械高等专科学校通信工程系成都610031 1.Image Information Institute,College of Electronics In-formation Engineering,Sichuan University,Chengdu610064 https://www.doczj.com/doc/052666218.html,munication Engineering Department,Chengdu Elec-tromechanical College,Chengdu610031空域、频域和空频域方法.超分辨率重建中采用最多的是空域法中基于光流的方法和基于块的方法. 在块匹配算法中,全搜索算法精度最高,它对搜索范围内所有的像素点逐一进行匹配运算以得到全局最优运动矢量,但其巨大的计算量和时间开销阻碍了它的有效应用,为此,后续出现了许多快速搜索算法,如新三步搜索法(New three step search,NTSS)[1],简单有效搜索法(Simple and e?-cient search,SES)[2],六边形算法(Hexagon-based search,HEXBS)[3],定向菱形法(Directional dia-mond search,DDS)[4],多模板六边形法(Multiple pattern hexagon search,MPHS)[5]等.文献[6]提出一种自适应十字搜索(Adaptive rood pattern search,ARPS)算法,该算法利用相邻块的运动矢量作为当前块的预测矢量,大大地减少了运算量,但因为初始搜索点的问题,往往需要多执行一些不必要的搜索. 本文基于ARPS块匹配算法,提出了一种小波变换的分层块匹配算法,其主要思想是对预测帧的首
第4l卷第ll期 2011年11月 激光与红外 LASER &INFRARED V01.41,No.11 November,2011 文章编号:1001-5078(201111-1278-04 图像超分辨率重建处理算法研究 ?图像与信号处理? 万雪芬1,杨义2,崔剑3 (1.华北科技学院,河北三河065201;2.东华大学,上海201620;3.北京航空航天大学,北京100191 摘要:超分辨算法为实现图像和视频分辨率提高的一种方法。其广泛应用于数字电视、医学图像处理、军事与遥感等领域。超分辨率图像通过融合多帧相似的低分辨率图像达到提高图像细节的目的。本文对使用较为普遍的频域方法、非均匀差值算法、凸集投影算法、迭代反投 影算法、最大后验概率方法及基于学习的方法进行了分析,并简要讨论了超分辨算法未来的发展方向。 关键词:图像处理;超分辨率;低分辨率重建 中图分类号:TP751文献标识码:A DOI:10.3969/j.issn.1001-5078.2011.11.023 Research on super-resolution image reconstruction WAN Xue—fenl,YANG Yi2,CUI Jian3
(I.Nordl China Institute of Science and Technology,Sanhe 065201,China;2.Donghua University,Shanghai 201620,China; 3.Beihang University,Beijing 100191,China Abstract:Super-resolution image reconstruction is a technique to reconstruct high resolution image or video from a 8e- quence of low resolution images.It has been widely used in digital TV,medicinal processing,military and remote剐m8一 ing.The super resolution method is summarized in this paper.Some super resolution image reconstructions ale dis— cussed for super-resolution image reconstruction.The tendency and development prospect a弛also discussed. Key words:image processing;super resolution;low resolution image reconstruction l 引言 近年来,数字图像采集技术已被广泛应用于工控、安监、军事与消费等领域。但由于价格成本因素限制,很多情况下通过低端图像采集设备获得的图片质量与分辨率较低,往往不能满足实际的要求。利用一系列相似的低分辨的图像,经过超分辨率技术的处理,可以得到一幅分辨率较高、包含信息较多的图像。这个处理过程就是超分辨率重建。采用超分辨率技术可以在不更换原有设备的前提下,提高图像的分辨率、改善图像的质量。 超分辨率技术用途较为广泛。在数字电视领域,可以利用超分辨率重建技术将数字电视信号转化为与高清晰度电视接收机相匹配的信号,提高观众的体验。在医疗领域,提高医学图像的分辨率,可以帮助医生做出正确的诊断。在军事、气象领域,通过侦查卫星与气象卫星获得图片的分辨率通常难以达到人们期望的分辨率级别,使用超分辨率技术,通过对观测结果做后期处理,可以更好地识别目标,更好地服务于军事安全和日常生活。
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910323776.X (22)申请日 2019.04.22 (71)申请人 智慧眼科技股份有限公司 地址 100193 北京市海淀区昆明湖南路51 号中关村军民融合产业园C座207 (72)发明人 刘蒸蒸 刘伟华 (74)专利代理机构 长沙智嵘专利代理事务所 (普通合伙) 43211 代理人 刘宏 (51)Int.Cl. G06T 3/40(2006.01) (54)发明名称 人脸图像超分辨率重建方法及计算机可读 取的存储介质 (57)摘要 本发明公开了一种人脸图像超分辨率重建 方法。本发明的人脸图像超分辨率重建方法，独 创性地提取了两种人脸语义先验知识，将两种人 脸先验信息和人脸超分辨率重建网络的编码部 分拼接合并后作为人脸超分辨率重建网络的解 码部分的输入，确保了重构的人脸图像包含更多 的人脸先验信息，并且将人脸超分辨率重建网络 和多任务人脸语义先验知识提取网络共同作为 生成对抗网络的生成器，使得重建后的高分辨率 人脸图像更加真实逼真，执行速度也很快，对于 不同程度低分辨率的人脸图像都具有良好的鲁 棒性。本发明的人脸图像超分辨率重建方法，对 于由于采集设备和环境以及网络传输介质、图像 压缩等因素引起的低分辨率图像的超分辨率重 建具有良好的应用效果。权利要求书3页 说明书8页 附图5页CN 110148085 A 2019.08.20 C N 110148085 A
1.一种人脸图像超分辨率重建方法，用于对低分辨率人脸图像进行超分辨率重建处理，其特征在于， 包括以下步骤： 步骤S1：采用多任务人脸语义先验知识提取网络提取低分辨率人脸图像的两种人脸先验信息，两种人脸先验信息分别为face parsing maps和face landmark heatmaps； 步骤S2：构建人脸超分辨率重建网络，人脸超分辨率重建网络包括解码部分和编码部分； 步骤S3：将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入； 步骤S4：将人脸超分辨率重建网络的解码部分和编码部分、以及多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器G，并构建判别器D进行对抗训练，同时构建人脸超分辨率重建网络的整体损失函数； 步骤S5：输入低分辨率人脸图像并采用Adam最优化方法迭代更新人脸超分辨率重建网络的参数； 步骤S6：重复执行步骤S5直至整体损失函数收敛，并保存网络模型和参数。 2.如权利要求1所述的人脸图像超分辨率重建方法，其特征在于， 所述步骤S1中的多任务人脸语义先验知识提取网络通过以下步骤构建： 步骤S11：采用3个Residual模块和2个Hour -Glass模块并结合skip connection机制构建多任务人脸语义先验知识提取网络； 步骤S12：初始化多任务人脸语义先验知识提取网络的参数，并构建基于像素级别L2范数的损失函数，然后采用Adam最优化方法训练网络，保存训练好的模型。 3.如权利要求2所述的人脸图像超分辨率重建方法，其特征在于， 所述基于像素级别L2范数的损失函数为 其中，p truth 表示真实的人脸先验信息，p estimate 表示多任务人脸语义先验知识提取网络估计的人脸先验信息。 4.如权利要求2所述的人脸图像超分辨率重建方法，其特征在于， 所述步骤S11具体包括以下步骤： 步骤S111：先利用双线性插值算法对输入的低分辨率人脸图像进行重建，再将重建后得到的人脸图像输入至卷积核为7*7、步长为2的“CONV -BN -ReLU ”卷积结构，“CONV -BN -ReLU ”卷积结构输出人脸图像； 步骤S112：将“CONV -BN -ReLU ”卷积结构输出的人脸图像输入至3个Residual模块，Residual模块的卷积核为3*3、步长为1，Residual模块输出人脸图像； 步骤S113：将Residual模块输出的人脸图像输入至2个Hour -Glass模块，Hour -Glass模块输出人脸图像； 步骤S114：采用两个单独的1*1卷积核对Hour -Glass模块输出的人脸图像进行多任务人脸语义先验信息提取，分别输出表示face parsing maps的特征图和表示face landmark 权 利 要 求 书1/3页2CN 110148085 A
图像超分辨率重建技术的研究背景意义及应用图像超分辨率重建技术的研究背景意义及应用 1 研究背景及研究意义 2 图像超分辨率重建的应用 1 研究背景及研究意义 伴随着计算机技术、信息处理技术和视觉通信技术的高速发展，人类进入了一个全新的信息化时代。人们所能能够获取的知识量呈爆炸式的增长，因此迫切的要求信息处理技术不断的完善和发展，以便能够为人们提供更加方便、快捷和多样化的服务。数字图像及其相关处理技术是信息处理技术的重要内容之一，在很多领域得到了越来越广泛的应用。对于数字图像在一些情况下一般要求是高分辨图像，如:医学图像要求能够显示出那些人眼不能辨别出的细微病灶;卫星地面要求卫星图像至少能够辨别出人的脸相甚至是证件;有些检测识别控制装置需要足够高分辨率的图像才能保证测量和控制的精度。因此提高图像分辨率是图像获取领域里追求的一个目标。 1970年以来，CCD和CMOS图像传感器广泛的被用来获取数字图像，在很多的 应用场合，需要获取高分辨图像，提高图像分辨率最直接的方法是提高成像装置的分辨力，但是受传感器阵列排列密度的限制，提高传感器的空间分辨率越来越难，通常采用的方法是减少单位像素的尺寸(即增加单位面积内的像素数量)，对于数字摄机，比如CCD，就是减少其传感单元的尺寸从而提高传感器的阵列密度，使其能够分辨出更多场景细节。但是这样将导致数字摄像机的价格大幅度提高。技术工艺的制约也限制了图像分辨率的进一步提高。事实上随着像素尺寸的减少，每个像素接收到的光照强度也随之降低，传感器自身的噪声将严重影响图像的质量，造成拍摄的影像信噪比不高，因此，像素尺寸不可能无限制的降低，而是有下限的，当CCD传感器阵列密度增加到一定程度时，图像的分辨率不但不会提高反而会下降，
目录 1 课程设计目的 (1) 2图像处理系统设计内容及要求 (2) 2.1设计内容 (2) 2.2设计要求 (2) 3 设计方案 (3) 4 功能模块的具体实现 (5) 4.1 空域插值放大的方法 (5) 4.1.1 最邻近插值算法 (5) 4.1.2 双线性插值算法 (6) 4.1.3 双三次插值算法 (7) 4.2 频域重建的方法 (8) 4.2.1 DCT变换的介绍 (8) 4.2.2 DCT放大图像放大算法原理 (8) 4.3 频域分块重建的方法 (10) 4.4 同态滤波器滤波处理 (11) 4.4.1 同态滤波器原理 (11) 4.4.2 同态滤波函数的确定 (12) 5 总结与体会 (14) 参考文献 (15) 附录 (16)
1课程设计目的 MATLAB7.0软件。MATLAB是由美国mathworks公司发布的主要面对科学计算、可视化以及交互式程序设计的高科技计算环境。它将数值分析、矩阵计算、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中，为科学研究、工程设计以及必须进行有效数值计算的众多科学领域提供了一种全面的解决方案，并在很大程度上摆脱了传统非交互式程序设计语言的编辑模式，代表了当今国际科学计算软件的先进水平。通过用MATLAB 对图像进行处理，以实现以下目的。 1.培养严谨的科学态度，正确的设计思想，科学的设计方法和良好的工作作风。 2.培养独立思考的能力，独立检索资料、阅读文献、综合分析、计算机应用、数据及文字处理等能力。 3.培养综合运用基础理论、基本知识的能力。通过课程设计得到工程设计的初步锻炼。
毕业设计（论文）题目：图像超分辨率重建算法研究 专业（方向）：电子信息工程 文献综述 1.引言 超分辨率概念最早出现在光学领域。在该领域中，超分辨率是指试图复原衍射极限以外数据的过程。Toraldo di Francia在1955年的雷达文献中关于光学成像第一次提出了超分辨率的概念。复原的概念最早是由J.L.Harris和J.w.Goodman分别于1964年和1965年提出一种称为Harris-Goodman频谱外推的方法。这些算法在某些假设条件下得到较好的仿真结果，但实际应用中效果并不理想。Tsai &Huang首先提出了基于序列或多帧图像的超分辨率重建问题。1982年D.C.C.Youla和H.Webb在总结前人的基础上，提出了凸集投影图像复原(Pocs)方法。1986年，S.E.Meinel提出了服从泊松分布的最大似然复原(泊松-ML)方法。1991年和1992年，B.R.Hunt和PJ.Sementilli在Bayes分析的基础上，提出了泊松最大后验概率复原(泊松-MAP)方法，并于1993年对超分辨率的定义和特性进行了分析，提出了图像超分辨率的能力取决于物体的空间限制、噪声和采样间隔。 伴随着计算机技术、信息处理技术和视觉通信技术的高速发展，人类进入了一个全新的信息化时代。人们所能够获取的知识量呈爆炸式的增长，因此迫切的要求信息处理技术不断的完善和发展，以便能够为人们提供更加方便、快捷和多样化的服务。数字图像及其相关处理技术是信息处理技术的重要内容之一，在很多领域得到了越来越广泛的应用。对于数字图像在一些情况下一般要求是高分辨图像，如：医学图像要求能够显示出那些人眼不能辨别出的细微病灶；卫星地面要求卫星图像至少能够辨别出人的脸相；有些检测识别控制装置需要足够高分辨率的图像才能保证测量和控制的精度。因此提高图像分辨率是图像获取领域里追求的一个目标。但是通过改善成像装置硬件的分辨力来提高图像的分辨能力是有限的也是不切实际的。因此，需要一种有效的方法来克服图像传感器的这些限制。 解决这一问题的一个实用而有效的方法就是图像的超分辨率重构技术，其不需要昂贵的图像获取设备，只需要通过计算机软件的处理就能获得更高分辨率的图像。因此，用该方法来提高图像分辨率所需要的代价很低。 2.超分辨率图像重构算法研究现状以及优缺点 目前,国内外对超分辨率的研究较突出的有:美国加州大学多维信号处理研究小组的PeymanMilanfar 等提出了大量的实用算法和集成各种算法的超分辨率图像恢复软件包；美国Dayton大学和Wright实验室对红外CCD相机进行了机载试验，利用20幅低分辨率的红外图像，取得了分辨率提高近5倍的实验结果。香港R. F. Chars等研究了超分辨率图像恢复的有效预处理共扼梯度迭代算法。以色列耶鲁撒冷大学M.Elad 等对存在任意运动的图像序列,以及动态的和彩色的多媒体等的超分辨率恢复进行了研究。以色列的