一种改进的局部线性嵌入超分辨率重建算法

专利名称：一种超分辨率重建方法、装置、设备和存储介质专利类型：发明专利
发明人：王茹,李雅卿,涂承杰,熊诗尧,江林燕,彭龙涛
申请号：CN202010435082.8
申请日：20200521
公开号：CN111340711A
公开日：
20200626
专利内容由知识产权出版社提供
摘要：本申请实施例公开了一种基于人工智能的超分辨率重建方法、装置、设备和存储介质，当需要对某个视频文件进行超分辨率重建时，获取第一分辨率的待处理视频帧序列，待处理视频帧序列即该视频文件的视频帧序列。

针对待处理视频帧序列中每帧待处理视频帧，根据分辨率重建模型对待处理视频帧进行分辨率重建，得到第二分辨率的初始重建视频帧；第二分辨率高于第一分辨率。

通过残差分离方式确定初始重建视频帧中的轮廓区域，对轮廓区域进行轮廓增强处理，得到目标重建视频帧，使得高频细节更加清晰，得到符合线上实际应用场景的画质最优结果，这样，根据目标重建视频帧生成第二分辨率的重建视频帧序列，可以为用户提供更加干净清晰、自然舒适的视频体验。

申请人：腾讯科技(深圳)有限公司
地址：518064 广东省深圳市南山区高新区科技中一路腾讯大厦35层
国籍：CN
代理机构：深圳市深佳知识产权代理事务所(普通合伙)
代理人：常忠良
更多信息请下载全文后查看。

基于局部像素嵌入的人脸图像超分辨率重构
胡宇;沈庭芝;刘朋樟;赵三元
【期刊名称】《北京理工大学学报》
【年(卷),期】2011(31)2
【摘要】利用像素点在邻域空间的线性嵌入关系作为先验约束来重构高分辨率(HR)人脸图像.算法从HR训练样本集中选择与输入人脸最相近的K个样本进行配准,并以配准后的样本作为参考,学习目标图像中像素点的局部嵌入系数.在学习过程中,算法通过自适应调整各参考样本的权重来减小配准误差的影响,并利用总变差最小化约束嵌入系数的平滑度.结合局部像素嵌入关系以及降质模型,算法可以在最大后验估计的框架下实现对目标人脸的超分辨率重构.实验表明,重建的HR图像拥有更加细腻、清晰的局部特征,其平均峰值信噪比和结构相似度分别比对比算法高出1.26dB和0.04.
【总页数】5页(P201-205)
【关键词】超分辨率重构;局部像素嵌入;总变差最小化;人脸图像
【作者】胡宇;沈庭芝;刘朋樟;赵三元
【作者单位】北京理工大学信息与电子学院
【正文语种】中文
【中图分类】TN911.73
【相关文献】
1.基于局部约束的人脸图像超分辨率重构算法 [J], 朱华生;徐晨光
2.一种基于神经网络的人脸图像超分辨率重构算法 [J], 高志荣;蓝雯飞
3.基于半像素运动信息的快速超分辨率图像重构算法 [J], 杜娟;余英林;谢胜利
4.基于学习的彩色人脸图像超分辨率重构研究 [J], 李涛;王晓华;宋桂芹;李军科;闫雪梅
5.基于学习的人脸图像超分辨率重构算法 [J], 李涛;王晓华;张超;杜部致;李宇春因版权原因，仅展示原文概要，查看原文内容请购买。

图像超分辨率（Super Resolution，SR）重建算法是利用观测到的低分辨率图像重建对应的高分辨率图像的过程，在军事、医学、遥感、计算机视觉等方面都有着重要的研究和应用价值。

在日常生活中，获取高质量的图像受到诸如成像设备硬件成本、成像环境复杂等条件的制约。

为了改善这一问题，图像超分辨率重建算法已被越来越多的研究人员关注。

图像超分辨率重建采用软件方法，可以将低质量的图像重建成对应的高质量图像，既能够避免设备条件的复杂要求从而降低成本，也可以通过技术的不断发展使重建的质量得到提高。

目融合邻域回归和稀疏表示的图像超分辨率重构丁玉祥1，2，卞维新1，2，接标1，2，赵俊1，21.安徽师范大学计算机与信息学院，安徽芜湖2410022.网络与信息安全安徽省重点实验室，安徽芜湖241002摘要：对于图像超分辨率重建而言，通常会将图像的整体信息作为研究对象。

然而图像本身含有的大量结构信息并没有得到充分利用。

为了提高超分辨率重建的效果，实现对不同特征信息的利用，提出了一种融合邻域回归和稀疏表示的图像超分辨率重构算法。

依据图像所具有的低秩性对高分辨率图像进行分解，获得高分辨率图像的低秩部分和稀疏部分；将对应的低分辨率图像与高分辨率图像的低秩部分和稀疏部分进行训练，学习得到对应的特征字典；基于高分辨率图像的低秩部分和稀疏部分分别基于稀疏表示和邻域嵌入进行高分辨率重构；基于低秩矩阵恢复理论，融合邻域回归和稀疏表示重构的高分辨率图像，得到最终的高分辨率图像。

在测试集Set5和Set14上将提出的算法与几种经典算法进行对比实验，可视化和量化结果均表明，相比传统超分辨率算法，提出的算法在PSNR和SSIM都有很好的提升。

关键词：超分辨率；低秩矩阵恢复；字典学习；稀疏表示；邻域嵌入文献标志码：A中图分类号：TP391doi：10.3778/j.issn.1002-8331.1911-0227Super-Resolution Image Reconstruction Based on Neighborhood Regression and Sparse Representation DING Yuxiang1，2,BIAN Weixin1，2,JIE Biao1，2,ZHAO Jun1，21.School of Computer and Information,Anhui Normal University,Wuhu,Anhui241002,China2.Anhui Provincial Key Laboratory of Network and Information Security,Wuhu,Anhui241002,ChinaAbstract：For image super-resolution reconstruction,the over-all information of the image is usually the object of study. However,the information of intrinsic structure in the image is not fully utilized.In order to improve the performance of super-resolution reconstruction by using the information of different features,a super-resolution reconstruction algorithm based on neighborhood regression and sparse representation is proposed.Firstly,the high-resolution image is decomposed into the low-rank portion and the sparse portion according to the low rank which the image has.Secondly,the different feature dictionaries are constructed according to the corresponding training samples.The sparse portion and low-rank por-tion of low-resolution are reconstructed based on the corresponding feature dictionary by using neighborhood regression and sparse representation.Finally,the high-resolution image is obtained based on the reconstructed sparse portion and low-rank portion according to low rank matrix recovery theory.In the test set Set5and Set14,the proposed algorithm com-pares with several classical algorithms,and the visualized and quantized results show that compared with the traditional super-resolution algorithm,the proposed algorithm has a good improvement in PSNR and SSIM.Key words：super resolution;low rank matrix restoration;dictionary learning;sparse representation;neighbor embedding基金项目：安徽省自然科学基金（1708085MF145，1808085MF171）；国家自然科学基金（61573023，61976006）。

基于学习的光学区域图像超分辨率重建算法的改进高晗; 李炘蔚; 蒋爱平【期刊名称】《《黑龙江大学自然科学学报》》【年(卷),期】2019(036)005【总页数】7页(P611-617)【关键词】超分辨率重建; 图像分解; 马尔科夫随机场【作者】高晗; 李炘蔚; 蒋爱平【作者单位】黑龙江大学电子工程学院哈尔滨150080【正文语种】中文【中图分类】Q939.970 引言人类常通过图像得到一些信息来了解外界，为了获取更加充分的图像信息，图像分辨率就显得尤为重要。

在信息技术迅猛发展的当下，人们对图像分辨率要求也在提高，但是受到成像系统、图形采集等多个环节因素的影响，许多图像分辨率始终无法满足人们的要求，因此，人们不断探究进一步提高图像分辨率的各类方法。

图像的超分辨率重建就是有效方法之一，具备非常好的实用性，在图像处理的许多领域得到了广泛的应用。

图像超分辨率重建就是把低分辨率图像恢复成高分辨率图像的重建技术，Tsai［1］等提出图像超分辨的概念。

现在常见的主要有两类重建方法，一类是基于重构的图像超分辨率重建［2－4］，另外一种是基于学习的图像超分辨率重建［6－7］。

近年来，提出的基于学习的重建方法，大大改善了重建的图像效果，主要包括Freeman 在低阶视觉问题的基础上提出的基于例子的重建方法［8］，Yang 等提出的用图像块稀疏表示进行的重建方法［9］。

本文在Freeman 算法重建基础上进行了改进，依靠低分辨率图像与其对应的高分辨率图像之间的关系来估计低分辨率图像所丢失的高频细节，随机选取训练的图像块，在训练阶段把获得的分块图像当作训练数据库，将低分辨率图像块与高分辨率图像块用马尔科夫网络模拟，在重建阶段采用插值方法放大图像结构部分和颜色信息，将最终的重建图像和插值放大的图像合并，得到更高空间分辨率的超分辨图像。

图1 MRF 网络模型Fig．1 MRF network model1 马尔科夫随机场基于MRF(Markov random field)的图像超分辨率重建方法的基本原理是把图像进行分块，MRF 网络建模的方式主要是将高分辨率和低分辨率图像块之间、以及高分辨率图像块和它的邻近块之间的相互联系体现出来，网络模型如图1 所示［10］。

一种改善图像边缘效果的POCS超分辨率重建方法谢寒;赵勋杰;李成金;张雪松【摘要】Image super-resolution reconstruction (SRR)technology can improve image spatial resolution on the basis of existing imaging systems. Projection onto convex sets (POCS)is one of the main methods of SRR. POCS is im-proved in this paper,which mainly includes twoaspects:(1 )Improving the quality of the initial estimate by kernel regression interpolation;(2)Replacing Gaussian kernel with steering kernel in the point spread function (PSF)to re-duce edge ringing artifacts of the reconstructed image. The proposed algorithm is simulated. The results show that the edges of the reconstructed image have been improved greatly.%利用图像超分辨率重建（SRR）技术可以在现有成像系统基础上提高图像空间分辨力。

凸集投影（POCS）是超分辨率重建的主流方法之一。

对POCS算法进行了改进，具体改进体现在两个方面：（1）用可控核回归插值图像作为POCS重建的初始估计以提高初始估计图像的质量；（2）将POCS重建中使用的点扩散函数（PSF）由高斯核改为可控核以减少重建图像的边缘振荡效应。

基于改进点扩散函数的遥感图像超分辨率重建房垚鑫;郭宝峰;马超【摘要】为了提高遥感图像空间域重建质量,采用改进凸集投影(POCS)算法的点扩散函数,提出了一种改进的POCS超分辨率重建算法.首先给出POCS算法基本原理以及具体实现步骤,在此基础上对算法做出改进,即对待重建的高分辨初始帧进行边缘检测,对检测到的边缘像素点应用改进的点扩散函数(PSF),使边缘处像素点对应的PSF水平方向与垂直方向系数依据边缘斜率变化而设置不同的权重;最后分别采用两组数据集对改进POCS算法的有效性进行验证.结果表明,该改进的POCS算法有效地提高了图像重建的效果,两组实验平均绝对误差效果分别提升了0.79％和0.26％,达到了提高图像重建质量的目的.该算法具有较好的实际应用价值.【期刊名称】《激光技术》【年(卷),期】2019(043)005【总页数】6页(P713-718)【关键词】图像处理;超分辨率;凸集投影;点扩散函数;边缘检测【作者】房垚鑫;郭宝峰;马超【作者单位】杭州电子科技大学自动化学院,杭州 310018;杭州电子科技大学自动化学院,杭州 310018;杭州电子科技大学自动化学院,杭州 310018【正文语种】中文【中图分类】TN911.73引言如今在许多应用场合，人们对数字图像的空间分辨率要求越来越高[1]。

提高图像分辨率最直接的方法是提高采集图像时所使用图像传感器的排列密度。

但是受物理条件的限制，各类图像传感器的排列密度不可能无限制的提高，且传感器排列密度的提高也会导致噪声的增加。

在不改变成像硬件装置的前提下，通过软件方法，由多幅序列低分辨率图像重建出一幅高分辨率图像的超分辨方法，不仅可以节约硬件成本，且软件方法更为灵活，应用领域更广[2-3]。

对同一场景进行多次采样，可以得到该场景的多幅序列图像。

受到图像分辨率的限制，序列图像中的单一一帧难以完全表述该场景中的细节信息，而多幅序列图像中含有更多丰富的互补信息[4]。

基于局部回归模型的图像超分辨率重建李欣;崔子冠;孙林慧;朱秀昌【期刊名称】《计算机应用》【年(卷),期】2016(036)006【摘要】针对基于稀疏重建的图像超分辨率(SR)算法一般需要外部训练样本,重建质量取决于待重建图像与训练样本的相似度的问题,提出一种基于局部回归模型的图像超分辨率重建算法.利用局部图像结构会在不同的图像尺度对应位置重复出现的事实,建立从低到高分辨率图像块的非线性映射函数一阶近似模型用于超分辨率重建.其中,非线性映射函数的先验模型是直接对输入图像及其低频带图像的对应位样本块对通过字典学习的方法得到.重建图像块时利用图像中的非局部自相似性,对多个非局部自相似块分别应用一阶回归模型,加权综合得到高分辨率图像块.实验结果表明,该算法重建的图像与同样利用图像具有自相似性的相关超分辨率算法相比,峰值信噪比(PSNR)平均提高0.3～1.1dB,主观重建效果亦有明显提高.【总页数】5页(P1654-1658)【作者】李欣;崔子冠;孙林慧;朱秀昌【作者单位】南京邮电大学通信与信息工程学院,南京 210003;南京邮电大学通信与信息工程学院,南京 210003;南京邮电大学通信与信息工程学院,南京 210003;南京邮电大学通信与信息工程学院,南京 210003【正文语种】中文【中图分类】TP391.41【相关文献】1.基于局部自回归模型的压缩感知视频图像递归重建算法 [J], 李星秀;韦志辉2.基于深度学习局部与非局部信息的单幅图像超分辨率重建 [J], 翟森; 任超; 熊淑华; 占文枢3.基于L1/2正则化和局部纹理约束的人脸超分辨率图像重建 [J], 王宝成; 李波4.基于局部结构相似与稀疏表示的超分辨率图像重建 [J], 檀结庆;蔡蒙琪;朱星辰;葛先玉5.基于快速非局部均值和超分辨率重建的图像降噪算法 [J], 李静;刘哲;黄文准因版权原因，仅展示原文概要，查看原文内容请购买。

小波局部适应插值的图像超分辨率重建孙琰玥n;何小海;陈为龙【摘要】针对单帧低分辨率图像的超分辨率重建问题,提出一种改进的小波局部适应插值的超分辨率重建方法,该方法能够弥补重建图像边缘不平滑的缺陷.结合小波变换与可分离高低频信息的特性,提出一种综合两者优点的单帧图像超分辨率重建算法.实验结果表明,采用该算法得到的重建图像不仅能较好地保留原始图像的细节信息,提高图像的空间分辨率,并能提高图像的峰值信噪比,更适合人眼视觉系统.【期刊名称】《计算机工程》【年(卷),期】2010(036)013【总页数】3页(P183-185)【关键词】超分辨率;小波变换;局部适应插值;最大相关性;图像重建【作者】孙琰玥n;何小海;陈为龙【作者单位】四川大学电子信息学院图像信息研究所,成都610064;四川大学电子信息学院图像信息研究所,成都610064;四川大学电子信息学院图像信息研究所,成都610064【正文语种】中文【中图分类】N9451 概述图像超分辨率技术是在不改变图像探测系统的前提下，通过采用某种方法，使低分辨率图像获得较高分辨率的图像的方法[1]。

图像超分辨率重建在遥感图像、医学图像、数字摄影等领域有着非常重要的应用。

已有的一些经典算法[2]如最近邻点插值、双线性插值、双三次插值等，不能很好地抓住边缘处图像的统计信息，插值图像在边缘处会出现模糊或锯齿等现象，严重影响了插值图像边缘的视觉效果。

近年来发展迅速的小波理论，在图像插值领域得到了广泛应用，出现了许多新的方法[3]，但是单独应用小波非线性插值的结果仍然不能令人满意。

局部适应插值是近几年出现的一种由 Battiato S等人提出的插值方法[4]。

它的基本原理可以归结为梯度控制的加权插值。

由于图像的部分相关信息在图像放大的过程中就可以得到，将整个适应过程分解到局部，因此它在保持图像细节和边缘部分有着较大的优势[5]，但是在图像的整体放大效果上不太理想，且边缘不够平滑。

改进的序列图像超分辨率重建方法
袁琪;荆树旭
【期刊名称】《计算机应用》
【年(卷),期】2009(029)012
【摘要】为解决局部运动的视频序列在超分辨率重建过程中,由于采用传统的图像间全图一致变换模型可能导致的运动估计误差增大,影响重建效果的问题,提出了基于三角网不规则分块运动估计思想和基于DTN-POCS的重建算法.从边缘点中提取特征点,利用配准获得的同名点集,在主/从图像对间构建同名不规则三角网,并以此分割图像,默认每个三角块中像素运动一致.在此基础上,把所有低分辨率帧分块投影到高分辨率坐标,以凸集投影(POCS)迭代优化.试验结果表明:重建的高分辨率图对图像中的局部运动鲁棒性更强,能有效改善重建精度.
【总页数】4页(P3310-3313)
【作者】袁琪;荆树旭
【作者单位】长安大学,信息工程学院,西安,710064;长安大学,信息工程学院,西安,710064
【正文语种】中文
【中图分类】TP391.4
【相关文献】
1.序列图像的POCS超分辨率重建方法 [J], 肖创柏;段娟;禹晶
2.基于序列图像处理技术的高分辨率红外图像重建方法 [J], 拜丽萍;李庆辉;王炳健;
周慧鑫
3.一种改进的稀疏表示超分辨率重建方法 [J], 李冠葳
4.一种共照射源超空间分辨率三维重建方法 [J], 黄雨泽;陈广东;王媛;万思钰
5.基于改进残差亚像素卷积神经网络的超分辨率图像重建方法研究 [J], 李岚;张云;杜佳;马少斌
因版权原因，仅展示原文概要，查看原文内容请购买。