2018年4月图 学 学 报 April2018第39卷第2期JOURNAL OF GRAPHICS V ol.39No.2
基于低分辨率彩色指导图像的深度图像
超分辨率重建
武玉龙，赵洋，曹明伟，刘晓平
(合肥工业大学计算机与信息学院，安徽合肥 230009)
摘要：传统的以彩色图像为指导的深度图像超分辨率(SR)重建方法，参考图像必须为高分
辨率彩色图像，彩色图像的分辨率决定了深度图像的放大上限。同时，实际应用中可能只存在低
分辨率彩色图像，此时上述方法也不再适用。为此，探讨使用任意分辨率彩色图像为指导的深度
图像SR重建方法。首先，使用大量不同类别的图像SR算法对输入彩色图像进行上采样，得到
高分辨率彩色图像并以此作为指导图像，然后采用基于二阶总广义变分方法，将由低分辨率彩色
图像重建得到的图像作为正则约束项，添加图像边缘信息，构建目标函数，将深度图像SR重建
问题转化为最优化问题，再通过原-对偶方法求解，最终得到高分辨率深度图像。探讨了之前被
相关方法所忽略的情形，该方法可以适用于任意分辨率的彩色指导图像。并且通过相关实验发现
了令人惊异的现象，即通过使用低分辨率彩色图像放大后作为指导，可以得到与使用高分辨率彩
色指导图像相近甚至更好的结果，对相关问题的研究和应用具有一定参考意义。
关键词：超分辨率重建；深度图像；二阶总广义变分；ToF相机
中图分类号：TP 751 DOI：10.11996/JG.j.2095-302X.2018020235
文献标识码：A 文章编号：2095-302X(2018)02-0235-09
Low-Resolution RGB Image Guided Depth Image Super-Resolution
WU Yulong, ZHAO Yang, CAO Mingwei, LIU Xiaoping
(School of Computer and Information, Hefei University of Technology, Hefei Anhui 230009, China)
Abstract: In traditional methods of RGB image guided depth image super-resolution, the reference images are required to be high-resolution intensity images and its resolution determines the upper limit of the depth image upsampling. Moreover, in some situations only low-resolution RGB images are available, thus the traditional methods are unpractical. In this paper an arbitrary resolution RGB image guided depth image super-resolution is proposed. First, we use different image super-resolution algorithm for the input RGB image upsampling, so that a high-resolution reference RGB image can be obtained. Then we increase the resolution of the input depth image by using the second-order total generalized variation based method and adding edge cues from the reference image obtained in above step. Then the final energy objective function is defined and depth image super-resolution can be transformed into optimization problem, which can be solved by primal-dual energy minimization scheme. Finally the high-resolution depth image is generated. This paper explores the cases previously ignored by the relevant method and the proposed method can be applied to arbitrary resolution RGB
基金项目：国家自然科学基金面上项目(61370167)；国家自然科学基金青年科学基金项目(61602146)；安徽省自然科学基金项目(JZ2015AKZR0664) 第一作者：武玉龙(1991-)，男，山东东营人，硕士研究生。主要研究方向为三维重建。E-mail：1317255537@https://www.doczj.com/doc/f0903377.html,
通信作者：刘晓平(1964-)，男，山东济南人，博士，教授，博士生导师。主要研究方向为计算机辅助设计、计算机图形学。E-mail：liu@https://www.doczj.com/doc/f0903377.html,
万方数据