西工大图像工程作业-梯度域融合

图像工程实验报告 ——梯度域图像融合 (Gradient-Domain Fusion) 问题1：Toy Problem 1.1问题描述 该问题是在梯度域中重建图像，在这个问题中，首先给定一张图像，通过计算图像在x与y方向上梯度，满足一定的要求，重建出图像。要重建的图像如图所示。

1.2数学模型 Toy图像重建问题，根据作业中的介绍，可以从中得出3个约束条件。 首先，将源图像记为),(yxs，要重建出来的目标图像记为),(yxv。对于所有像素，有如下两个约束条件： 1) 最小化2((1,)(,)((1,)(,)))vxyvxysxysxy，使得s和v在x方向上的梯度值尽量接近。 2) 最小化2((,1)(,)((,1)(,)))vxyvxysxysxy ，使得s和v在y方向上的梯度值尽量接近。 由于满足上述两个条件的v有很多个，为了使其最接近于源图像s，这里加上第三个限制条件： 3) 最小化2((1,1)(1,1))vs ，使得s和v左上角的像素值接近。 对于以上三个约束条件，可以转化为最小二乘问题。

2minnVRAVb 求解V即可得到重建图像。 1.3计算方法 上述最小二乘问题的求解可以转化为求AV=b，其中A为一个稀疏矩阵，表示上述的约束条件，V为重构图像的列向量表示形式，b对应约束条件中的常量，重构图像V的向量形式如下： (1,1)(2,1)(row,1)(row,col)vv

Vvv



即将矩阵V(row,col)按列展开，进行向量化。 根据约束条件1，构造相应的稀疏矩阵A1，具体形式如下

111000110011A







其中A1的行数为（row-1)*col,列数等于V的行数，为row*col。相应的，b的矩阵构造如下：

1(2,1)(1,1)(3,1)(2,1)(,1)(1,1)(,)(1,)ssssbsrowsrowsrowcolsrowcol









同理对于约束2，可构建2A和2b如下：

22(1,2)(1,1)110(1,3)(1,2)0110(1,)(1,1)0101(,)(,1)ssssAbscolscolsrowcolsrowcol





















2A和2b有(1)*colrow行，表示约束2的方程数。将约束1和约束2 联合

起来表示为：

12

A

AA



12bbb 最后加上约束3的一个方程，则在A中加一个行向量(1,0,,0)，b中添加一个元素(1,1)s 。 这样，约束条件1、2和3综合在一起就可以表示如下： AVb 最终结果v的如下：V=A\b. 1.4实验结果及分析

图1-1：左侧为原图，右侧为重构后图像 分析：由上图结果可以看出，重建图像V和原图像S一致，图像重建结果良好。 在使用zeros函数预先为A分配存储空间，再用V=A\b计算时，速度非常慢，原因是A矩阵太大，但由于A整体是一个稀疏矩阵，通过sparse函数进行稀疏化后再进行V 的计算可大大提高计算效率。 2、Poisson Blending 2.1 问题 从源图像中选取某个物体，如下图左所示，融合到目标图像，如下图中所示，最简单的方法就是直接将源图像中的选中像素复制到目标图像中的指定位置，如下图右所示，但这种方法即使在源图像和目标图像的背景完全匹配时也会产生非常明显的融合缝隙。

图 2- 1 直接粘贴效果图 因此我们的目的是要让源图像和目标图像更完美的融合到一起。作业中已经给出了在源图像中的提取目标物体的程序，以及将提取的区域对准到目标图像中的方法，需要做的工作是使用泊松融合的方法，使得源区域和背景图中的周围区域具有相似的颜色。

2.2 数学模型 泊松融合的核心是带狄里克雷边界条件的泊松偏微分方程，狄里克雷边界条件指定了在影响域内未知函数的拉普拉斯算子，以及在区域边界上的未知函数值的拉普拉斯算子。 针对泊松融合问题，可将具体的额约束条件转化为下述方程。 给定源图像s和目标图像t的像素值，通过计算可以得出待融合区域S与新的像素值v满足如下的约束： 22,,argmin(()())(()())iiijijijijviSjNSiSjNSvvvssvtss



其中i是区域S中的一个像素，j表示像素i的四邻域。上式表示梯度值之间的匹配程度，前半部分是基于两个可变像素的，后半部分基于一个可变像素和一个固定像素的。 使用上述方法进行图像融合的过程中，需要选择源图像中的目标物体和目标图像中要进行融合的位置。在源图像中选择目标物体时，就是选取一个包含目标物体的区域，同时在目标图像中选定一个位置来将源图像中选定的区域融合进来。在融合之前需要对选定的区域进行变形使得其与目标区域相匹配。选择源区域时自己要保证目标在区域之中，不需要边界紧贴目标，只要目标物体在所选择的区域之中即可。还要保证，在源图像中选择的包含目标物体多边形区域的大小应该可以融合到目标图像中，如果尺寸太大，需要先进行尺寸调整，使源图像满足大小的要求；否则将无法进行图像的融合。理想情况下，源图像中待融合区域的背景应该与目标图像的背景有相似的颜色，这样更容易实现图像的无缝融合，效果更好。

2.3 计算方法 泊松融合问题也可以转化为一个最小二乘问题。对于彩色图像的融合，可以分别对三个通道进行融合，然后将三个通道重新组合为彩色图像。因此，先考虑一个通道的融合过程，设源图像s的一个颜色分量图像为's，选定的目标区域为'S，目标图像为t，要生成的图像为v。由v得到待求向量V的方式和第一题中

描述的方式相同。 设'S中有N个像素点，系数矩阵A的构造与第一题相似，由约束公式可知A

的行数为4N+(row*col-N)对'S中的每个像素i，可构造4个线性方程组，同时针对非S’中的像素点，直接复制背景像素值。 与第一题的一个不同的是，在构造向量b时，根据情况不同，选用不同的值。当像素i

不在目标区域中时，对应的b为背景图像在i处的值，当像素i在目标区

域，而某邻域像素j不在目标区域时，b为T_j+S_i-S_j，当像素i在目标区域，而某邻域像素j在目标区域时：b为S_i-S_j 同时，根据上述情况，修改A系数矩阵中的值。最后，约束条件同样转化为 AVb 求解其中的V即可得到单通道的图像融合结果，分别求出三个通道的融合结果，进行最后的合成，实现泊松融合。

2.4 结果分析 图2-2与图2-3展示了泊松融合效果比较好的结果，图2-4的融合效果不是很好，下面将讨论导致融合效果不太好的因素。 图 2- 2效果较好的融合结果 图 2- 3 效果较好的融合结果

图2-4 效果较差的融合结果 图2-2与图2-3的融合结果是我们期望得到的，图2-4的融合结果质量非常

糟糕，企鹅的颜色信息发生了非常明显的改变。当源图所选区域的背景与目标图片的背景接近时，泊松融合的效果较好，而当两者背景存在较大差异时，将会带来很差的融合结果，造成这一结果的原因是泊松混合中使用的梯度，计算的是邻域之间的梯度。尤其是计算泊松模型的右半部分，当邻域点不在区域S中时候，就会计算（V_i-T_j）-(S_i-S_j)。由于该部分计算的存在，新融合的图片V中，处于区域S边缘处的像素值V_i会对背景T_j处的像素作近似。而且边缘处点的计算差异会影响后续非S边缘区域像素值的计算。最终形成的累积效应，就导致了图2-4中企鹅半身都是墨绿色，该部分墨绿色来自于企鹅头部，目标背景的草地的颜色。 3、Mixed Blending 3.1 问题 同样针对泊松分布解决的图像融合问题，使用混合梯度域下处理来得到更好的结果。混合梯度域下的图像处理实际上把图像处理过程中所使用的梯度转化为混合梯度，具体的过程和上面的图像融合类似。

3.2 数学模型 使用混合梯度进行泊松融合和梯度域下泊松融合采用的步骤是相同的，只是在计算梯度的时候有所不同，在每一个位置采用的是源图像和目标图像中梯度值较大的那一个，称之为混合梯度。混合梯度的处理约束条件如下：

22,,argmin(())(())iiijijijijviSjNSiSjNSvvvdvtd



上式中的ijd 表示混合梯度，也就是源图像和目标图像中相应位置上绝对值较大的梯度值，可以这样求得混合梯度， ||||ijijijijijssssttdttelse





混合梯度进行图像处理的过程也可以转化为一个最小二乘问题。转化方法与泊松融合中描述的方法类似，所不同的是，在构造向量b的过程中，使用的梯度应该是混合梯度而不是梯度。这样上述约束条件就可以表示如下：

''2minAVb

使用最小二乘方法就可以求出融合图像。

3.3 计算方法 混合融合问题的计算方法与泊松融合问题相同，都要将图像分成三个通道分别处理。 唯一不同的是在生成b的时候，b由ijd决定：

||||ijijijijijssssttdttelse





同样的方法生成A，最后利用最小二乘法解一个线性方程组AVb，求解方法与第二问相同。