图像的阴影检测与去除算法分析
- 格式:docx
- 大小:28.99 KB
- 文档页数:4
计算机与多媒体技术Computer And Multimedia Technology电子技术与软件工程Electronic Technology & Software Engineering 图像阴影去除的研究现状与进展文/钱真真(北京交通大学计算机与信息技术学院 交通数据分析与挖掘北京市重点实验室 北京市100044 )摘 要:本文主要研究了国内外图像阴影去除的不同方法,并对常用的阴影去除方法进行了归纳。
去除图像中的阴影是图像处理过程中的关键一步,因为图像中的阴影阻碍了许多视觉处理任务的进行。
如阴影区域会对图像中的文字识别造成干扰,阴影“假边”会降低图 像分割的精度,同时也会降低运动物体的追踪的效果。
因此,去除图像中的阴影对后续的图像处理进程有着至关重要的作用。
关键词:阴影去除;阴影检测;现状;进展1引言随着计算机技术,尤其是人工智能的崛起,图像分割、运动物体追踪等视觉领域得到了十足的发展。
然而,光照及遮挡物的遮挡使得阴影在自然图像中几乎是无处不在的,图像中的阴影对后续的 图像处理造成了极大的干扰。
由于光源的种类、强度、遮挡物体的大小、形状、透明度以及背景材质、反射率参数等多种因素的影响,图像中的阴影也随之变得更加复杂。
如何有效地将图像中的阴影去除、为后续的图像处理提供便利,成为图像预处理的重中之重。
图像阴影去除大都可以分为阴影检测和阴影去除两个步骤。
阴 影检测是应用相应的算法对图像进行处理,确定图像中的阴影区域,对阴影区域与非阴影区域进行标注;阴影去除大多是利用检测到的阴影,运用相应的算法、模型或计算将阴影去除,并尽可能完整地保留阴影区域原有的信息,使其无限接近于在相同照明条件、相同场景下的无遮挡物的无阴影图像。
2阴影检测方法归纳2. 1基于区域的阴影检测对于相同反射率的区域,在相同的照明条件下,它们具有相似的纹理和颜色分布,而不同的光照条件,其纹理仍然相似,颜色强度却会存在很大的差异。
消除影子是计算机视觉中的一个重要任务,它涉及到如何去除图像中的阴影,以便更好地理解和分析图像。
以下是一些消除影子的算法:
1. 基于光照模型的消除影子算法:这种算法假设物体表面受到均匀的光照,因此可以通过计算光照模型来消除阴影。
常用的光照模型包括Lambertian反射模型和Phong光照模型。
这种算法的优点是简单易用,但是它不适用于所有情况,因为实际场景中的光照条件往往不是均匀的。
2. 基于图像处理的消除影子算法:这种算法通常使用图像处理技术来消除阴影,例如使用中值滤波器、高斯滤波器或边缘检测算法等。
这种算法的优点是简单快速,但是它可能会导致图像失真或模糊。
3. 基于深度学习的消除影子算法:这种算法使用深度学习技术来学习阴影的特征,并自动识别和消除阴影。
常用的深度学习模型包括卷积神经网络(CNN)和生成对抗网络(GAN)等。
这种算法的优点是能够自动适应各种情况,但是它需要大量的训练数据和计算资源。
以上是三种常见的消除影子算法,每种算法都有其优缺点,需要根据具体的应用场景选择合适的算法。
基于水平集的航拍影像阴影检测与去除系统设计摘要:建筑物、树木和山脉等遮挡光线,可能使航拍影像中出现阴影。
而阴影区域的存在可能影响图像后续处理,导致重要信息丢失。
本系统旨在设计自动检测航拍影像中阴影区域并将其去除的系统,选择并搭建基于水平集航拍影像阴影检测算法的进行系统设计。
系统主要功能包括:图像读入、图像去雾、阴影检测、阴影去除。
关键词:航拍影像图像去雾阴影检测阴影去除水平集1 系统研究意义建筑物、树木和山脉等遮挡太阳光线,使遥感航拍影像中存在阴影区域。
阴影区域的存在可能导致重要信息的丢失,进而影响影像的后续处理,如图像配准、图像内容理解、分割、特征提取、目标变化检测和定位等。
阴影检测是遥感航拍影像中地物跟踪、分类和识别等处理的重要步骤之一,目前阴影检测技术可分基于模型与基于阴影属性两大类,基于模型的方法需有关影像中地物几何形状或DSM数据、太阳高度角、传感器参数等知识,计算复杂,且适用于特定场景。
基于阴影属性的方法通过分析阴影区域在亮度、几何结构和颜色等方面的共性及其与非阴影区域的差异来检测阴影区域,应用比较复杂[1]。
本系统旨在开发设计自动检测航拍影像阴影区域并将其去除的系统。
选择并搭建基于非匀质区域水平集航拍影像阴影检测算法的系统开发平台,实现自动检测阴影区域并将其去除。
系统主要功能包括:图像读入、图像去雾、阴影检测、阴影去除。
图像阴影区域极可能含重要信息,准确检测阴影区直接关系到影像后续处理及获取与识别阴影区中重要信息的成效。
本系统所用的算法不仅可解决传统阴影检测方法中对非匀质同块阴影区检测不全面的问题,也可检测到传统方法中漏检的亮阴影区。
检测到的阴影区连续、边缘清晰整齐,并能有效排除绿色植被干扰,检测正确率高,漏检率低,检测全面,阴影区提取方便。
2 国内外研究现状G.D.Finlayson等最早提出利用彩色不变量来进行阴影检测、阴影消除[2],但是这些彩色不变量要在图像满足中性界面反射模型的条件下才成立[3],而且很多的航空影像都难以满足此条件。
基于YCbCr颜色空间的叶片阴影检测与去除张华南;冯全;杨梅;李妙祺【摘要】自然环境下获得的植物叶片图像往往由于阴影的存在而严重影响植物叶面特征的提取,为了解决这个问题,提出了一种基于YCbCr颜色空间的阴影的检测与去除方法.首先在YCbCr颜色空间中计算Y通道强度,采用阈值法检测阴影区域.然后在YCbCr颜色空间下根据光照模型对阴影区每个像素进行光照恢复.最后转化到RGB颜色空间下.相对于直接在RGB空间进行的阴影去除,该方法减弱阴影区的边缘效应,使得去除阴影后的区域与非阴影区的颜色更加一致,恢复图像看上去更加自然.【期刊名称】《计算机系统应用》【年(卷),期】2015(024)011【总页数】4页(P262-265)【关键词】阴影检测;YCbCr;阴影去除【作者】张华南;冯全;杨梅;李妙祺【作者单位】甘肃农业大学工学院,兰州730070;甘肃农业大学工学院,兰州730070;甘肃农业大学工学院,兰州730070;甘肃农业大学工学院,兰州730070【正文语种】中文利用图像处理来对农作物的生长状态进行识别, 是现代农业的发展方向之一[1]. 而农作物叶片可反映作物生长状态, 所以对叶片图像处理的研究十分重要[2,3]. 在自然条件下, 由于叶片相互遮挡以及太阳入射角的影响, 获取的叶片图像常常存在阴影, 阴影的产生是源于光线被物体的遮挡, 一般阴影区域的灰度值与对比度比非阴影区域要小. 阴影的存在对很多叶片图像处理的结果造成干扰, 如叶片区域分割、颜色提取、阴影区病斑检分割等, 进而降低到对植物生长状态判断的准确性. 因此对自然状态下获取的叶片图像, 有必要进行图像预处理, 检测并去除叶片上的阴影. 阴影的去除实际上就是将阴影区域像素点的亮度和颜色, 恢复到非阴影区域光照的效果, 从而使整幅图像有视觉上的光照一致性.静态图像的阴影区域检测的方法大致可分为基于模型的方法和基于特征的方法两大类[4-7]. 不少方法计算强度很大, 很难用在需要实时检测和去除阴影的场合(如定点自动喷药), 对于葡萄叶片图像, 本文采用了一种较为简单的方法达到目的. 该方法通过分析叶片阴影区域在YCbCr颜色空间的不同特性后, 综合考虑图像在YCbCr颜色空间的亮度和色度信息, 利用YCbCr颜色空间下亮度和色度特征进行阴影去除. 本文的方法包含阴影的检测和阴影的光照恢复两个阶段. 首先在YCbCr颜色空间上对阴影进行检测, 标记阴影位置得到一个二值化图像, 然后通过一个去除阴影算法, 在YCbCr颜色空间上对阴影进行去除. 相对于在RGB颜色空间上的阴影去除方法达到了更好的效果.1 YCbCr颜色空间强度统计方法阴影检测目前对于图像中阴影的检测大多基于RGB颜色空间的, 但是该空间各分量相关性高, 计算量大, 冗余信息多. 考虑到YCbCr到RGB颜色空间转换是线性的, 且YCbCr颜色空间中亮度分量Y和色度分量Cb、Cr时相互独立的, 本文选择在YCbCr颜色空间上来获取候选阴影区域. 该颜色模型与人类视觉感知的过程具有相类似的结果.YCbCr颜色空间广泛的应用于视频图像中, 亮度信息用分量Y来表示, 颜色信息用两个色差分量Cb和Cr来存储, 分量Cb是蓝色分量和一个参考值的差, 分量Cr是红色分量和一个参考值的差. YCbCr色彩系统是由YUV色彩系统衍生出来的, 其中Cb=k1U, Cr=k2V, k1、k2为压缩系数, 压缩能够防止色差信号与亮度信号之间的干扰, 以及防止色差信号超过亮度信号的电平[8].其中YCbCr颜色空间与RGB空间的数学关系如公式(1)所示(1)考虑到YCbCr颜色空间中亮度与色度相互独立, 此外, 为了简单起见, 本文假设叶片上阴影区域与非阴影区域差别主要体现在亮度上的差别, 与色度分量Cb、Cr没有关系, 所以只考虑用图像的Y通道值来检测阴影区. 对于普通数码相机获取叶片的RGB图像, 将其转换到YCbCr颜色空间下, 按照以下步骤实现叶片上阴影区的检测:1)计算整幅图像Y分量的平均值μ.2)将图像中Y分量数值小于阈值k1μ的像素初步标识为阴影, 其它像素则标识为非阴影, 其中为比例系数.3)对于每个非阴影像素使用m*m窗口, 计算窗口的Y分量平均值和标准差σ, 若该像素的Y分量小于标准差的k2σ则表示该像素为阴影, 其中k2为比例系数.以上经过步骤2可以检测出大部分阴影像素, 但可能会将部分阴影点误标识为非阴影点, 经过步骤3可进一步修正许多此类错误. 本检测方法获得候选区的阴影区域后, 得到的二值图像往往存在空洞、断裂等问题, 可用形态学方法进行修复[9],最终得到阴影/非阴影区的掩膜. 对50幅带有阴影的叶片图像的试验发现, 参数k1=0.6, k2=0.7, m=3能较好地区分阴影和非阴影区. 图1给出了一个叶片阴影区域检测的例子.(a)原图 (b) YCbCr空间下(c)步骤2处理结果 (d)步骤3及形态学处理后结果图1 叶片图像中阴影区检测例子2 阴影的去除2.1 阴影去除原理自然界中光源主要有两种类型一种是直射光源, 一种是环境光源, 直接从光源取的光为直射光, 环境光是从周围环境外表面反射的光[10]. 文献[10]提出了一个在RGB空间中去除阴影的模型, 该模型中将阴影/非阴影像素建模为:(2)其中Ii表示在第像素的值, Ld和Le表示在RGB颜色空间中的直射光和环境光的强度, Ri表示第i像素的反射率, θi表示直射光源和反射表面之间的角度, ti表示直射光源的衰减系数, 如果ti=1表示目标点在阳光照射的范围内, 如果ti=0表示目标点在阴影范围内. 设第i个阴影θ像素系数定义为ki=ticosθi, 并同时定义非阴影区域像素和阴影区域像素直接的比值r= Ld /Le.由基本光照模型公式(2)可以得到, 去除阴影的模型可以表示为直射光源和环境光源的和值:(3)由式(2)、(3)和前面定义的r可得无阴影像素的各分量恢复值:(4)2.2 基于YCbcr颜色空间阴影去除基于RGB颜色空间对阴影进行去除虽然能够达到一定的效果, 但是RGB三个分量在该空间各分量相关性高, 计算量大, 冗余信息多. 所以本文考虑从YCbCr颜色空间进行阴影的去除.首先将图像从RGB颜色空间转换到YCbCr颜色空间, 考虑到YCbCr颜色空间中, 亮度分量Y和色度分量Cb、Cr时相互独立, 对于亮度分量Y与色度分量Cb、Cr 分别进行处理.对于Y分量, 分别计算阴影区域与非阴影区域的平均值, 计算平均值的差值, 将阴影区域与非阴影区域的差值加到阴影区域, 在亮度分量Y上进行恢复, 如式(5)与(6)所示:(5)(6)其中lavg_y表示图像在YCbCr颜色空间中非阴影区域Y分量的平均值, savg_y表示图像阴影区域内Y分量的平均值, Ry表示叠加后的输出, M表示由上节得到阴影掩膜.其次, 对于Cb、Cr分量, 则按照光照模型所的公式(4)进行恢复. 两个分量的阴影区域与非阴影区域的像素点的比值r计算如下:(7)其中rk表示在YCbCr颜色空间下阴影区域与非阴影区域的Cb、Cr分量的比值, lavg_k表示非阴影区域两个分量的平均值, savg_k表示阴影区域两个分量的平均值, 它们均可由掩膜和原图像素共同计算出来.由此, 便可获得在YCbCr颜色空间下, 得到阴影去除后的三个分量, 然后从YCbCr 颜色空间转换为RGB颜色空间下即可得到去除阴影的图像.3 实验结果与分析本文的叶片图像采集于甘肃农业大学校园内(甘肃省兰州市安宁区). 在自然光照条件下, 使用Sony W390相机采用自动对焦进行拍摄.本文对于采集的样本采用以上算法进行了阴影检测、阴影去除试验, 结果表明本算法对阴影的去除效果较好, 图2给出了其中的一些例子. 作为对比, 本文还直接在RGB颜色空间下进行阴影去除效果试验, 总体上看其效果差于YcbCr颜色空间的方法, 对应的例子也在图2中给出了. 图2中a1,b1,c1,d1为原图像, a2,b2,c2,d2为RGB颜色空间下去除效果图像, a3,b3,c3,d3为在YCbCr颜色空间下去除效果图. 直观上看, 在RGB空间中, 当原阴影区的阴影被去除后, 阴影的边缘部分显得比较发亮; 而在YCrCb空间去除阴影后, 边缘效应弱于前者, 阴影恢复区域与非阴影区域看上去更加一致和自然.还比较了两种方法去除阴影前后的图片上三个分量的值差异. 部分结果如表1所示, 该表中计算了图2中的(a)、(c)两组图像. 可看出, 在未去除阴影前, 阴影区各分量平均值远低于非阴影区; 去除阴影后, 两种方法都使得恢复区的各分量平均值接近非阴影区的对应平均值, 但在YCbCr空间恢复后的各分量平均值更接近非阴影区, 而在RGB空间去除阴影后的各分量要分别低于前者, 故前者阴影恢复的效果更为自然.值得一提的是, 在病斑检测等应用中, 由于常采用基于区域的分割法, 故恢复图像中的边缘效应一般不影响到病斑区的分割; 但为了获得更好的视觉效果, 可采取其它措施减轻边缘效应, 如对阴影区边缘像素不用式(4), 而用其它更为精细的模型进行恢复.(a)1原图 (b)1原图 (c)1原图 (d)1原图(a)2 RGB模型方法 (b)2 RGB模型方法 (c)2 RGB模型方法 (d)2 RGB模型方法(a)2 YCbCr模型方法 (b)3 YCbCr模型方法 (c)3 YCbCr模型方法(d)3 YCbCr模型方法图2 基于YCbCr与RGB颜色空间阴影去除效果表1 阴影去除前后三分量值的比较 a通道非阴影区阴影区RGB去除YCbcr去除R182.8485.02163.06168.97 G198.33117.88179.29189.36B157.6674.89141.71145.66 cR151.0270.23124.29137.28G184.62118.89170.26176.67 B123.9251.0689.97102.844 结论本文提出了一种去除叶片上阴影的方法, 该方法在YCbCr颜色空间中利用Y分量检测阴影, 形成阴影/非阴影掩膜, 在YCbCr颜色空间中, 利用掩膜对阴影区的Y分量及Cb、Cr分量分别采用简单的加及模型法去除阴影. 相对于其他阴影检测和去除方法, 该算法的计算效率更高、便于实时的阴影去除. 相对于直接在RGB空间的阴影去除的方法, 该方法能减弱阴影区域的边缘效应, 能够有效的从叶片纹理图像有效去除阴影, 且能保持叶片阴影部分的纹理细节.参考文献1 冀荣华,祁力钧,傅泽田.机器视觉技术在精细农业中的研究进展.农业机械化研究,2007.11:1–5.2 Arbel E, Hel-OR H. A novel approach for shadow removal based on intensity surface approximation[Thesis]. Haifa: University of Haifa,2009:6–9.3 管泽鑫.基于图像的水稻病害识别方法的研究[学位论文]杭州:浙江理工大学,2010.4 Arbel E, Hel-OR H. Shadow removal using intensity surfaces and texture anchor point. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2011, 33(6): 1202–1216.5 Yao K, Tian DS. Shadow removal from images using an improved single-scale retinex color restoration algorithm. International Joint Conference on Computational Sciences and Optimization. Sanya, Hainan. IEEE. 2009, 1. 934–938.6 孙静,田建东,唐延东.静态室内图像投影边缘检测方法研究.仪器仪表学报,2010,31(S2):28–31.7 Lalonde JF, Efros A, Narasimhan S. Detecting ground shadows in outdoor consumer photographs. European Conference on Computer Vision. Heraklion, Crete, Greece. Springer. 2010. 322–335.8 马文杰,贺立源,徐胜祥,等.基于烤烟透射特征的烟叶图像分割研究.农业工程学报,2006,22(7):134–137.9 Gonzalez RC, Woods RE.数字图像处理. 2版.阮秋琦,阮宇智,等译.北京:电子工业出版社,2007.10 Jyothirmai MSV, Srinivas K, Srinivasa VR. Enhancing shadow area using RGB color space. Journal of Computer Engineering. 2012. 24–28. Shadow Detection and Removal of Blade Based on YCbCr Color Space Zhang Hua-Nan, FENG Quan, YANG Mei, LI Miao-Qi(Engineering College, Gansu Agricultural University, Lanzhou 730070, China)Abstract:With the influence of shadow on plant leaf images in natural environment, extraction of foliar features will be seriously affected. Hence, this paper proposes a method of shadow detection and removal based on YCbCr color space. First, the intensity of channel Y in YCbCr color space is calculated and the shadow regions are detected by a threshold on the intensity. Then according to the shadow model, light restorations for each pixel in shadow regions are made and the results are finally transformed to the RGB color space. Compared with direct shadow removal in the RGB space, this method weakens the edge effect, thus making the color between the post removal shadow region and non shadow region more uniform and the restored images more natural.Key words: shadow detection; YCbCr; shadow removal①收稿时间:2015-03-18;收到修改稿时间:2015-05-07目前对于图像中阴影的检测大多基于RGB颜色空间的, 但是该空间各分量相关性高, 计算量大, 冗余信息多. 考虑到YCbCr到RGB颜色空间转换是线性的, 且YCbCr颜色空间中亮度分量Y和色度分量Cb、Cr时相互独立的, 本文选择在YCbCr颜色空间上来获取候选阴影区域. 该颜色模型与人类视觉感知的过程具有相类似的结果.YCbCr颜色空间广泛的应用于视频图像中, 亮度信息用分量Y来表示, 颜色信息用两个色差分量Cb和Cr来存储, 分量Cb是蓝色分量和一个参考值的差, 分量Cr是红色分量和一个参考值的差. YCbCr色彩系统是由YUV色彩系统衍生出来的, 其中Cb=k1U, Cr=k2V, k1、k2为压缩系数, 压缩能够防止色差信号与亮度信号之间的干扰, 以及防止色差信号超过亮度信号的电平[8].其中YCbCr颜色空间与RGB空间的数学关系如公式(1)所示考虑到YCbCr颜色空间中亮度与色度相互独立, 此外, 为了简单起见, 本文假设叶片上阴影区域与非阴影区域差别主要体现在亮度上的差别, 与色度分量Cb、Cr没有关系, 所以只考虑用图像的Y通道值来检测阴影区. 对于普通数码相机获取叶片的RGB图像, 将其转换到YCbCr颜色空间下, 按照以下步骤实现叶片上阴影区的检测:1)计算整幅图像Y分量的平均值μ.2)将图像中Y分量数值小于阈值k1μ的像素初步标识为阴影, 其它像素则标识为非阴影, 其中为比例系数.3)对于每个非阴影像素使用m*m窗口, 计算窗口的Y分量平均值和标准差σ, 若该像素的Y分量小于标准差的k2σ则表示该像素为阴影, 其中k2为比例系数.以上经过步骤2可以检测出大部分阴影像素, 但可能会将部分阴影点误标识为非阴影点, 经过步骤3可进一步修正许多此类错误. 本检测方法获得候选区的阴影区域后, 得到的二值图像往往存在空洞、断裂等问题, 可用形态学方法进行修复[9],最终得到阴影/非阴影区的掩膜. 对50幅带有阴影的叶片图像的试验发现, 参数k1=0.6, k2=0.7, m=3能较好地区分阴影和非阴影区. 图1给出了一个叶片阴影区域检测的例子.2.1 阴影去除原理自然界中光源主要有两种类型一种是直射光源, 一种是环境光源, 直接从光源取的光为直射光, 环境光是从周围环境外表面反射的光[10]. 文献[10]提出了一个在RGB空间中去除阴影的模型, 该模型中将阴影/非阴影像素建模为:其中Ii表示在第像素的值, Ld和Le表示在RGB颜色空间中的直射光和环境光的强度, Ri表示第i像素的反射率, θi表示直射光源和反射表面之间的角度, ti表示直射光源的衰减系数, 如果ti=1表示目标点在阳光照射的范围内, 如果ti=0表示目标点在阴影范围内. 设第i个阴影θ像素系数定义为ki=ticosθi, 并同时定义非阴影区域像素和阴影区域像素直接的比值r= Ld /Le.由基本光照模型公式(2)可以得到, 去除阴影的模型可以表示为直射光源和环境光源的和值:由式(2)、(3)和前面定义的r可得无阴影像素的各分量恢复值:2.2 基于YCbcr颜色空间阴影去除基于RGB颜色空间对阴影进行去除虽然能够达到一定的效果, 但是RGB三个分量在该空间各分量相关性高, 计算量大, 冗余信息多. 所以本文考虑从YCbCr颜色空间进行阴影的去除.首先将图像从RGB颜色空间转换到YCbCr颜色空间, 考虑到YCbCr颜色空间中, 亮度分量Y和色度分量Cb、Cr时相互独立, 对于亮度分量Y与色度分量Cb、Cr 分别进行处理.对于Y分量, 分别计算阴影区域与非阴影区域的平均值, 计算平均值的差值, 将阴影区域与非阴影区域的差值加到阴影区域, 在亮度分量Y上进行恢复, 如式(5)与(6)所示:其中lavg_y表示图像在YCbCr颜色空间中非阴影区域Y分量的平均值, savg_y表示图像阴影区域内Y分量的平均值, Ry表示叠加后的输出, M表示由上节得到阴影掩膜.其次, 对于Cb、Cr分量, 则按照光照模型所的公式(4)进行恢复. 两个分量的阴影区域与非阴影区域的像素点的比值r计算如下:其中rk表示在YCbCr颜色空间下阴影区域与非阴影区域的Cb、Cr分量的比值, lavg_k表示非阴影区域两个分量的平均值, savg_k表示阴影区域两个分量的平均值, 它们均可由掩膜和原图像素共同计算出来.由此, 便可获得在YCbCr颜色空间下, 得到阴影去除后的三个分量, 然后从YCbCr 颜色空间转换为RGB颜色空间下即可得到去除阴影的图像.3 实验结果与分析本文的叶片图像采集于甘肃农业大学校园内(甘肃省兰州市安宁区). 在自然光照条件下, 使用Sony W390相机采用自动对焦进行拍摄.本文对于采集的样本采用以上算法进行了阴影检测、阴影去除试验, 结果表明本算法对阴影的去除效果较好, 图2给出了其中的一些例子. 作为对比, 本文还直接在RGB颜色空间下进行阴影去除效果试验, 总体上看其效果差于YcbCr颜色空间的方法, 对应的例子也在图2中给出了. 图2中a1,b1,c1,d1为原图像, a2,b2,c2,d2为RGB颜色空间下去除效果图像, a3,b3,c3,d3为在YCbCr颜色空间下去除效果图. 直观上看, 在RGB空间中, 当原阴影区的阴影被去除后, 阴影的边缘部分显得比较发亮; 而在YCrCb空间去除阴影后, 边缘效应弱于前者, 阴影恢复区域与非阴影区域看上去更加一致和自然.还比较了两种方法去除阴影前后的图片上三个分量的值差异. 部分结果如表1所示,该表中计算了图2中的(a)、(c)两组图像. 可看出, 在未去除阴影前, 阴影区各分量平均值远低于非阴影区; 去除阴影后, 两种方法都使得恢复区的各分量平均值接近非阴影区的对应平均值, 但在YCbCr空间恢复后的各分量平均值更接近非阴影区, 而在RGB空间去除阴影后的各分量要分别低于前者, 故前者阴影恢复的效果更为自然.值得一提的是, 在病斑检测等应用中, 由于常采用基于区域的分割法, 故恢复图像中的边缘效应一般不影响到病斑区的分割; 但为了获得更好的视觉效果, 可采取其它措施减轻边缘效应, 如对阴影区边缘像素不用式(4), 而用其它更为精细的模型进行恢复.(a)1原图 (b)1原图 (c)1原图 (d)1原图(a)2 RGB模型方法 (b)2 RGB模型方法 (c)2 RGB模型方法 (d)2 RGB模型方法(a)2 YCbCr模型方法 (b)3 YCbCr模型方法 (c)3 YCbCr模型方法(d)3 YCbCr模型方法图2 基于YCbCr与RGB颜色空间阴影去除效果表1 阴影去除前后三分量值的比较 a通道非阴影区阴影区RGB去除YCbcr去除R182.8485.02163.06168.97 G198.33117.88179.29189.36B157.6674.89141.71145.66 cR151.0270.23124.29137.28G184.62118.89170.26176.67 B123.9251.0689.97102.844 结论本文提出了一种去除叶片上阴影的方法, 该方法在YCbCr颜色空间中利用Y分量检测阴影, 形成阴影/非阴影掩膜, 在YCbCr颜色空间中, 利用掩膜对阴影区的Y分量及Cb、Cr分量分别采用简单的加及模型法去除阴影. 相对于其他阴影检测和去除方法, 该算法的计算效率更高、便于实时的阴影去除. 相对于直接在RGB空间的阴影去除的方法, 该方法能减弱阴影区域的边缘效应, 能够有效的从叶片纹理图像有效去除阴影, 且能保持叶片阴影部分的纹理细节.参考文献1 冀荣华,祁力钧,傅泽田.机器视觉技术在精细农业中的研究进展.农业机械化研究,2007.11:1–5.2 Arbel E, Hel-OR H. A novel approach for shadow removal based on intensity surface approximation[Thesis]. Haifa: University of Haifa,2009:6–9.3 管泽鑫.基于图像的水稻病害识别方法的研究[学位论文]杭州:浙江理工大学,2010.4 Arbel E, Hel-OR H. Shadow removal using intensity surfaces and texture anchor point. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2011, 33(6): 1202–1216.5 Yao K, Tian DS. Shadow removal from images using an improved single-scale retinex color restoration algorithm. International Joint Conference on Computational Sciences and Optimization. Sanya, Hainan. IEEE. 2009, 1. 934–938.6 孙静,田建东,唐延东.静态室内图像投影边缘检测方法研究.仪器仪表学报,2010,31(S2):28–31.7 Lalonde JF, Efros A, Narasimhan S. Detecting ground shadows in outdoor consumer photographs. European Conference on Computer Vision. Heraklion, Crete, Greece. Springer. 2010. 322–335.8 马文杰,贺立源,徐胜祥,等.基于烤烟透射特征的烟叶图像分割研究.农业工程学报,2006,22(7):134–137.9 Gonzalez RC, Woods RE.数字图像处理. 2版.阮秋琦,阮宇智,等译.北京:电子工业出版社,2007.10 Jyothirmai MSV, Srinivas K, Srinivasa VR. Enhancing shadow area using RGB color space. Journal of Computer Engineering. 2012. 24–28. Shadow Detection and Removal of Blade Based on YCbCr Color Space Zhang Hua-Nan, FENG Quan, YANG Mei, LI Miao-Qi(Engineering College, Gansu Agricultural University, Lanzhou 730070, China)Abstract:With the influence of shadow on plant leaf images in natural environment, extraction of foliar features will be seriously affected. Hence, this paper proposes a method of shadow detection and removal based on YCbCr color space. First, the intensity of channel Y in YCbCr color space is calculated and the shadow regions are detected by a threshold on the intensity. Then according to the shadow model, light restorations for each pixel in shadow regions are made and the results are finally transformed to the RGB color space. Compared with direct shadow removal in the RGB space, this method weakens the edge effect, thus making the color between the post removal shadow region and non shadow region more uniform and the restored images more natural.Key words: shadow detection; YCbCr; shadow removal①收稿时间:2015-03-18;收到修改稿时间:2015-05-07本文的叶片图像采集于甘肃农业大学校园内(甘肃省兰州市安宁区). 在自然光照条件下, 使用Sony W390相机采用自动对焦进行拍摄.本文对于采集的样本采用以上算法进行了阴影检测、阴影去除试验, 结果表明本算法对阴影的去除效果较好, 图2给出了其中的一些例子. 作为对比, 本文还直接在RGB颜色空间下进行阴影去除效果试验, 总体上看其效果差于YcbCr颜色空间的方法, 对应的例子也在图2中给出了. 图2中a1,b1,c1,d1为原图像, a2,b2,c2,d2为RGB颜色空间下去除效果图像, a3,b3,c3,d3为在YCbCr颜色空间下去除效果图. 直观上看, 在RGB空间中, 当原阴影区的阴影被去除后, 阴影的边缘部分显得比较发亮; 而在YCrCb空间去除阴影后, 边缘效应弱于前者, 阴影恢复区域与非阴影区域看上去更加一致和自然.还比较了两种方法去除阴影前后的图片上三个分量的值差异. 部分结果如表1所示, 该表中计算了图2中的(a)、(c)两组图像. 可看出, 在未去除阴影前, 阴影区各分量平均值远低于非阴影区; 去除阴影后, 两种方法都使得恢复区的各分量平均值接近非阴影区的对应平均值, 但在YCbCr空间恢复后的各分量平均值更接近非阴影区, 而在RGB空间去除阴影后的各分量要分别低于前者, 故前者阴影恢复的效果更为自然.值得一提的是, 在病斑检测等应用中, 由于常采用基于区域的分割法, 故恢复图像中的边缘效应一般不影响到病斑区的分割; 但为了获得更好的视觉效果, 可采取其它措施减轻边缘效应, 如对阴影区边缘像素不用式(4), 而用其它更为精细的模型进行恢复.本文提出了一种去除叶片上阴影的方法, 该方法在YCbCr颜色空间中利用Y分量检测阴影, 形成阴影/非阴影掩膜, 在YCbCr颜色空间中, 利用掩膜对阴影区的Y分量及Cb、Cr分量分别采用简单的加及模型法去除阴影. 相对于其他阴影检测和去除方法, 该算法的计算效率更高、便于实时的阴影去除. 相对于直接在RGB空间的阴影去除的方法, 该方法能减弱阴影区域的边缘效应, 能够有效的从叶片纹理图像有效去除阴影, 且能保持叶片阴影部分的纹理细节.1 冀荣华,祁力钧,傅泽田.机器视觉技术在精细农业中的研究进展.农业机械化研究,2007.11:1–5.2 Arbel E, Hel-OR H. A novel approach for shadow removal based on intensity surface approximation[Thesis]. Haifa: University of Haifa,2009:6–9.3 管泽鑫.基于图像的水稻病害识别方法的研究[学位论文]杭州:浙江理工大学,2010.4 Arbel E, Hel-OR H. Shadow removal using intensity surfaces and texture anchor point. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2011, 33(6): 1202–1216.5 Yao K, Tian DS. Shadow removal from images using an improved single-scale retinex color restoration algorithm. International Joint Conference on Computational Sciences and Optimization. Sanya, Hainan. IEEE. 2009, 1. 934–938.6 孙静,田建东,唐延东.静态室内图像投影边缘检测方法研究.仪器仪表学报,2010,31(S2):28–31.7 Lalonde JF, Efros A, Narasimhan S. Detecting ground shadows in outdoor consumer photographs. European Conference on Computer Vision. Heraklion, Crete, Greece. Springer. 2010. 322–335.8 马文杰,贺立源,徐胜祥,等.基于烤烟透射特征的烟叶图像分割研究.农业工程学报,2006,22(7):134–137.9 Gonzalez RC, Woods RE.数字图像处理. 2版.阮秋琦,阮宇智,等译.北京:电子工业出版社,2007.10 Jyothirmai MSV, Srinivas K, Srinivasa VR. Enhancing shadow area using RGB color space. Journal of Computer Engineering. 2012. 24–28.。
第35卷第2期2020年4月遥感信息R e m o t eS e n s i n g In f o r m a t i o n V o l .35,N o .2A pr .,2020㊀收稿日期:2019G02G22㊀㊀修订日期:2019G04G23基金项目:武汉大学测绘遥感信息工程国家重点实验室开放基金项目(16E 01);国家自然科学基金项目(41771457);国家重点研发计划项目(2016Y F B 0502600).作者简介:涂继辉(1979 ),男,博士,副教授,主要研究方向为遥感图像目标识别.E Gm a i l :t u j h @y a n g t z e u .e d u .c n 通信作者:眭海刚(1973 ),男,博士,教授,主要研究方向为遥感影像处理.E Gm a i l :h a i g a n g_s u i @263.n e t 高分辨率航空影像阴影自动检测和去除涂继辉1,2,杜红1,眭海刚2,徐川2(1.长江大学电信学院,湖北荆州434023;2.武汉大学测绘遥感信息工程国家重点实验室,武汉430079)摘要:针对高分辨率航空影像的阴影检测与去除问题,通过对阴影的光谱特征的分析,提出了一种新的自动化阴影检测和去除的方法.该方法首先利用约束颜色不变量和水平集分割相结合的方法对阴影进行自动检测,获取完整的阴影区域和精确的阴影轮廓线;然后利用阴影轮廓点的邻域作为同质区域,进行补偿因子估算达到去除阴影.实验证明,该方法能够自动准确地对阴影进行检测和去除,不但提升了阴影区域的亮度,而且使得地物细节得到了很好的恢复.关键词:高分辨率航空影像;颜色不变量;水平集;阴影检测;阴影去除d o i :10.3969/j.i s s n .1000G3177.2020.02.007中图分类号:T P 751㊀㊀文献标志码:A㊀㊀文章编号:1000G3177(2020)02G0038G08A u t o m a t i c S h a d o wD e t e c t i o na n dR e m o v a l i nH i g hR e s o l u t i o nA e r i a l I m a g e r yT UJ i h u i 1,2,D U H o n g 1,S U IH a i g a n g 2,X U C h u a n 2(1.E l e c t r o n i c s&I n f o r m a t i o nS c h o o l ,Y a n g t z eU n i v e r s t i y ,J i n gz h o u ,H u b e i 434023,C h i n a ;2.S t a t eK e y L a b o r a t o r y o f R e m o t eS e n s i n g a n dI n f o r m a t i o nE n g i n e e r i n g ,W u h a nU n i v e r s i t y ,W u h a n 430079,C h i n a )A b s t r a c t :I n o r d e r t o s o l v e t h e p r o b l e mt h a t s h a d o w i n t e r f e r e s t h e i n f o r m a t i o n e x t r a c t i o n i n h i g h r e s o l u t i o n a e r i a l i m a g e ,t h i s p a pe r p u tf o r w a r d s a n o v e l a u t o m a t i c s h a d o wd e t e c t i o n a n d r e m o v a lm e t h o d a f t e r a n a l y z i ng th e c h a r a c t e r i s t i c s a n d t h em a t h e m a t i c a lm o d e l o f s h a d o w .T h i sm e t h o d f i r s t l y a u t o m a t i c a l l y d e t e c t s t h e s h a d o wa r e ab a s e do nc o l o r i n v a r i a n t sm e t h o d i nt h ec o n d i t i o nc o n s t r a i n t a n d u s i n g t h e l e v e l s e t e v o l u t i o nm e t h o d ,w h i c ho b t a i n s t h e c o m p l e t e a r e aa n da c c u r a t eb o u n d a r y o f t h e s h a d o w .T h e n ,t h en e i gh b o r h o o d w i n d o w p i x e l s o f t h e s h a d o wb o u n d a r y a r eu s e da s t h eh o m o g e n e o u s r e g i o nt oe s t i m a t e t h ec o m pe n s a t i o nf a c t o r ,w h i c hr e m o v e s t h e s h a d o w .E x p e r i m e n t a l r e s u l t s s h o wt h a t t h i sm e t h o d c a n a u t o m a t i c a l l y d e t e c t t h e s h a d o wa r e a a n d r e m o v e t h e s h a d o w ,a n d i tm a k e s t h e b r igh t n e s s o f s h a d o wa r e a h ei g h t e n e d a n d t h e d e t a i l s o f s h e l t e r e d r e a p p e a r e d e f f i c i e n t l y.K e y wo r d s :h i g h Gr e s o l u t i o na e r i a l i m a g e ;c o l o r i n v a r i a n t ;l e v e l s e t ;s h a d o wd e t e c t i o n ;s h a d o wr e m o v a l 0㊀引言高分辨率航空影像是对地球表面的各种目标进行测量和信息提取的一种重要手段[1G2].由于各种人工建筑物或者树木的遮挡,高分辨率航空影像中常常会出现许多阴影区域.航空影像中的阴影虽然可以用于对建筑物的提取和高度估计,但同时也对影像中信息的提取㊁识别和判读造成了一定程度的干扰[3].因此,如何高效准确进行阴影的检测和去除成为航空影像预处理所面临的难题.针对遥感影像的阴影干扰,学者们提出了大量阴影检测和去除的算法.阴影检测算法主要分为2类:一类是基于几何模型的方法,该方法主要利用影像的太阳高度角㊁传感器参数和地面上物体的几何形状等先验信息来检测阴影[4G5],这种方法计算复杂度高,只适合特定场景;另一类是基于阴影特性的83引用格式:涂继辉,杜红,眭海刚,等.高分辨率航空影像阴影自动检测和去除[J].遥感信息,2020,35(2):38G45.方法,该方法主要利用阴影与非阴影区域光谱特征差异来检测阴影[3,6G9].由于基于颜色和亮度的检测方法更加贴近人的视觉方式,因此这类方法更加简单易行.这类方法又分为2种:一种是基于样本训练[9],然后进行分类检测出阴影,这类算法需要提供足够的样本;另一种是利用彩色空间的变换[3,6],把影像从R G B空间变换到其他彩色空间(H S V㊁H C V㊁Y I Q等),再利用O t s u等分割算法进行阈值分割,这类算法中颜色空间转换和阈值设定加大了算法的复杂度.阴影去除方法的核心思想是估算光照补偿因子来恢复阴影区域,从而达到阴影去除的效果[10].因此补偿因子的估算是阴影去除的关键,而如何自动准确在阴影和非阴影区域找到同质区域,是阴影光照补偿因子估算的难点.目前主要阴影去除的方法是在同质条件下阴影和非阴影区域,通过颜色不变性[6,11]㊁伽玛校正[12]㊁线形相关[13]㊁灰度直方图[14]和内外轮廓线[15]等方法,估算阴影光照补偿因子,从而达到阴影去除.然而这些方法对于如何自动准确定位同质区域没有提供较好的解决思路.基于当前研究的现状,本文提出了一种新的高分辨率遥感影像的阴影自动检测和去除方法.该方法先在R G B颜色空间下利用约束条件下的颜色不变量进行阴影的粗检测;然后用粗检测区域的最大内切圆作为初始零水平集,在缓冲区中进行水平集演化,得到阴影的精确轮廓;再利用轮廓点的邻域窗口的像元估计阴影光照补偿因子.由于阴影轮廓线临近建筑物的一部分明显为非同质区域,本文利用航空影像的P O S信息和太阳高度角进行剔除;最后利用阴影的光照补偿因子去除阴影.该方法主要优势如下:无须进行颜色空间域之间的转换,直接在R G B彩色空间下检测阴影,减少了计算的复杂度;利用水平集算法进行阴影轮廓的演化,不但能够提取较为完整的阴影区域和精确的阴影轮廓,而且也为同质区域选取提供了帮助;利用阴影轮廓上点的邻域作为同质区域,可以简单㊁自动和准确地定位同质区域.实验结果表明,本文算法的阴影检测准确,且效率高,补偿后的影像视觉一致性较好.1㊀阴影光照补偿因子估计模型根据R e t i n e x理论[16],影像是由光照分量反射分量合成而得到.其中光照分量是光源直接照射地面的光线,反射分量是地面反射的光线.影像的光照物理模型如式(1)所示.S(x,y)=L(x,y)ˑR(x,y)(1)式中:(x,y)为影像像素点坐标;S(x,y)㊁L(x,y)和R(x,y)分别表示原始影像㊁光照分量和地面反射率.在自然光照环境下,非阴影区域的光照分量由直接光源分量L d和环境散射光源分量L e合成.由于障碍物遮挡,直接光照减弱形成了阴影区域,那么阴影区域的直接光源分量应该乘以系数k.因此,式(1)的光照物理模型可以变换为式(2).S(x,y)=(kˑL d(x,y)+L e(x,y))ˑR(x,y)(2)当k=1时,表示S(x,y)为非阴影区域;当k=0时,表示S(x,y)为阴影中的本影区域;当0<k<1,表示S(x,y)为阴影中的半影区域.假设同一幅影像上的同质区域内S s h a d o w(x,y)为阴影区域,S n o n s h a d o w(x,y)为非阴影区域,根据式(2)可得非阴影区域和阴影区域的比值,如式(3)所示.S n o n s h a d o wS s h a d o w=(L d n o n s h a d o w+L e n o n s h a d o w)ˑR n o n s h a d o w(kˑL d s h a d o w+L e s h a d o w)ˑR s h a d o w(3)由于式(3)中阴影的本影区域k=0,并且同一幅影像中的同质区域内直接光源分量L d㊁环境散射光源分量L e和反射光分量R相等,设L d和L e 比值为c,c为常量,那么式(3)可以简化为式(4).S n o n s h a d o wS s h a d o w=c+1(4)阴影去除的核心就是将阴影区域的光照恢复到非阴影区域,而对各个波段分别处理,尽可能保证色调信息的一致性.根据以上的数学推导,阴影去除的目标就是要找到同质区域下的阴影区域和非阴影区域的像素点,利用式(4)估计出比值,然后再利用估计值,将阴影区域像素点各个波段颜色值变换到非阴影区域,从而完成阴影的去除.因此可以认为阴影去除的方法一般分为两步:一是阴影区域的精确检测;二是寻找同质区域下的阴影区域和非阴影区域,估算出阴影光照补偿因子.2㊀算法描述2.1㊀算法总述本文的算法主要有如下步骤.首先,利用基于约束条件下的颜色不变量进行阴影区域的粗检测;其次,对阴影粗检测的区域构造外接矩形扩大区域作为缓冲区;再次,利用粗检测区域的最大内切圆作为零水平集,在缓冲区中进行水平集演化,得到阴影的精确轮廓.精确轮廓可以提供更加完整的阴影区域,同时也为后一步同质区域的选取提供了帮助,因为利用阴影轮廓点的邻域作为同质区域的前提条件是提取精确的阴影轮廓.然后,由于阴影轮廓靠近93遥感信息2020年2期建筑物一部分明显不能作为同质区域,应该剔除掉,因此利用航空影像的P O S 信息和太阳高度角,求出阴影在影像上的方向,通过阴影质心和阴影的方向切割出不与建筑物相连接的阴影轮廓;最后,对每个阴影轮廓点的邻域建立一个模板窗口,利用模板窗口中的阴影和非阴影部分的关系,估计出阴影光照补偿因子,从而进行阴影去除.算法的总体流程如图1所示.图1㊀算法总体流程图2.2㊀基于颜色不变量的阴影检测颜色不变量最初是由G e v e r s 等[17]提出来的,它是一种颜色集合模型,不受视角㊁物体表面光滑程度㊁光照方向㊁光照密度和亮度的影响.目前许多研究者利用颜色不变量替代N D V I 进行植被的检测和提取,同时也把它用于阴影检测.例如文献[17]中利用彩色R G B 空间的蓝色通道和绿色通道对阴影进行检测.文献[18]对文献[17]进行了改进,利用了R G B 的3个通道的颜色进行阴影检测.本文是在文献[18]阴影检测的基础上,加上了约束条件(式(5)),主要目的是为了在阴影检测时剔除绿色植被的错误检测.S C (i ,j )=4πˑa r c t a n (R (i ,j )-R (i ,j )2+G (i ,j )2+B (i ,j )2R (i ,j )+R (i ,j )2+G (i ,j )2+B (i ,j )2)G (i ,j )<m a x (R (i ,j ),B (i ,j ))ìîíïïïïïï(5)式中:i ,j 是影像的行列号;S C 表示检测的阴影区域;R (i ,j )㊁G (i ,j )和B (i ,j )分别代表R G B 彩色空间的3个颜色通道.因为仅用式(5)中的第一个表达式进行阴影检测,经过实验发现会把绿色植被作为阴影错误检测,因此需要加入约束条件,即式(5)中的第二个表达式作为约束项来滤除错误检测.根据光学原理,植被区域的吸收带位于蓝色波段和红色波段,在绿色波段处为反射峰.非阴影区的光照主要来源于反射光㊁环境光和大气散射,传感器感知的光强主要为反射光,绿地能强烈反射绿光,因此绿地区域对应像素的G 分量有较大的概率.本文在式(5)中加入了检测约束条件,可以滤除检测的绿色植被区域.2.3㊀基于水平集的阴影轮廓演化由于阴影区域的颜色不均匀,采用2.2节颜色不变量检测的阴影区域边界不精细,无法得到较为完整的阴影区域,水平集演化算法具有灵活的曲线演化能力,分割演化的结果轮廓精细清晰且连续性好.由于经典的水平集泛函的极小值通常不容易求得,如果零水平集选择不当,不仅容易演化到局部极小值,而且会降低运算速度,所以水平集函数的初始化非常重要.本文利用已检测阴影区域构建水平集的初始函数和局部缓冲区,提高水平集演化的精度和速度.具体实现过程如下:1)根据式(5),可由式(6)对图像进行阈值分割,得到只有阴影和非阴影区域的二值图像.其中I (i ,j )表示新生成的二值图像,T 表示区分阴影和非阴影的阈值.I (i ,j )=0,若S C (i ,j )ȡT 且满足式(5)1,若S C (i ,j )<T{(6)2)根据步骤1)中,设二值化图像中阴影区域为Ω,04引用格式:涂继辉,杜红,眭海刚,等.高分辨率航空影像阴影自动检测和去除[J ].遥感信息,2020,35(2):38G45.对区域Ω作最小外接矩形,对外界矩形进行扩大一半的面积,得到水平集演化的局部缓冲区Ω0.在对区域Ω求取最大内切圆Φ0,用此Φ0作为初始水平集函数.Φ0(x ,y )=(x -x 0)2+(y -y0)2=r 2(7)3)由于阴影区域内并非均匀区域,往往有树木㊁车辆等干扰,因此采用文献[19]提出的一种处理非均匀图像的水平集分割模型进行演化.目前的C V模型只针对灰度图像进行演化分割,本文将C V 模型扩展到彩色影像上.假设在缓冲区Ω0内为R G B 彩色图像空间,局部影像I i (x ,y ):Ω0ңR 2;i ɪ{r ,g ,b }.缓冲区中的轮廓线C 内为阴影区域Ωs h a d o w ,C 外为非阴影区域Ωn o n s h a d o w ,c s h ad o w 表示阴影区域内彩色信息的均值,令c s h a d o w =(c s h a d o w r ,c s h a d o w g ,c s h ad o w b );c n o n s h a d o w 表示非阴影区域内的彩色信息的均值,令c n o n s h a d o w =(c n o n s h a d o w r ,c n o n s h a d o w g ,c n o n s h a d o w b ).Φ是水平集函数,拟合的能量函数为非均匀灰度,设k 为非均匀亮度因子,基于水平集C GV 模型的能量函数见式(8).E (Φ,c s h a d o w i ,c n o n s h a d o w i )=λ1ʏΩs h a d o w13(I i (x ,y )-k ˑc s h a d o w i )2d x d y +λ2ʏΩn o n s h a d o w 13(I i (x ,y )-c n o n s h a d o w i )2d x d y +μL e n g t h (C )+νA r e a (C )(8)式中:i ɪ{r ,g ,b };系数λ1,λ2>0;μ,νȡ0为固定参数.根据文献[19],本文参数设定为λ1=λ2=1,μ=1.0,ν=0.001ˑ2552.L e n gt h (C )和A r e a (C )表示轮廓线的长度项和面积项,根据H e a v i s i d e 函数和一维狄拉克函数δ0=d H (Φ)d Φ,长度项和面积项表达式见式(9).L e n g t h (C )=ʏΩs h a d o wδ0(Φ(x ,y )ΔH (Φ(x ,y )d x d yA r e a (C )=ʏΩs h a d o wH (Φ(x ,y )d x d y ìîíïïïï(9)当Φ不变的情况下,极小化能量函数E (Φ,c s h ad o w i ,c n o n s h a d o w i ),可得到c s h a d o w i 和c n o n s h a d o w i 的表达式为:c s h a d o w i =ʏΩs h a d o w I i (x ,y )H (Φ(x ,y ))d x d yʏΩs h a d o w H (Φ(x ,y ))d x d y c n o n s h a d o w i =ʏΩn o n s h a d o w I i (x ,y )(1-H (Φ(x ,y ))d x d y ʏΩn o n s h a d o w(1-H (Φ(x ,y )))d x d y ìîíïïïïïïïïï(10)当ʏΩs h a d o wH (Φ(x ,y ))d x d y >0时,c s h ad o w i 有意义;当ʏΩs h a d o w(1-H (Φ(x ,y ))d x d y )>0时,c n o n s h a d o w i 有意义.为了求解水平集函数Φ,令c s h a d o w i 和c n o n s h a d o w i 不变,引入时间变量t ,将水平集Φ对时间变量t 求导,式(8)对应的偏微分方程见式(11).ƏΦƏt=δ(Φ) [μΔΔΦΔΦ-ν-λ1I (x ,y )-c s h a d o w []2+λ2I (x ,y )-c n o n s h a d o w i []2](11)其中,Φ0(x ,y )=(x -x 0)2+(y -y0)2=r 22.4㊀基于阴影轮廓点邻域的阴影去除本文基于阴影轮廓点进行阴影去除的主要思想是:如图1第⑥步,认为图像中某一个点与其邻域内的点为同质区域,因此取阴影轮廓上的点与其邻域的点组成一个掩模窗口,这个窗口一部分处于阴影区域,另一部分处于非阴影区域,通过阴影区域和非阴影区域的平均像素点的比值,来估计阴影补偿因子.为了使补偿因子更加精确,本文利用阴影轮廓上的所有点来估计阴影补偿因子.但又由于阴影轮廓临近建筑物部分的轮廓点在邻域范围内明显为非同质区域,因此不能让这部分点参与估计阴影补偿因子,需要剔除.本文利用航空影像的P O S 信息结合航飞的时间来推算出阴影在影像上的方向,通过阴影区域的质心和方向剔除临近建筑物阴影轮廓曲线段.具体实施步骤如下:1)根据文献[20G21]的方法,利用航飞影像的P O S 信息和航飞的时间,通过式(12),求出太阳高度角,再根据式(13),求出太阳的方位角A .s i n α=s i n φs i n δ+c o s φc o s δc o s θ(12)A =a s i n (c o s φs i n θc o s α)(13)式中:α是太阳高度角;δ是太阳赤纬;φ是观测地的道理纬度;θ表示地方时角.2)如图2所示,设阴影区域Ω的质心点P 0为(x ,y ),太阳的方位角为A ,那么有质心P 0和方位角对应的直线方程L 1为y =x t a n A +b ;过质心P 0垂直L 1的直线方程L 2为y =x t a n (90-A )+b ,直线L 2与阴影沿着太阳方向角外的轮廓线交点为A 1和A 2,曲线段A 1A 2上的点就是参与因应补偿因子估计的点.3)任意取得曲线段A 1A 2上的一点P i ,对P i 取得n ˑn 大小的邻域窗口,P i 对应的邻域点的集合14遥感信息2020年2期图2㊀阴影补偿因子估计示意图为S ={P i 1,P i 2,P i 3, ,P i n }.设集合S 中在阴影区点个数为k 1,阴影区点的颜色R G B 空间3个通道的颜色值和分别为ðk 1i =1R i㊁ðk 1i =1Gi和ðk 1i =1Bi,在非阴影区点个数为k 2,非阴影区点的颜色R G B 空间3个通道的颜色值和分别为ðk 2i =1R ᶄi㊁ðk 2i =1Gᶄi和ðk 2i =1B ᶄi,此点光照在R G B 空间3个通道上的阴影补偿因子分别是:C R i=(ðk 1i =1R i )/k 1(ðk 2i =1R ᶄi )/k 2,C G i=(ðk 1i =1G i )/k 1(ðk 2i =1G ᶄi )/k 2,C B i=(ðk 1i =1B i )/k 1(ðk 2i =1B ᶄi )/k 2.4)设曲线段A 1A 2上点的个数为N ,3个通道上的阴影补偿因子为C R =ðNi =1CR iN,C G =ðNi =1CG iN,C B =ðNi =1CB iN.5)对阴影区域Ω每个点,利用步骤4)中的阴影补偿因子估计进行换算,就可以去除阴影.3㊀实验结果和分析为了验证本文所提出算法的性能,对2014年四川北川航空遥感影像(分辨率0.25m )和2015年武汉市航空遥感影像(分辨0.15m )进行实验,实验环境是I n t e r X e n o C P UE 3G1220v 33.10G H z ,W i n 7,8G B 内存的P C 机,编程工具为M a t l a b 2012a .为了定量评价阴影检测的性能,本文采用漏检率F O E R ㊁误检率F A E R 和总错误率F T E R ,分别定义如式(14)~式(16)所示.F O E R =F NT S(14)F A E R =F PT S(15)F T E R =F A E R +F O E R (16)式中:T S 表示阴影区域像素点数;F N 表示未检测的阴影像素点数;F P 表示非阴影区域误检为阴影的像素点数.漏检率㊁误检率和总错误率都是越小表示检测效果越好.为了定量评价文献中阴影去除算法的效果,主要通过比较阴影去除后区域内的平均亮度和平均梯度作为定量评价.由于文献[22]是一种比较经典的阴影去除方法,因此本文将与文献[22]中改进的W a l l i s 阴影去除算法进行比较.3.1㊀阴影检测阴影去除效果受到阴影区域检测精度的制约,这部分实验将利用式(14)㊁式(15)㊁式(16)对阴影检测的精度和阴影去除效果进行定量评估.从图3㊁图4㊁图5可以看出,本文阴影去除方法对比改进的W a l l i s 算法,能够较好地扩大阴影区域的亮度,去除后的细节较为清晰.表1给出了3幅影像阴影检测的定量评价指标,本文的阴影检测算法的漏检率均低于文献[8]和文献[9]方法,误检率也略低于另外2种方法.总错误率即综合性能评价分析,均低于另外2种算法,说明本文阴影检测方法具有明显的优势.本文的阴影检测算法之所以取得了较好的检测效果,主要在于水平集算法能够演化出精确的轮廓边界,颜色不变性的粗检测也为水平集演化提供了先验信息.图3㊀阴影检测结果(武汉地区1)24引用格式:涂继辉,杜红,眭海刚,等.高分辨率航空影像阴影自动检测和去除[J ].遥感信息,2020,35(2):38G45.图4㊀阴影检测结果(武汉地区2)图5㊀阴影检测结果(北川地区)表1㊀阴影检测结果评价表%影像漏检率F O E R误检率F A E R总错误率F T E R文献[8]文献[9]本文方法文献[8]文献[9]本文方法文献[8]文献[9]本文方法图335.3619.657.313.612.752.7238.9722.409.34图436.7816.916.036.147.435.2142.9224.3411.24图528.5319.238.253.983.122.7632.5122.3511.013.2㊀阴影补偿参数估计为了进一步检测利用阴影轮廓邻域点得到的补偿因子估计的准确性,本文对图3的最大轮廓邻域中的阴影部分点和非阴影部分的点进行了统计,所用邻域窗口大小为7像素ˑ7像素.图6为阴影补偿因子估计.从图6可以看出,2条曲线具有较强的相似性,即曲线上的点的比值恒定,由此可以推断轮廓点邻域中的阴影部分和非阴影部分的点属于同质区域,利用这些点进行阴影补偿因子的估计,具有较好的可靠性.由于可近似认为地面在1~2m2范围内为同质区域的可能性较大,因此邻域窗口的大小选取主要取决于影像分辨率与地面同质区域面积的比值.图6㊀阴影补偿因子估计34遥感信息2020年2期3.3㊀阴影去除从图7㊁图8㊁图9可以看出,本文阴影去除方法对比改进的W a l l i s算法,能够较好地扩大阴影区域的亮度,去除后的细节较为清晰.表2给出了3幅影像阴影去除后的定量评价指标,本文阴影去除算法的亮度均值B和平均梯度值T比原始区域得到了大幅度提高,但不易达到与目标值完全一致的水平,与人工确定3个参数的改进W a l l i s去除算法的最佳效果比,本文方法整体较优.本文的阴影去除算法之所以取得较好的去除效果主要在于:利用前一步阴影检测中获取的较完整的区域和较精确的轮廓,通过轮廓点邻域区域作为同质区域用于阴影补偿因子的估计,不但估计准确,而且自动化程度高.因此本文算法能够更加稳定和高效地统一恢复所有阴影区域的基本信息,细节纹理恢复较好.图7㊀阴影去除结果(武汉地区1)图8㊀阴影去除结果(武汉地区2)图9㊀阴影去除结果(北川地区)表2㊀阴影去除结评价表影像指标阴影区域非阴影区域本文去除后的阴影区域文献[22]的阴影去除图7亮度均值B㊀57.704483.973882.134687.8346平均梯度值T0.04150.09480.09700.0863图8亮度均值B㊀43.585685.121084.940089.6751平均梯度值T0.01700.07630.08840.0682图9亮度均值B㊀47.995184.326283.332181.3375平均梯度值T0.05040.19600.18240.175444引用格式:涂继辉,杜红,眭海刚,等.高分辨率航空影像阴影自动检测和去除[J].遥感信息,2020,35(2):38G45.4㊀结束语为了解决阴影对高分辨率航空影像的信息提取存在着干扰的问题,本文提出了一种新的阴影自动检测和去除方法.该方法利用颜色不变量检测出阴影的区域,然后利用水平集的演化得到阴影精确轮廓,最后利用阴影边界邻域点作为同质区域估算阴影的补偿因子,从而去除阴影.实验证明,该方法能够自动精确地获取阴影区域和进行阴影的去除,不但较好提高了整体的亮度,而且使得阴影的区域地物细节得到了较好的恢复,这对遥感影像的自动化预处理具有重要的意义.参考文献[1]㊀王彦情,马雷,田原.光学遥感图像舰船目标检测与识别综述[J].自动化学报,2011,37(9):1029G1039.[2]㊀田昊,杨剑,汪彦明,等.基于先验形状约束水平集模型的建筑物提取方法[J].自动化学报,2010,36(11):1502G1511.[3]㊀柳稼航,杨建峰,方涛.彩色遥感影像阴影颜色特性分析[J].光子学报,2009,38(2):441G447.[4]㊀夏怀英,郭平.基于统计混合模型的遥感影像阴影检测[J].遥感学报,2011,15(4):778G791.[5]㊀MA K A R A U A,R I C H E RR,MU L L E RR,e t a l.A d a p t i v e s h a d o wd e t e c t i o nu s i n g ab l o c k b o d y r a d i a t o rm o d e l[J].I E E E T r a n s a c t i o no nG o e s c i e n c e a n dR e m o t eS e n s i n g,2011,49(6):2049G2059.[6]㊀叶勤,徐秋红,谢惠洪.城市航空影像中基于颜色恒常性的阴影消除[J].光电子(激光),2010,21(11):1706G1712.[7]㊀C HU N G K,L I U Y,HU A N G Y.E f f i c i e n ts h a d o w d e t e c t i o no fc o l o ra e r i a l i m a g e sb a s e do ns u c c e s s i v et h r e s h o l d i n g s c h e m e[J].I E E ET r a n s a c t i o n s o nG e o s c i e n c e a n dR e m o t eS e n s i n g,2009,47(2):671G681.[8]㊀AMA T O A,MO Z E R O V M G,B A G D A N O V A D,e t a l.A c c u r a t em o v i n g c a s t s h a d o ws u p p r e s s i o nb a s e do n l o c a l c o l o rc o n s t a n c yde t e c t i o n[J].I E E ET r a n s a c t i o n s o n I m a g eP r o c e s s i n g,2011,20(1):2954G2966.[9]㊀L I UJH,F A N G T,L IDR.S h a d o wd e t e c t i o n i n r e m o t e l y s e n s e d i m a g e b a s e d o n s e l fGa d a p t i v e f e a t u r e s e l e c t i o n[J].I E E E T r a n s a c t i o n s o nG e o s c i e n c e a n dR e m o t eS e n s i n g,2011,49(12):5092G5103.[10]S U S U K I,S H I O A,A R A IH,e t a l.D y n a m i c s h o wc o m p e s a t i o no f a e r i a l i m a g e sb a s e do n c o l o r a n d s p a t i a l a n a l y s i s[C]// P r o c e e d i n g s o f t h e15t h I n t e r n a t i o n a l C o n f e r e n c e o nP a t t e nR e c o g n i t i o n.B a r c e l o n a:[s.n.],2000,1:317G320.[11]徐秋红,叶勤.一种基于颜色恒常性理论的城市高分辨率遥感影像阴影消除方法[J].遥感信息,2010,25(3):13G16,111.[12]许龙.弱辐射特征图像增强技术研究[D].郑州:解放军信息工程大学,2012.[13]王玥,王树根.高分辨率遥感影像阴影检测与补偿的主成分分析方法[J].应用科学学报,2010,28(2):136G141.[14]于东方,殷建平,张国敏.一种基于灰度直方图的遥感影像阴影自动检测方法[J].计算机工程与科学,2008,30(12):43G44,93.[15]Z HA N G H,S U N K,L I W.O b j e c tGo r i e n t e ds h a d o w d e t e c t i o na n dr e m o v a l f r o m u r b a nh i g hGr e s o l u t i o nr e m o t es e n s i n gi m a g e s[J].I E E ET r a n s a c t i o n s o nG e o s c i e n c e a n dR e m o t eS e n s i n g,2014,52(11):6972G6982.[16]L A N D E H,M C C A N NJ.L i g h t n e s s a n d r e t i n e x t h e o r y[J].J o u r n a l o fO p t i c a l S o c i e t y o fA m e r i c a,1971,61(1):1G11.[17]G E V E R ST,S M E U L D E R SA W M.P i c T o S e e k:c o m b i n i n g c o l o ra n ds h a p e i n v a r i a n t f e a t u r e sf o r i m a g er e t r i e v a l[J].I E E ET r a n s.I m a g eP r o c e s s,2000,9:102G119.[18]N I C H O L A SS,T A K I SK.A u t o m a t i c v e g e t a t i o n i d e n t i f i c a t i o n a n db u i l d i n g d e t e c t i o n f r o ma s i n g l e n a d i r a e r i a l i m a g e[J].I n t e r n a t i o n a l J o u r n a l o fR e m o t eS e n s i n g,2009,1:731G757.[19]L IC M,HU A N G R,D I N G Z H,e t a l.A l e v e ls e t m e t h o df o ri m a g es e g m e n t a t i o ni nt h e p r e s e n c eo fi n t e n s i t y i nh o m o g e n e i t i e sw i t ha p p l i c a t i o n t o M R I[J].I E E ET r a n s a c t i o n s o n I m a g eP r o c e s s i n g,2011,20(7):2007G2016.[20]张闯,吕东辉.太阳实时位置计算及在图像光照方向中的应用[J].电子测量技术,2010,33(1):918G923.[21]贺晓雷,于贺军,李建英,等.太阳方位角的公式求解及其应用[J].太阳能学报,2008,29(1):69G73.[22]高贤君,万幼川,郑顺义,等.航空遥感影像阴影的自动化检测与补偿[J].武汉大学学报(信息科学版),2012,37(11):1299G1302.54。
山地丘陵区遥感影像阴影检测与去除方法刘健;许章华;余坤勇;龚从宏;唐梦雅;谢婉君【摘要】阴影是山地丘陵区遥感影像最为普遍的干扰因素,去除阴影有助于提高影像解译和地物识别的准确性和有效性.构建了阴影植被指数(SVI),并提出应用波段回归模型法实现HJ-1多光谱影像阴影的去除.将该方法应用于试验区HJ-1数据,结果表明:SVI可增大山地丘陵区水体、阴影区及明亮区之间的差异,利用阈值法可以实现影像阴影的有效检测;相关分析显示,各波段拟合模型R2均在0.80以上;比较阴影去除前、后影像的统计指标说明,在植被最为敏感,即受阴影影响最为严重的近红外波段,随着阴影的去除,波段平均值有了较大幅度的增大;去阴影后影像的标准差均比原影像要小,尤其是在近红外波段.试验结果表明,SVI对山地丘陵区HJ-1影像阴影的检测效果较好,而波段回归模型法可以较为有效地实现阴影的去除.【期刊名称】《农业机械学报》【年(卷),期】2013(044)010【总页数】5页(P238-241,237)【关键词】山地丘陵区;多光谱影像;阴影检测;阴影植被指数;波段回归模型法【作者】刘健;许章华;余坤勇;龚从宏;唐梦雅;谢婉君【作者单位】福建农林大学3S技术应用研究所,福州350002;福建农林大学3S技术应用研究所,福州350002;福建农林大学3S技术应用研究所,福州350002;福建农林大学3S技术应用研究所,福州350002;福建农林大学3S技术应用研究所,福州350002;福建农林大学3S技术应用研究所,福州350002【正文语种】中文【中图分类】TP79;P237引言图像阴影可以用来判定光源强度、位置以及山体高度与形状,但阴影削弱了地物在传感器上的响应,严重干扰了目标地物的识别与解译[1~2]。
尤其是在山地丘陵区域,遥感影像中的阴影极为普遍[3]。
虽然可以利用阈值法将影像分割为明亮区与阴影区后分别进行研究,但仍无法解决阴影区域信息丢失的问题。
2020年软 件2020, V ol. 41, No. 4作者简介: 管铄磊(1995–),男,上海理工大学光电信息与计算机工程学院硕士,主要研究方向为计算机视觉、图像处理。
通讯联系人: 孙国强(1962–),上海理工大学光电信息与计算机工程学院副教授,主要研究方向为嵌入式应用系统、图像处理。
单幅图像下不同阴影强度的阴影去除管铄磊,孙国强*(上海理工大学 光电信息与计算机工程学院,上海 200093)摘 要: 阴影是由于场景的照明不一致而出现在图像中的自然现象。
当物体的透光度不同或由不同光源照射会在图像中产生不同强度的阴影。
因此,对具有不同阴影强度的图像阴影去除进行了研究。
通过用户交互得到阴影掩模,接下来检测具有围绕阴影边界的可变间隔和长度的样本强度分布,这避免了不均匀边界引起的伪影。
然后结合超像素分割算法和FCM_S 聚类算法对阴影部分进行区域合并,用于阴影和图像边界处尺度的估计。
为了恢复阴影部分光照,采用图像修复算法传播阴影尺度场。
最后,得到阴影去除后的图像,并进行色彩校正。
为了证明该算法的优越性能,与其他算法进行定量比较,结果有所提升。
关键词: 阴影去除;超像素分割;FCM_S 算法;阴影尺度估计;色彩校正中图分类号: TP391 文献标识码: A DOI :10.3969/j.issn.1003-6970.2020.04.032本文著录格式:管铄磊,孙国强. 单幅图像下不同阴影强度的阴影去除[J]. 软件,2020,41(04):148 154Shadow Removal of Different Shadow Intensities in Single ImageGUAN Shuo-lei, SUN Guo-qiang *(School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China )【Abstract 】: Shadows are natural phenomena that appear in images due to inconsistent lighting in the scene. When the light transmittance of an object is different or illuminated by different light sources, different intensity shadows will be generated in the image. Therefore, research has been performed on image shadow removal with different shadow intensities. Obtain a shadow mask through user interaction, and then detect the sample intensity distribution with a variable interval and length around the shadow boundary, which avoids artifacts caused by uneven boundaries. Then combine the superpixel segmentation algorithm and the FCM_S clustering algorithm to combine regions of the shadows to estimate the scales at the shadows and image boundaries. In order to restore the shadow part of the light, an image repair algorithm is used to propagate the shadow scale field. Finally, the shadow-removed image is ob-tained and color corrected. In order to prove the superior performance of this algorithm, a quantitative comparison with other algorithms has been made to improve the results.【Key words 】: Shadow removal; Superpixels segmentation; FCM_S algorithm; Shadow scale estimation; Color correction0 引言随着计算机技术和人工智能的不断发展,计算机视觉的相关技术已经深入到生活的各个方面。
一种改进的图像阴影去除方法摘要:阴影是图像处理中一个非常常见的问题,因为它可以严重影响图像质量和处理。
在许多应用程序中,如计算机视觉、视觉传感器网络和机器人视觉等,阴影去除是必要的。
本文提出了一种改进的图像阴影去除方法,该方法可以准确地检测和去除图像中的阴影,并显著提高图像的质量。
实验结果表明,所提出的方法具有高效性和可行性。
关键词:阴影去除;图像处理;计算机视觉;视觉传感器网络;机器人视觉引言:现代图像处理技术广泛应用于各个领域,如医学图像处理、数字图像处理和计算机视觉等。
其中阴影去除是图像处理领域中的一大难题,因为阴影对图像质量和处理具有严重的影响。
在计算机视觉、视觉传感器网络和机器人视觉等领域中,阴影去除是必要的,因为它可以改善图像质量,减轻计算负担,并提高算法的稳定性和可靠性。
本文提出了一种改进的图像阴影去除方法,该方法基于阴影检测和纹理特征,可以准确地检测和去除图像中的阴影,并显著提高图像的质量。
实验结果表明,所提出的方法具有高效性和可行性。
主体:1.阴影检测阴影检测是阴影去除的一个基本步骤,它可以准确地找到图像中的阴影区域,并对其进行进一步处理。
传统的阴影检测方法基于颜色和亮度的差异,但它们不能针对复杂背景的阴影进行准确检测。
为了克服这种限制,我们提出了一种改进的阴影检测方法,该方法基于多次量化和两个门限的判定。
具体步骤如下:1)对输入图像进行灰度化和平滑化处理,以消除图像中的噪声。
2)计算图像的梯度幅值,并将其划分为若干个不同等级的区间。
3)根据梯度幅值分别计算每个区间的平均值和标准差。
4)设置两个门限,一个用于区分阴影和非阴影区域,另一个用于区分强阴影和弱阴影区域。
5)对于每个像素,选择它所在区域的平均值和标准差,计算其Z 值,并与上述两个门限进行比较,以确定它是否属于阴影区域。
通过上述步骤,我们可以得到准确的阴影检测结果,并将其用于下一步阴影去除。
2.阴影去除阴影去除是阴影处理的最终目标,它可以准确地消除图像中的阴影,并提高图像的可见度和质量。
基于多阶段生成对抗网络的单幅图像阴影去除方法分析摘要:文章简要阐述了图像阴影性质与性能影响,重点分析多阶段的生成对抗网络,去除阴影的方式与运行操作流程。
基于训练任务,区分与提取不同的阴影模块,利用组合函数控制阴影去除的损失。
关键词:多阶段;生成对抗网络;单幅图像;阴影去除引言:图像中普遍存在阴影,其能够给相关视觉研究予以关键性的信息,但同时还会提升目标定位与物体测量等工作的实现难度。
因而去除阴影始终是一项主要的分析话题。
一、图像阴影性质及图像性能影响(一)图像阴影性质通过对比阴影和非阴影区域,能够整理出前者几点阴影性质表现:一是亮度较低,这和环境光强度存在密切联系,相应图像区域像素亮度和照度不同照度相关。
二是图像饱和度大于背景部分,同时非阴影处饱和度也会较大。
三是低频带阴影部分的亮度,和环境光深度有联系。
当环境光深度被视为相同时,像素亮度压缩状态下,梯度随之改变,对应区域便呈现低频形式。
四是图像表面纹理不变[1]。
阴影部分亮度与色彩信息极易被影响,但纹理信息一般会得到保留。
五是阴影轮廓边界和遮挡物类似,能借助几何分析与计算提炼出阴影几何特点。
(二)图像性能影响对于图像性能来说,影响因素不仅包含光线与纹理特点,还有图像采集与处理方面的干扰。
其一,图像采集工具。
照相机或摄影机等工具的传感范围会有不同,该类因素会使像素出现剪裁的情况,或者说在不能改辨别色阶时,将多个数值的黑色,直接量化为相同的值。
其二,后处理,例如阴影调色、提亮与色彩平衡等,这类处理操作虽然可以平衡原图色感,优化阴影部分,但也会使图像中的某些信息被压缩。
二、多阶段生成对抗网络去除阴影方式(一)确认驱动训练任务在多任务驱动生成器中,可以确认两项主要任务,即阴影检测与蒙版生成。
阴影检测任务子网就是由输入图像形成阴影掩膜,根据数值能标识多种阴影类型。
相应的蒙版生成任务,是通过“学习”从阴影向非阴影图像对应内在联系,继而得到蒙版。
以生成器整体来讲,二者功能各自独立运行,为防止由于网络本身太过复杂造成不能有效收敛训练,会对两者实施预训练,这样能有效缩短训练的时长。
图像的阴影检测与去除算法分析
摘要:针对图像阴影的问题,文章讨论了现有的几项检测技术,即“光照无关”“连续阈值图”与“区域生长”技术。
进一步分析了阴影去除算法,包括泊
松方程、梯度域以及成对区域三种算法。
关键词:图像阴影;检测技术;去除算法
引言:采集图像中,往往会受到各种各样因素的影响,导致图像质量下降。
而阴影就是一种常见的降质表现,主要是由成像条件造成的。
阴影会令图像承载
的信息量不完整,或是被干扰,影响目标解译的精度。
而阴影既会限制视觉判断,又不利于图像分析和后期处理,所以检测与去除阴影是有必要的。
一、图像的阴影检测技术
(一)光照无关阴影检测技术
光照无关技术运行机理在于,从RGB颜色空间,转换成仅和图像采集设备感
光函数与拍摄目标表面反射特征相关,但和物体接受的光线方向、色彩及亮度都
没有联系的一种灰度图像。
借助灰度图像本身的光照无关的特性,检测目标物体
的轮廓位置,最终结合从原图中获取的目标物及阴影边缘,以此测出阴影边缘。
此种阴影检测技术,即便拥有面对较为杂乱纹理信息的图像,也能保持较佳的鲁
棒性[1]。
但对于比较复杂的阴影区域,精准测出阴影边界的难度较大,这主要和
图像采集设备摄影函数及表面反射率有关。
由此可推断出,该项检测技术的适用
范围有:普朗克成像光源;朗伯成像表面;采集设备光谱响应函数是窄带函数。
但现在现实中,很少会有图像可以同时符合以上三项条件,因此该方法存在较大
的使用限制。
(二)连续阈值图阴影检测技术
从肉眼观察层面来讲,HSI颜色模型属于相对接近的色彩描述,包含角度与
饱和度、强度等。
如果根据角度与强度比值,绘制比率图,用于测出彩色遥感图
像上的阴影区域,基本操作流程是:通过比率图,完成HSI建模。
根据此模型的
色彩表现,阴影部分和非阴影处相较,强度偏低、角度较高。
倘若在该种方法的
基础上,借助双边滤波器,对目标图像实施滤波处理,这样起到去噪的作用。
而
后利用全局阈值,将像素划分成非阴影与候选阴影两个类型,初步生成阴影图。
进一步检测候选阴影像素的实际成分,锁定候选阴影部分,随后通过局部预制与
后续阴影判断处理,便可获取精细化阴影图像。
通过此项技术进行阴影检测,不
仅具有较高的处理效率,还能保证图像信息的连续性。
倘若未通过局部阈值进行
分析,有可能会获取更好的遥感影像。
但如果是自然图像,因为亮度信息一般都
非常复杂,目标物体材质与纹理均有明显的不同,所以只通过全局阈值,无法体
现出存在明显纹理变化的图像。
(三)区域生长阴影检测技术
自动阴影检测属于比较困难的任务,比如某个像素点是暗的状态,就难以确
认此种情况的成因,或对应场景点有阴影,或是反射率造成的。
某些场景下,肉
眼也很难辨别出图像上的阴影部分,常见阴影检测技术都结合了用户交互的形式,以此优化阴影检测效果。
区域生长检测方法便采取用户交互模式,其突出特征在
于最小用户输入,通过在阴影部分选取一个种子点,利用迭代区域生长,进一步
扩展种子点,由此形成一处板块,该种迭代检测方法要连续运用3-4次。
相应扩
展种子点进行阴影掩膜及同一表面亮度掩膜计算,最后汇总成完整阴影掩膜。
此
项检测技术的应用优势在于,可以准确区分阴影与非阴影的部分,以此强化阴影
图像。
但缺陷是针对不连续的阴影面积,要设置若干种子点。
二、图像的阴影去除算法
去除阴影的根本意图是使阴影部分纹理与亮度、颜色和非阴影处相同,在视
觉观察上达到一致。
基于有效检测图像上的阴影部分,就要考虑通过适当算法去
除阴影部分。
(一)泊松方程阴影去除算法
泊松方程算法实现原理是根据图像上阴影和非阴影处均是一种物体的概念,
认为光照仅是在二者边界处形成突变,导致边界梯度提高。
假设把阴影边界梯度
值设置成零,就能使阴影和非阴影面积的亮度更加接近,以此解决边界处的明显
光照变化。
此项去除算法主要有三个环节:一是构建无阴影梯度场;二是基于此
梯度场,随意选取非阴影的位置,当成修复亮度的边界;三是借助确认泊松方程
对应边界条件,必能按照非边界以外的非阴影区域像素亮度,修复无阴影的图像[2]。
此种阴影去除算法在许多图像处理中都有较好的效果,但也有某些缺陷难以
完全弥补。
这是由于阴影边界精度水平会对图像修复质量造成影响,为确保阴影
与非阴影部分的亮度相同,如果边界处的梯度是0,那么会使边界区域损失纹理
信息。
另外,该方法也忽略了环境光照与物体材质的问题,导致阴影部分的纹理
特征无法完全修复。
(二)梯度域阴影去除算法
大多数图像上的阴影与非阴影部分,都有明显的亮度区别,而区域内的其他
信息,如材质与纹理等都比较接近,导致二者具有类似的梯度细节。
阴影部分的
边界,因为像素亮度值有了明显的改变,导致梯度值提高。
该项去除算法的运行
过程为:第一,初步确认阴影部分的边界,锁定修正的大致目标范围。
第二,基
于梯度域,修正阴影内部与边界处的梯度。
对于阴影内部来说,可通过直方图匹配,实现图像梯度信息修复;对于边界位置的处理,从非阴影区域挑选最优的匹
配块,提取其梯度值,直接向待修正的阴影部分填充,由此形成无阴影的梯度场。
第三,通过泊松方程,获得阴影内部的信息数值。
和上文所述的算法相较,梯度域去除算法无需准确锁定阴影面积边界,并且
还可以保留与修复阴影内、边界位置的纹理信息。
其的不便之处在于,面对不连
续的阴影,尤其是过窄的阴影面积,去除效率会比较低。
(三)成对区域阴影去除算法
成对区域阴影去除算法,对于复杂场景与明显光照的条件具有良好鲁棒性,
可以精准锁定自然图像上的阴影部分。
该算法能归纳出以下几个环节。
一是把原
图转化进CIELAB色彩空间,借助均值漂移算法完成初步分割。
二是提取各个阴
影图像区域的色彩与纹理,描述包括不连续位置在内的全部成对区域物体材料及
光照联系。
三是基于各图像块上纹理特征与亮度关系,进一步归类分割后的图像块。
四是把阴影部分像素当成前景,非阴影部分像素就是背景,借助消光技术,
修正阴影系数。
根据直接光与环境光二者比率,将阴影部分的所有像素进行点亮
处理,由此得到无阴影的图像。
该项阴影去除算法,可以用在软阴影的图像处理中,可以保证最终的修复效果。
但因为其未能注意到拍摄物体目标的反射率差异,所以无法完全保留阴影部
分的纹理信息,使部分图像信息受损。
结束语:通过对现有图像阴影检测和典型去除算法的分析来看,各有优劣,
适用场景也略有不同。
例如连续阈值图对于目标物体材质与纹理极为敏感,即便
有巨大的变化,也能有效检出阴影,保证了阴影部分的连续性。
但区域生长算法
却无法用于亮度变化明显的图像修复任务中。
总而言之,对应图像阴影,要结合
阴影部分的实际情况与去除目标,综合比较不同检测技术与算法优缺点的基础上,选择一种或多种方法,有效修复图像信息。
参考文献:
[1]刘雪峰,刘秋月.图像阴影检测与增强算法研究[J].现代电子技
术,2022,(10):105-110.
[2]管宇,田建东,唐延东.基于正交分解的室外阴影图像恢复[J].信息与控
制,2021,(03):366-373+384.陈芳1980.11女汉族湖南省长沙人副教授北京工业
大学计算机技术硕士,从事计算机网络工程方面的课程教学
课题:《基于深度学习生成对抗网络的自然图像阴影检测与去除的研究》,湖南信息学院2022年度校级科研项目,项目编号:
XXY022YB01。