基于变混合系数的自适应抗锯齿视频叠加算法

基于变采样率的多假设预测分块视频压缩感知练秋生;田天;陈书贞;郭伟【期刊名称】《电子与信息学报》【年(卷),期】2013(000)001【摘要】For most of those existing block-based compressed sensing of video, the same measurement matrix is usually utilized for all blocks, which underestimates the fact that the structural complexity and the movement varies from different regions. To address this issue, a novel block-based adaptive compressde sensing algorithm with variable sampling rate is proposed according to the distribution characteristics of the correlations between neighboring frames. It classifies blocks into different types depending on their inter-frame correlation, and adjusts the sampling rate accordingly. Multihypothesis predicting algorithm is used to reconstruct the videos to make full use of the inter-frame correlation. The experiment showes that the proposed algorithm reduces the number of sampled measurements while still improving the quality of the reconstructed frames. Also, with the variable sampling rate method, a higher reconstruction quality can be achieved for the regions containing relatively fast movement.% 现有的分块视频压缩感知通常对所有图像块均采用相同的测量矩阵进行测量，这种平均分配采样率的测量方式忽略了视频中不同区域的结构复杂度和变化程度不同的事实。

110 •电子技术与软件工程 Electronic Technology & Software Engineering图像与多媒体技术・ Image & Multimedia Technology【关键词】FPGA 高清 视频叠加随着数字图像处理技术的飞速发展，视频信号叠加技术在现在社会中的应用非常广泛，运用的领域也越来越多，如：视频监控、银行点票机视频叠加器、广告娱乐以及交通管理等领域。

当前大多数视频叠加主要是基于字符叠加芯片的，这种叠加技术只能进行简单字符的叠加，并且叠加的视频信号的分辨率较低，灵活性较差，成本高。

为此，本文提出了通过FPGA 作为主控芯片，实现多路高分辨率视频信号的叠加技术。

这样技术，既克服了传统视频叠加器处理分辨率低的缺点，又能够支持视频信号的实时缩放与平面相对移动的功能，具有处理速度快，实时性好，灵活性强等特点。

1 硬件系统实现本文设计了一种基于FPGA 的三路高清视频信号的叠加系统，该系统采用ALTERA 公司cyclone III 系列的EP3C16F484C6作为核心处理芯片，其外围电路包括A/D 转换电路，FPGA 配置电路，串口通信（UART ）电路，SDRAM 存储电路，D/A 转换电路。

系统硬件结构框图如图1所示。

图1：系统硬件结构框图各个电路模块的功能如下：（1）A/D 转换电路：该电路模块的主要功能是将VGA 接口输入的模拟RGB 信号转换为FPGA 能够直接处理的数字RGB 信号。

由于本设计中要求支持的分辨率能达到1600*1200@60Hz ，所以本设计中采用了ADI 公司的AD9888芯片进行A/D 转换，该芯片最大支持分辨率为1600*1200@75Hz ，满足设基于FPGA 的多路高清视频信号叠加系统的设计文/王亮　蒋向东　王继岷计要求。

（2）FPGA 配置电路：该模块的主要功能是将程序配置到FPGA 中，以便对FPGA 进行操作和调试。

自适应分割的视频点云多模式帧间编码方法陈 建 1, 2廖燕俊 1王 适 2郑明魁 1, 2苏立超3摘 要 基于视频的点云压缩(Video based point cloud compression, V-PCC)为压缩动态点云提供了高效的解决方案, 但V-PCC 从三维到二维的投影使得三维帧间运动的相关性被破坏, 降低了帧间编码性能. 针对这一问题, 提出一种基于V-PCC 改进的自适应分割的视频点云多模式帧间编码方法, 并依此设计了一种新型动态点云帧间编码框架. 首先, 为实现更精准的块预测, 提出区域自适应分割的块匹配方法以寻找最佳匹配块; 其次, 为进一步提高帧间编码性能, 提出基于联合属性率失真优化(Rate distortion optimization, RDO)的多模式帧间编码方法, 以更好地提高预测精度和降低码率消耗. 实验结果表明, 提出的改进算法相较于V-PCC 实现了−22.57%的BD-BR (Bjontegaard delta bit rate)增益. 该算法特别适用于视频监控和视频会议等帧间变化不大的动态点云场景.关键词 点云压缩, 基于视频的点云压缩, 三维帧间编码, 点云分割, 率失真优化引用格式 陈建, 廖燕俊, 王适, 郑明魁, 苏立超. 自适应分割的视频点云多模式帧间编码方法. 自动化学报, 2023, 49(8):1707−1722DOI 10.16383/j.aas.c220549An Adaptive Segmentation Based Multi-mode Inter-frameCoding Method for Video Point CloudCHEN Jian 1, 2 LIAO Yan-Jun 1 WANG Kuo 2 ZHENG Ming-Kui 1, 2 SU Li-Chao 3Abstract Video based point cloud compression (V-PCC) provides an efficient solution for compressing dynamic point clouds, but the projection of V-PCC from 3D to 2D destroys the correlation of 3D inter-frame motion and re-duces the performance of inter-frame coding. To solve this problem, we proposes an adaptive segmentation based multi-mode inter-frame coding method for video point cloud to improve V-PCC, and designs a new dynamic point cloud inter-frame encoding framework. Firstly, in order to achieve more accurate block prediction, a block match-ing method based on adaptive regional segmentation is proposed to find the best matching block; Secondly, in or-der to further improve the performance of inter coding, a multi-mode inter-frame coding method based on joint at-tribute rate distortion optimization (RDO) is proposed to increase the prediction accuracy and reduce the bit rate consumption. Experimental results show that the improved algorithm proposed in this paper achieves −22.57%Bjontegaard delta bit rate (BD-BR) gain compared with V-PCC. The algorithm is especially suitable for dynamic point cloud scenes with little change between frames, such as video surveillance and video conference.Key words Point cloud compression, video-based point cloud compresion (V-PCC), 3D inter-frame coding, point cloud segmentation, rate distortion optimization (RDO)Citation Chen Jian, Liao Yan-Jun, Wang Kuo, Zheng Ming-Kui, Su Li-Chao. An adaptive segmentation based multi-mode inter-frame coding method for video point cloud. Acta Automatica Sinica , 2023, 49(8): 1707−1722点云由三维空间中一组具有几何和属性信息的点集构成, 通常依据点的疏密可划分为稀疏点云和密集点云[1]. 通过相机矩阵或高精度激光雷达采集的密集点云结合VR 头盔可在三维空间将对象或场景进行6自由度场景还原, 相较于全景视频拥有更真实的视觉体验, 在虚拟现实、增强现实和三维物体捕获领域被广泛应用[2−3]. 通过激光雷达反射光束经光电处理后收集得到的稀疏点云可生成环境地收稿日期 2022-07-05 录用日期 2022-11-29Manuscript received July 5, 2022; accepted November 29, 2022国家自然科学基金(62001117, 61902071), 福建省自然科学基金(2020J01466), 中国福建光电信息科学与技术创新实验室(闽都创新实验室) (2021ZR151), 超低延时视频编码芯片及其产业化(2020年福建省教育厅产学研专项)资助Supported by National Natural Science Foundation of China (62001117, 61902071), Fujian Natural Science Foundation (2020J01466), Fujian Science & Technology Innovation Laborat-ory for Optoelectronic Information of China (2021ZR151), and Ultra-low Latency Video Coding Chip and its Industrialization (2020 Special Project of Fujian Provincial Education Depart-ment for Industry-University Research)本文责任编委 刘成林Recommended by Associate Editor LIU Cheng-Lin1. 福州大学先进制造学院 泉州 3622512. 福州大学物理与信息工程学院 福州 3501163. 福州大学计算机与大数据学院/软件学院 福州 3501161. School of Advanced Manufacturing, Fuzhou University, Quan-zhou 3622512. College of Physics and Information Engineer-ing, Fuzhou University, Fuzhou 3501163. College of Com-puter and Data Science/College of Software, Fuzhou University,Fuzhou 350116第 49 卷 第 8 期自 动 化 学 报Vol. 49, No. 82023 年 8 月ACTA AUTOMATICA SINICAAugust, 2023图, 以实现空间定位与目标检测等功能, 业已应用于自动驾驶、无人机以及智能机器人等场景[4−7]. 但相较于二维图像, 点云在存储与传输中的比特消耗显著增加[8], 以经典的8i 动态点云数据集[9]为例, 在每秒30帧时的传输码率高达180 MB/s, 因此动态点云压缩是对点云进行高效传输和处理的前提.N ×N ×N 3×3×3为了实现高效的动态点云压缩, 近年来, 一些工作首先在三维上进行帧间运动估计与补偿, 以充分利用不同帧之间的时间相关性. 其中, Kammerl 等[10]首先提出通过构建八叉树对相邻帧进行帧间差异编码, 实现了相较于八叉树帧内编码方法的性能提升; Thanou 等[11]则提出将点云帧经过八叉树划分后, 利用谱图小波变换将三维上的帧间运动估计转换为连续图之间的特征匹配问题. 然而, 上述方法对帧间像素的运动矢量估计不够准确. 为了实现更精确的运动矢量估计, Queiroz 等[12]提出一种基于运动补偿的动态点云编码器, 将点云体素化后进行块划分, 依据块相关性确定帧内与帧间编码模式, 对帧间编码块使用提出的平移运动模型改善预测误差; Mekuria 等[13]则提出将点云均匀分割为 的块, 之后将帧间对应块使用迭代最近点(Iterative closest point, ICP)[14]进行运动估计,以进一步提高帧间预测精度; Santos 等[15]提出使用类似于2D 视频编码器的N 步搜索算法(N-step search, NSS), 在 的三维块区域中迭代寻找帧间对应块, 而后通过配准实现帧间编码. 然而,上述方法实现的块分割破坏了块间运动相关性, 帧间压缩性能没有显著提升.为了进一步提高动态点云压缩性能, 一些工作通过将三维点云投影到二维平面后组成二维视频序列, 而后利用二维视频编码器中成熟的运动预测与补偿算法, 实现三维点云帧间预测. 其中, Lasserre 等[16]提出基于八叉树的方法将三维点云投影至二维平面, 之后用二维视频编码器进行帧间编码; Bud-agavi 等[17]则通过对三维上的点进行二维平面上的排序, 组成二维视频序列后利用高效视频编码器(High efficiency video coding, HEVC)进行编码.上述方法在三维到二维投影的过程中破坏了三维点间联系, 重构质量并不理想. 为改善投影后的点间联系, Schwarz 等[18]通过法线将点映射于圆柱体上确保点间联系, 对圆柱面展开图使用二维视频编码以提高性能. 但在圆柱上的投影使得部分点因遮挡丢失, 影响重构精度. 为尽可能保留投影点数, Mam-mou 等[19]根据点云法线方向与点间距离的位置关系, 将点云划分为若干Patch, 通过对Patch 进行二维平面的排列以减少点数损失, 进一步提高了重构质量.基于Patch 投影后使用2D 视频编码器进行编码, 以实现二维上的帧间运动预测与补偿的思路取得了最优的性能, 被运动图像专家组(Moving pic-ture experts group, MPEG)正在进行的基于视频的点云压缩(Video-based point cloud compres-sion, V-PCC)标准[20]所采纳, 但将Patch 从三维到二维的投影导致三维运动信息无法被有效利用, 使得帧间压缩性能提升受到限制. 针对这一问题, 一些工作尝试在V-PCC 基础上实现三维帧间预测,其中, Li 等[21]提出了一种三维到二维的运动模型,利用V-PCC 中的几何与辅助信息推导二维运动矢量以实现帧间压缩性能改善, 但通过二维推导得到的三维运动信息并不完整, 导致运动估计不够准确.Kim 等[22]提出通过点云帧间差值确定帧内帧与预测帧, 帧内帧用V-PCC 进行帧内编码, 预测帧依据前帧点云进行运动估计后对残差进行编码以实现运动补偿, 但残差编码依旧消耗大量比特. 上述方法均在V-PCC 基础上实现了三维点云的帧间预测,但无论是基于二维的三维运动推导还是帧间残差的编码, 性能改善都比较有限.在本文的工作中, 首先, 为了改善三维上实现运动估计与补偿中, 块分割可能导致的运动相关性被破坏的问题, 本文引入了KD 树(K-dimension tree,KD Tree)思想, 通过迭代进行逐层深入的匹配块分割, 并定义分割块匹配度函数以自适应确定分割的迭代截止深度, 进而实现了更精准的运动块搜索;另外, 针对V-PCC 中二维投影导致三维运动信息无法被有效利用的问题, 本文提出在三维上通过匹配块的几何与颜色两种属性进行相似性判别, 并设计率失真优化(Rate distortion optimization, RDO)模型对匹配块分类后进行多模式的帧间编码, 实现了帧间预测性能的进一步改善. 实验表明, 本文提出的自适应分割的视频点云多模式帧间编码方法在与最新的V-PCC 测试软件和相关文献的方法对比中均取得了BD-BR (Bjontegaard delta bit rate)的负增益. 本文的主要贡献如下:1)提出了针对动态点云的新型三维帧间编码框架, 通过自动编码模式判定、区域自适应分割、联合属性率失真优化的多模式帧间编码、结合V-PCC 实现了帧间编码性能的提升;2)提出了一种区域自适应分割的块匹配方法,以寻找帧间预测的最佳匹配块, 从而改善了均匀分割和传统分割算法导致运动相关性被破坏的问题;3)提出了一种基于联合属性率失真优化模型的多模式帧间编码方法, 在改善预测精度的同时显著减少了帧间编码比特.1 基于视频的点云压缩及其问题分析本文所提出的算法主要在V-PCC 基础上进行1708自 动 化 学 报49 卷三维帧间预测改进, 因此本节对V-PCC 的主要技术做简要介绍, 并分析其不足之处. 其中, V-PCC 编码框架如图1所示.图 1 V-PCC 编码器框架Fig. 1 V-PCC encoder diagram首先, V-PCC 计算3D 点云中每个点的法线以确定最适合的投影面, 进而将点云分割为多个Patch [23].接着, 依据对应Patch 的位置信息, 将其在二维平面上进行紧凑排列以完成对Patch 的打包. 之后,依据打包结果在二维上生成对应的图像, 并使用了几何图、属性图和占用图分别表示各点的坐标、颜色及占用信息. 鉴于Patch 在二维的排列不可避免地存在空像素点, 因此需要占用图表示像素点的占用与否[24]; 由于三维到二维的投影会丢失一个维度坐标信息, 因此使用几何图将该信息用深度形式进行表示; 为了实现动态点云的可视化, 还需要一个属性图用于表示投影点的颜色属性信息. 最后, 为了提高视频编码器的压缩性能, 对属性图和几何图的空像素进行了填充和平滑处理以减少高频分量; 同时, 为了缓解重构点云在Patch 边界可能存在的重叠或伪影, 对重构点云进行几何和属性上的平滑滤波处理[25]. 通过上述步骤得到二维视频序列后, 引入二维视频编码器(如HEVC)对视频序列进行编码.V-PCC 将动态点云帧进行二维投影后, 利用成熟的二维视频编码技术实现了动态点云压缩性能的提升. 但是, V-PCC 投影过程将连续的三维物体分割为多个二维子块, 丢失了三维上的运动信息,使得三维动态点云中存在的时间冗余无法被有效利用. 为了直观展示投影过程导致的运动信息丢失,图2以Longdress 数据集为例, 展示了第1 053和第1 054两相邻帧使用V-PCC 投影得到的属性图.观察图2可以发现, 部分在三维上高度相似的区域,如图中标记位置1、2与3所对应Patch, 经二维投影后呈现出完全不同的分布, 该结果使得二维视频编码器中帧间预测效果受到限制, 不利于压缩性能的进一步提升.2 改进的动态点云三维帧间编码为了在V-PCC 基础上进一步降低动态点云的时间冗余性, 在三维上进行帧间预测和补偿以最小化帧间误差, 本文提出了一个在V-PCC 基础上改进的针对动态点云的三维帧间编码框架, 如图3所示. 下面对该框架基本流程进行介绍.首先, 在编码端, 我们将输入的点云序列通过模块(a)进行编码模式判定, 以划分帧内帧与预测帧. 其思想与二维视频编码器类似, 将动态点云划分为多组具有运动相似性的图像组(Group of pic-tures, GOP)以分别进行编码. 其中图像组中的第一帧为帧内帧, 后续帧均为预测帧, 帧内帧直接通过V-PCC 进行帧内编码; 预测帧则通过帧间预测方式进行编码. 合理的GOP 划分表明当前图像组内各相邻帧均具有较高运动相关性, 因此可最优化匹配块预测效果以减少直接编码比特消耗, 进而提高整体帧间编码性能. 受文献[22]启发, 本文通过对当前帧与上一帧参考点云进行几何相似度判定,以确定当前帧的编码方式进行灵活的图像组划分.如式(1)所示.Longdress 第 1 053 帧三维示例Longdress 第 1 054 帧三维示例Longdress 第 1 053 帧 V-PCC投影属性图Longdress 第 1 054 帧 V-PCC投影属性图11223图 2 V-PCC 从三维到二维投影(属性图)Fig. 2 V-PCC projection from 3D to2D (Attribute map)8 期陈建等: 自适应分割的视频点云多模式帧间编码方法1709cur ref E Gcur,ref Ωmode mode E O R 其中, 为当前帧点云, 为前帧参考点云, 表示两相邻帧点云的几何偏差, 为编码模式判定阈值. 当 值为1时表示当前帧差异较大, 应当进行帧内模式编码; 当 值为0时则表示两帧具有较大相似性, 应当进行帧间模式编码. 另外, 在动态点云重构误差 的计算中, 使用原始点云 中各点与重构点云 在几何和属性上的误差均值表示, 即式(2)所示.N O O (i )R (i ′)i i ′E O,R O R 其中, 为原始点云点数, 和 分别表示原始点云第 点与对应重构点云 点的几何或属性值, 即为原始点云 与重构点云 间误差值.N ×N ×N K 接着, 在进行帧间编码模式判断后, 通过模块(b)进行预测帧的区域自适应块分割. 块分割的目的在于寻找具有帧间运动一致性的匹配块以进行运动预测和补偿. 不同于 等分或 均值聚类, 所提出的基于KD 树思想的区域自适应块匹配从点云质心、包围盒和点数三个角度, 判断分割块的帧间运动程度以进行分割深度的自适应判定,最终实现最佳匹配块搜索.之后, 对于分割得到的匹配块, 通过模块(c)进行基于联合属性率失真优化的帧间预测. 在该模块中, 我们通过帧间块的几何与颜色属性联合差异度,结合率失真优化模型对匹配块进行分类, 分为几乎无差异的完全近似块(Absolute similar block, ASB)、差异较少的相对近似块(Relative similar block,RSB)以及存在较大差异的非近似块(Non similar block, NSB). 完全近似块认为帧间误差可忽略不计, 仅需记录参考块的位置信息; 而相对近似块则表示存在一定帧间误差, 但可通过ICP 配准和属性补偿来改善几何与属性预测误差, 因此除了块位置信息, 还需记录预测与补偿信息; 而对于非近似块,则认为无法实现有效的帧间预测, 因此通过融合后使用帧内编码器进行编码.最后, 在完成帧间模式分类后, 为了在编码端进行当前帧的重构以作为下一帧匹配块搜索的参考帧, 通过模块(d)对相对近似块进行几何预测与属性补偿, 而后将几何预测与属性补偿后的相对近似块、完全近似块、非近似块进行融合得到重构帧. 为了在解码端实现帧间重构, 首先需要组合预测帧中的所有非近似块, 经由模块(e)的V-PCC 编码器进行帧内编码, 并且, 还需要对完全近似块的位置信息、相对近似块的位置与预测补偿信息通过模块(f)进行熵编码以实现完整的帧间编码流程.至此, 整体框架流程介绍完毕, 在接下来的第3节与第4节中, 我们将对本文提出的区域自适应分割的块匹配算法与联合属性率失真优化的多模式帧间编码方法进行更为详细的介绍, 并在第5节通过实验分析进行算法性能测试.3 区域自适应分割的块匹配N B j cur j ref j ∆E cur j ,ref j 相较于二维视频序列, 动态点云存在大量空像素区域, 帧间点数也往往不同. 因此, 对一定区域内的点集进行帧间运动估计时, 如何准确找到匹配的邻帧点集是一个难点. 假设对当前帧进行帧间预测时共分割为 个子点云块, 第 块子点云 与其对应参考帧匹配块 间存在几何与属性综合误差 . 由于重构的预测帧实质上是通过组合相应的参考帧匹配块而估计得到的, 因此精准的帧间块匹配尝试最小化每个分割块的估计误差,以提高预测帧整体预测精度, 如式(3)所示:图 3 改进的三维帧间编码框架Fig. 3 Improved 3D inter-frame coding framework1710自 动 化 学 报49 卷K K N N ×N ×N 为了充分利用帧间相关性以降低时间冗余, 一些工作尝试对点云进行分割后寻找最佳匹配块以实现帧间预测. Mekuria 等[13]将动态点云划分为若干个大小相同的宏块, 依据帧间块点数和颜色进行相似性判断, 对相似块使用迭代最近点算法计算刚性变换矩阵以实现帧间预测. 然而, 当区域分割得到的对应匹配块间存在较大偏差时, 预测效果不佳.为了减少匹配块误差以提高预测精度, Xu 等[26]提出使用 均值聚类将点云分为多个簇, 在几何上通过ICP 实现运动预测, 在属性上则使用基于图傅里叶变换的模型进行运动矢量估计. 但基于 均值聚类的点云簇分割仅在预测帧中进行, 没有考虑帧间块运动相关性, 匹配精度提升受到限制. 为了进一步提高匹配精度, Santos 等[15]受到二维视频编码器中 步搜索算法的启发, 提出了一种3D-NSS 方法实现三维上的匹配块搜索, 将点云分割为 的宏块后进行3D-NSS 以搜索最优匹配块, 而后通过ICP 进行帧间预测.K 上述分割方法均实现了有效的块匹配, 但是,基于宏块的均匀块分割与基于传统 均值聚类的块划分均没有考虑分割块间可能存在的运动连续性, 在分割上不够灵活. 具体表现为分割块过大无法保证块间匹配性, 过小又往往导致已经具有运动连续性的预测块被过度细化, 出现相同运动预测信息的冗余编码. 为了避免上述问题, 本文引入KD 树思想, 提出了一种区域自适应分割算法, 该算法通过迭代进行逐层深入的二分类划分, 对各分割深度下块的运动性质与匹配程度进行分析, 确定是否需要继续分割以实现精准运动块匹配. 算法基本思想如图4所示, 若满足分割条件则继续进行二分类划分, 否则停止分割.Ψ(l,n )其中, 准确判断当前分割区域是否满足运动连续性条件下的帧间运动, 是避免过度分割以实现精准的运动块搜索的关键, 本文通过定义分割块匹配函数来确定截止深度, 如式(4)所示:ρ(n )=max [sign (n −N D ),0]n N D ρ(n )=1ξ(l )l 其中, 为点数判定函数,当点数 大于最小分割块点数阈值 时, ,表示满足深入分割的最小点数要求, 否则强制截止; 为当前深度 下的块运动偏移度, 通过衡量匹配块间的运动变化分析是否需要进一步分割.ξξw ξu 提出的 函数分别通过帧间质心偏移度 估计匹配块间运动幅度, 帧间包围盒偏移度 进行匹ξn ξw ξu ξn T l ξ(l )配块间几何运动一致性判定, 点数偏移度 进行点云分布密度验证, 最后通过 、 与 累加值与分割截止阈值 的比值来整体衡量当前块的运动程度与一致性. 即对于当前分割深度 , 可进一步细化为式(5):其中,w cur w ref u cur u ref n cur n ref l P Max P Min 并且, 、 、 、 、与分别表示当前分割深度下该区域与其前帧对应区域的质心、包围盒与点数,和分别为当前块对角线对应点.ρ(n )=1ξ(l)lξξξξ在的前提下,值反映当前KD 树分割深度下该区域点云的帧间运动情况.值越大帧间运动越显著,当值大于1时,需对运动块进行帧间运动补偿,如果继续分割将导致块的运动一致性被破坏或帧间对应块无法实现有效匹配,从而导致帧间预测失败;值越小说明当前区域点云整体运动变化越小,当值小于1时,需进一步分割寻找可能存在的运动区域.l +1d 对于需要进一步分割的点云块,为了尽可能均匀分割以避免分割后匹配块间误差过大, 将待分割匹配块质心均值作为分割点, 通过以包围盒最长边作为分割面来确定 深度下的分割轴 , 分割轴l = 0l = 1l = 2l = m l = m + 1条件满足, 继续分割条件不满足, 停止分割图 4 区域自适应分割块匹配方法示意图Fig. 4 Schematic diagram of region adaptive segmentation based block matching method8 期陈建等: 自适应分割的视频点云多模式帧间编码方法1711如式(6)所示:Edge d,max Edge d,min d 其中, 和 分别为待分割块在 维度的最大值和最小值.总结上文所述, 我们将提出的区域自适应分割的块匹配算法归纳为算法1. 算法 1. 区域自适应分割的块匹配cur ref 输入. 当前帧点云 与前帧参考点云 输出. 当前帧与参考帧对应匹配块j =1N B 1) For to Do l =02) 初始化分割深度 ;3) Docur j ref j 4) 选取待分割块 和对应待匹配块 ;w u n 5) 计算质心 、包围盒 与块点数 ;ξ(l )6) 根据式(5)计算运动块偏移度 ;ρ(n )7) 根据函数 判定当前分割块点数;Ψ(l,n )8) 根据式(4)计算分割块匹配函数 ;Ψ(l,n )9) If 满足匹配块分割条件:d 10) 根据式(6)确定分割轴 ;cur j ref j 11) 对 与 进行分割;12) 保存分割结果;l +113) 分割深度 ;Ψ(l,n )14) Else 不满足匹配块分割条件:15) 块分割截止;16) 保存匹配块;17) End of if18) While 所有块均满足截止条件;19) End of for图5展示了本文提出的区域自适应分割的块匹配算法对帧Longdress_0536和其参考帧Longdress_0535进行分割后的块匹配结果. 在该序列当前帧下, 人物进行上半身的侧身动作. 观察图5可发现,在运动变化较大的人物上半身, 算法在寻找到较大的对应匹配块后即不再分割; 而人物下半身运动平缓, 算法自适应提高分割深度以实现帧间匹配块的精确搜索, 因而下半身的分块数目大于上半身.4 联合属性率失真优化的多模式帧间编码P Q在动态点云的帧间编码中, 常对相邻帧进行块分割或聚类后依据匹配块相似性实现帧间预测, 并利用补偿算法减少预测块误差以改善帧间编码质量. 其中迭代最近点算法常用于帧间运动估计中,其通过迭代更新待配准点云 相较于目标点云 S t E (S,t )间的旋转矩阵 和平移向量 , 进而实现误差 最小化, 如式(7)所示:N p p i P i q i ′Q p i 其中 为待配准点云点数, 为待配准点云 的第 个点, 为目标点云 中与 相对应的点.但是, 完全依据ICP 配准进行动态点云的三维帧间预测存在两个问题: 首先, ICP 仅在预测块上逼近几何误差的最小化而没考虑到颜色属性偏差引起的匹配块差异, 影响了整体预测精度; 其次, 从率失真角度分析, 对运动变化极小的匹配块进行ICP 配准实现的运动估计是非必要的, 该操作很难改善失真且会增加帧间编码比特消耗.为改善上述问题, 提出了联合属性率失真优化的多模式帧间编码方法. 提出的方法首先在确保几何预测精度的同时, 充分考虑了可能的属性变化导致的预测精度下降问题, 而后通过率失真优化模型,对块依据率失真代价函数得到的最优解进行分类后, 应用不同的编码策略以优化帧间编码方案, 旨在有限的码率约束下最小化编码失真, 即式(8)所示:R j D j j N B R C λ其中, 和 分别表示第 个点云块的编码码率和对应的失真; 是当前帧编码块总数; 表示总码率预算.引入拉格朗日乘子 ,式(8)所示的带约束优化问题可以转换为无约束的最优化问题, 即式(9)所示:当前帧分割可视化当前帧分割效果参考帧分割效果图 5 区域自适应分割的块匹配方法分割示例Fig. 5 Example of block matching method based onadaptive regional segmentation1712自 动 化 学 报49 卷。

基于HEVC的自适应插值滤波算法王刚;陈贺新;陈绵书【期刊名称】《吉林大学学报（理学版）》【年(卷),期】2018(056)002【摘要】In order to further improve video quality of adaptive sub-pixel interpolation algorithm and reduce computational complexity,we proposed an adaptive interpolation filter algorithm based on HEVC (high efficiency video coding).Firstly,the algorithm was coded under the video coding framework of new coding standard H.265/HEVC to improve efficiency of video coding.Secondly,the filter coefficients demanded by code stream and the complexity of decoding computation were reduced by the symmetric optimization of filter coefficients.The results of complexity analysis show that compared with other algorithms,the multiplicative complexity of this algorithm is reduced by 229%, and the addition complexity is reduced by 245%.Simulation results showthat,compared with other algorithms,this algorithm has good coding performance and robustness for different resolution video sequences.%为进一步提高自适应分像素插值算法的视频图像质量,降低计算复杂度,提出一种基于HEVC(high efficiency video coding)的自适应插值滤波算法.该算法首先在新一代视频编码标准 H.265/HEVC框架下进行编码,以提高视频编码效率;其次通过滤波器系数对称优化,降低码流所需滤波器系数和解码计算的复杂度.复杂度分析结果表明,与其他算法相比,该算法乘法复杂度最高降低229%,加法复杂度最高降低245%.仿真结果表明,与其他算法相比,该算法对不同分辨率视频序列均具有较好的编码性能及鲁棒性.【总页数】9页(P320-328)【作者】王刚;陈贺新;陈绵书【作者单位】吉林大学通信工程学院,长春130012;白城师范学院机械工程学院,吉林白城137000;吉林大学通信工程学院,长春130012;吉林大学通信工程学院,长春130012【正文语种】中文【中图分类】TP39【相关文献】1.HEVC分像素插值与自适应环路滤波融合结构设计 [J], 李轶夫;蒋毅飞;陈李维;刘宏伟2.基于SSE2对H.265/HEVC中分像素插值的优化 [J], 陈丽丽;沈燕飞;邓米克;蔡志峰3.基于视频内容自适应拉格朗日参数选择的HEVC率失真编码优化 [J], 杨琳;何书前;石春4.基于快速编码单元划分和自适应模式决策的HEVC效率改进算法 [J], 罗小龙;刘子龙5.基于非局部低秩和自适应量化约束先验的HEVC后处理算法 [J], 徐艺菲;熊淑华;孙伟恒;何小海;陈洪刚因版权原因，仅展示原文概要，查看原文内容请购买。

多重采样抗锯齿算法代码实现摘要：1.多重采样抗锯齿算法的背景和意义2.多重采样抗锯齿算法的原理3.多重采样抗锯齿算法的代码实现4.多重采样抗锯齿算法的优缺点5.总结正文：一、多重采样抗锯齿算法的背景和意义在计算机图形学中，抗锯齿技术是一种用于减少图像锯齿现象的技术。

多重采样抗锯齿算法（Multisampling Anti-Aliasing, MSAA）是其中一种常见的抗锯齿方法，通过在更高的分辨率下对图像进行渲染，然后将渲染结果进行多重采样，最后输出到屏幕上。

这种方法可以有效地减少锯齿现象，提高图像质量。

二、多重采样抗锯齿算法的原理多重采样抗锯齿算法的原理可以简单概括为：超分辨率渲染、多重采样、颜色融合。

首先，显卡会在更高的分辨率下渲染图像，这个过程叫做超分辨率渲染。

接着，将超分辨率渲染后的图像进行多重采样，得到多个颜色值。

最后，对这些颜色值进行融合，得到最终的颜色输出。

三、多重采样抗锯齿算法的代码实现以下是一个简单的多重采样抗锯齿算法的代码实现：```// 创建一个超分辨率纹理纹理2D superResTexture;// 渲染到超分辨率纹理Graphics.Blit(sourceT exture, superResTexture);// 获取超分辨率纹理的宽度和高度int superResWidth = superResTexture.width;int superResHeight = superResTexture.height;// 创建一个颜色融合的临时纹理纹理2D tempTexture;// 遍历超分辨率纹理的每个像素，进行多重采样for (int i = 0; i < superResWidth; i++){for (int j = 0; j < superResHeight; j++){// 获取当前像素的颜色值Color color = Texture2D.GetColor(superResTexture, i, j);// 对每个颜色通道进行多重采样float r = color.r * 2 - 1;float g = color.g * 2 - 1;float b = color.b * 2 - 1;// 进行颜色融合Color finalColor = new Color((int)Mathf.Lerp(r, 1, 2), (int)Mathf.Lerp(g, 1, 2), (int)Mathf.Lerp(b, 1, 2));// 将融合后的颜色值输出到临时纹理Texture2D.SetColor(tempTexture, i, j, finalColor);}}// 将融合后的纹理输出到屏幕Graphics.Blit(tempTexture, screenTexture);```四、多重采样抗锯齿算法的优缺点多重采样抗锯齿算法的优点是可以有效地减少图像锯齿现象，提高图像质量。

第３５卷㊀第１０期２０２０年１０月㊀㊀㊀㊀㊀㊀㊀液晶与显示㊀㊀㊀C h i n e s e J o u r n a l o fL i q u i dC r y s t a l s a n dD i s p l a ys ㊀㊀㊀㊀㊀V o l ．３５㊀N o ．１０㊀O c t ．２０２０㊀㊀收稿日期:２０２０Ｇ０３Ｇ２３;修订日期:２０２０Ｇ０４Ｇ２０．㊀㊀∗通信联系人,E Ｇm a i l :８５２０６９０９５＠q q．c o m 文章编号:１００７Ｇ２７８０(２０２０)１０Ｇ１０６６Ｇ０７基于F P G A 的图像叠加和跨屏拼接融合方法万㊀权∗,李少甫(西南科技大学信息工程学院,四川绵阳６２１０１０)摘要:针对目前视频显示领域中常见的图像叠加和跨屏拼接显示方式,两种功能往往不能同时在一个系统中实现,导致应用的场景受到局限问题,提出一种多功能视频拼接系统的硬件结构设计.该系统基于双线性插值图像算法,采用流水线设计思路对算法进行优化,同时采用单片机完成视频处理前后,缩放倍数的计算与显示参数的传递,通过I I C 总线发送计算出的参数到F P G A 芯片执行,整个过程减少了硬件资源上的消耗,提高了算法的效率,并在L a t t i c e 的开发环境D i a m o n d 中对设计进行验证.实验结果表明,F P G A 能够同时处理４路输入视频流的存储操作,输出４路任意分辨率的视频信号,在２ˑ２的拼接矩阵中,同时实现图像叠加与跨屏拼接.该拼接系统支持最高１９２０ˑ１０８０的分辨率输入,最小５０ˑ５０的分辨率输出,达到预期结果.关㊀键㊀词:图像叠加;跨屏拼接;双线性插值;F P G A 芯片;任意分辨率中图分类号:T P ３９１㊀㊀文献标识码:A㊀㊀d o i :１０．３７１８８/Y J Y X S ２０２０３５１０．１０６６F u s i o nm e t h o db a s e d o nF PG A i m a g e o v e r l a y an d c r o s s Ｇs c r e e n s t i t c h i n gWA N Q u a n ∗,L I S h a o Ｇf u(S c h o o l o f I n f o r m a t i o nE n g i n e e r i n g ,S o u t h w e s tU n i v e r s i t y o f S c i e n c e a n dT e c h n o l o g yM i a n y a n g ６２１０１０,C h i n a )A b s t r a c t :A i m i n g a tt h ec o mm o nd i s p l a y m e t h o d ss u c ha s i m a g es u p e r i m po s i t i o na n dc r o s s Ｇs c r e e n s t i t c h i n g i n t h e c u r r e n t v i d e o d i s p l a y f i e l d ,t h e t w o f u n c t i o n s o f t e n c a n n o t b e i m p l e m e n t e d i n t h e s a m e s y s t e ma t t h e s a m e t i m e ,r e s u l t i n g i n l i m i t a t i o no f a p p l i c a t i o n s c e n a r i o s ．Ah a r d w a r e s t r u c t u r e d e s i gn o f am u l t i f u n c t i o n a l v i d e o s t i t c h i n g s y s t e mi s p r o p o s e d ．T h e s y s t e mi s b a s e d o n a b i l i n e a r i n t e r po l a t i o n i m a g e a l g o r i t h m．T h e p i p e l i n ed e s i g n i d e a sa r eu s e dt oo p t i m i z e t h ea l g o r i t h m．A t t h es a m e t i m e ,a s i n g l e Ｇc h i p c o m p u t e r i s u s e d t o c o m p l e t e t h e c a l c u l a t i o n o f t h e z o o mf a c t o r a n d t h e t r a n s m i s s i o n o f d i s Ｇp l a yp a r a m e t e r sb e f o r ea n da f t e rv i d e o p r o c e s s i n g ．T h e w h o l e p r o c e s sr e d u c e st h ec o n s u m pt i o no f h a r d w a r e r e s o u r c e s ,a n d a l s o i m p r o v e s t h e e f f i c i e n c y o f t h ea l g o r i t h m．T h ed e s i gn i sv e r i f i e d i nD i a Ｇm o n d t h a t i s t h e d e v e l o pm e n t e n v i r o n m e n t o f L a t t i c e ．T h e r e s u l t s s h o wt h a t t h e F P G Ac a n s i m u l t a n e Ｇo u s l yp r o c e s s f o u r i n p u t v i d e o s t r e a ms t o r a g eo p e r a t i o n s a n do u t p u t f o u r v i d e os i g n a l so f a n y re s o l u Ｇt i o n ．I na ２ˑ２s t i t c h i n g m a t r i x ,t h e i m a g e o v e r l a y a n d c r o s s Ｇs c r e e n s t i t c h i n g c a nb e a c h i e v e d s i m u l Ｇt a n e o u s l y ．T h e s t i t c h i n g s y s t e ms u p p o r t s am a x i m u mr e s o l u t i o nof １９２０ˑ１０８０a n d a no u t pu tw i t h . All Rights Reserved.am i n i m u mr e s o l u t i o no f５０ˑ５０,a c h i e v i n g t h e e x p e c t e d r e s u l t．K e y w o r d s:s c r e e no v e r l a y;c r o s sＧs c r e e n s t i t c h i n g;b i l i n e a r i n t e r p o l a t i o n;F P G Ac h i p;a r b i t r a r y r e s oＧl u t i o n１㊀引㊀㊀言㊀㊀随着视频处理的快速发展,视频显示的方式也越来越丰富,显示设备广泛应用于调度中心㊁视屏监控㊁演出背景等,传统的单图层显示方式已经不能满足多样性显示的需求,如王明宇采用双线性融合算法实现视频源的大屏拼接[１],这种显示方式可应用在大部分多屏显示场景中,但显示界面往往只能调用一个图像源;严飞采用双三次插值算法实现了两个图层的叠加[２],但是只在一个显示屏上输出,没有对图像进行拼接处理.针对大屏拼接中不同图像源叠加的问题,本文设计了一种多功能视频拼接系统,使得每一路输出信号都支持图像叠加与图像拼接;同时允许输入多种分辨率格式,输出分辨率可以根据使用者需求进行实时调整[３].由于双线性插值算法的画质比最邻近插值算法高,且硬件资源占用比双三次插值算法少,既能满足图像画质的要求又能满足跨屏拼接所需的多路资源要求,所以本文采用双线性插值算法作为系统的缩放算法[４Ｇ８].２㊀系统组成２．１㊀基本模块视频拼接系统包括４路S i l９２９３视频输入模块㊁４路S i l９０２２视频输出模块㊁D D R２(D o u b l e D a t aR a t e２)存储模块㊁现场可编程门阵列(F i e l d P r o g r a mm a b l eG a t e A r r a y,F P G A)算法执行模块㊁H i３５２０D主控模块㊁M C U(M i c r o c o n t r o l l e r U n i t)单片机模块㊁以及其他必要模块(电源模块㊁时钟模块㊁配置模块),系统的硬件设计图如图１所示,F P G A[９Ｇ１０]型号为L F E３Ｇ７０E AＧ６F N６７２C,是l a t t i c e公司E C P３系列产品,单片机型号为S T M３２f０３０ＧR T８６.２．２㊀信号流向S i l９２９３视屏输入模块通过采集外部H D M I 接口输入的视屏信号,转换为Y C b C r(４ʒ２ʒ２)格式[１１]的１６b i t位宽数据流,当F P G A收到数据图１㊀多功能视频拼接系统硬件结构图F i g．１㊀H a r d w a r e s t r u c t u r e d i a g r a mo fm u l t i f u n c t i o n a lv i d e o s t i t c h i n g流立即进行数据有效性判断,如果视频流数据判断为有效,那么将存储到D D R２中,当单片机告知F P G A需要对图像进行缩放计算时,缩放模块通过读取存储在D D R２中对应的信号源数据到R AM中,进而参与图像的缩放计算,计算结果输出到S i l９０２２视频输出模块,最终转换为H D M I 视频信号输出.２．３㊀主控模块主控模块主要由海思的视屏解码芯片H i３５２０D[１２]和D D R３组成,首先通过S P I接口写入预处理程序,再通过主控板上的以太网接口连接到P C主机,在P C端可视化界面上绘制出每一路输出需要显示的图像窗口并选取信号源,之后H i３５２０D产生与输出窗口对应的参数信息(起始地址㊁终止地址㊁图层显示优先级㊁目标显示分辨率),再通过R S４８５接口[１３]发送到单片机,参与每一路视频输出的缩放倍数计算,主控模块如图２所示.３㊀D D R２读写解析３．１㊀数据采集与存储一帧图像可分为有效区域和消隐区域,有效７６０１第１０期㊀㊀㊀㊀㊀万㊀权,等:基于F P G A的图像叠加和跨屏拼接融合方法. All Rights Reserved.图２㊀主控模块F i g．２㊀S c h e m a t i c d i a g r a m o f s y s t e m m a s t e rc o n t r o lm od u l e区域的长宽即为图像的分辨率,也是人眼在显示器上看到的视频区域;视屏传输采用内同步传输方式[１４Ｇ１５],即图像的每一行的起始和终止标志,插入到视频流中一起传输,在保证有效数据量不变的情况下,又减少了外部同步信号引脚,节约了硬件I O口资源.根据扫描方式的不同视频可分为逐行扫描和隔行扫描,它们由视频起始标志或者终止标志来区别.采用v e r i l o g语言对F P G A 进行编程,按照B T１１２０的图像标准[１６],采集有效数据的起始标志(s o l_f l a g)和终止标志(e o l_ f l a g),同时对起始标志后的数据进行计数,直到结束标志到来时才停止.一个连续的起始和终止标志之间的计数值,即表示视频分辨率的横向值;同理对一帧数据中有效区域前的起始标志个数进行计数,即可得到视频分辨率的纵向值.数据存储前,需要先判断视频源的输入格式.标志位由４个连续的像素点数据组成,所以采用移位寄存的方式对视频流进行连续存储,由v i_d a t a_ s h i f t表示这４个值,当F P G A检测到一帧视频图像中有隔行扫描起始标志时,即条件(v i_d a t a_s h i f t [６３ʒ０]＝＝６４＇h f f f f００００００００c７c７)成立,则认为图像是隔行扫描图像,如果不成立则视屏源为逐行扫描格式,如图３图像的起始终止标志.本设计采用了R A M_F I F O(R a n d o m A c c e s s M e m o r y,F i r s t I n p u tF i r s tO u t p u t)架构的存储方式[１７],图像以行为单位进行数据缓存,通过乒乓操作使有效的视频数据写入到R A M中,当一行数据写入结束时,立即产生一个激活F I F O的写使能命图３㊀图像的起始终止标志F i g．３㊀S t a r t a n de n do f i m a g e令(c m d_f i f o_w r e n),同时对输入的视频参数(当前数据通道号㊁当前行号㊁突发长度㊁存储D D R的起始地址)进行存储,当F I F O的 空 输出标志为低电平时,表示允许D D R２的控制模块读取F I F O中的视频参数数据,控制模块调用D i a m o n d中固有的I P核(D D R２S D R A M C o n t r o l l e r)实现数据存储到D D R２的过程[１８].图４㊀D D R２中一路数据存取逻辑图F i g．４㊀D i a g r a mo fD D R２d a t a a c c e s s l o g i c ３．２㊀读数据双线性插值算法最少需要用两行图像数据进行插值计算,所以需要提前从内存中读取２行数据;每一个视频显示窗口,在插值计算时,为了满足读写R AM时数据操作不冲突,采取缓存４行数据的方式交叉写入[１９].使用两组R AM,每组可容纳两行的视频数据,R AM１的两行存储空间分别命名为a行和b行,R AM２的两行存储空间命名为c行和d行;当F P G A从单片机接收到读命令后,以行为单位依次从D D R２中读出对应的数据,并按照aＧcＧbＧd的顺序循环写入两个R AM 空间,如图４所示,同时读取已经写好的连续两行８６０１㊀㊀㊀㊀液晶与显示㊀㊀㊀㊀㊀㊀第３５卷㊀. All Rights Reserved.数据的连续两点进行缩放计算,保证了读与写之间互不影响.３．３㊀提高D D R２读写效率本设计为４个视频源的同时输入,且４个处理后的视频信号同时输出,为了满足多路信号的同时处理要求,提高D D R２的读写效率就显得很有必要,本文通过两个方面来提高内存读写的效率.其一,采用F P G A内部的时钟I P核提高读写时钟的频率,通过调节P L L(P h a s e L o c k e d L o o p)的输出时钟,使得读写R AM的频率高达２００MH z;其二,提高数据传输带宽,使用４组１６b i t位宽的D D R２内存颗粒,通过并联方式组成６４位宽的数据传输总线;又因为D D R２拥有两倍D D R内存预读取能力,故实际每个时钟周期从R AM中读/写的数据位宽为１２８b i t(８个像素点),如图４数据存取逻辑图.每组R AM空间大小为４０９６ˑ１６b i t,可缓存两行１K的视频图像数据,一行数据有效像素点最多为１９２０个,所以一行存储空间能够存储一行图像数据.４㊀缩放步骤４．１㊀新像素点计算双线性插值算法并没有产生实际意义上的新像素值,所有新的像素值都是通过计算得到.因此,如何计算新像素值便成为实现算法的关键.双线性图像缩放算法在计算新像素值时需要有相邻两行原图像像素值作为计算依据.因此,为了保证图像的连续性,必须通过具有大容量的存储器件D D R２来缓存几帧图像数据.双线性图像缩放算法计算新像素值时需要知道缩放前后图像的横纵比值,然后再用新像素的坐标值分别与缩放倍数的横向比值和纵向比值相乘,以此来确定当前新像素在原图像中的坐标位置.考虑到直接的除法运算在F P G A中会导致严重的时序违规,采用移位除法又占用大量资源,且该除法运算没有实时性要求,即被除数与除数不会随时钟连续变化.因此可由单片机来完成视频源到目标分辨率缩放倍数的计算,计算结果再返回F P G A 执行.４．２㊀图像缩放解析计算缩放倍数时,主控板通过R S４８５总线发送开窗所需的参数给单片机,目标显示分辨率与输入视频源的分辨率共同计算得到图像缩放倍数;F P G A实时更新所有视频源分辨率信息,单片机通过I I C总线每隔１s时间读取一次F P G A寄存的分辨率,实时更新缩放的倍数;计算方法如下:x＝i n_w i d t ho u t_w i d t h,(１)y＝i n_h i g t ho u t_h i g t h．(２)其中:i n_w i d t h表示输入分辨率宽度,o u t_ w i d t h表示输出分辨率宽度,i n_h i g h t表示输入分辨率高度,o u t_h i g h t表示输出分辨率高度,x表示横向缩放倍数,y表示纵向缩放倍数.(１)新像素坐标位置计算新像素的坐标设为Pᶄ(uᶄ,vᶄ),该坐标点在视频源图像中对应的坐标位置设为P(u,v),用Pᶄ点的坐标与相应比值相乘即可得到新像素在视频源图像中的坐标位置P(u,v).P(u,v)＝P(uᶄ x,vᶄ y),(３)由P点的整数部分可得到它的４个相邻点Q１１(i,j)㊁Q１２(i,j＋１)㊁Q２１(i＋１,j)㊁Q２２(i＋１,j＋１),P点为相邻点闭合空间上的任意一点.在双线性插值算法中,像素值是由周围４个相邻点的像素值加权求和得出,如图５双线性算法原理.图５㊀双线性算法原理F i g．５㊀D i a g r a mo f b i l i n e a r a l g o r i t h m p r i n c i p l e(２)新像素值计算当新像素点在源图像中的坐标位置确定后,利用这４个像素值与P点坐标小数部分对应相乘后再相加,最后得到新像素点的值[２０].(３)乘法实现F PG A在需要乘法运算的地方均使用F P G A内９６０１第１０期㊀㊀㊀㊀㊀万㊀权,等:基于F P G A的图像叠加和跨屏拼接融合方法. All Rights Reserved.部乘法器I P核(D S P_M U L T)来实现乘法运算[２１].设f()为源图像中像素点坐标对应的像素值,相邻点的值表示为f(i,j)㊁f(i,j＋１)㊁f(i＋１,j)㊁f(i＋１,j＋１),图５中R２㊁R１分别为P点在上㊁下边界的分量,可作为计算P点的中间值,u,v为P点小数部分的值.首先计算出R１㊁R２的像素值:f(R１)＝(１－u) f(i,j)＋u f(i＋１,j),(４) f(R２)＝(１－u) f(i,j＋１)＋u f(i＋１,j＋１),(５)再由横向两个点R１㊁R２的值计算出纵向点P的值: f(P)＝(１－v) f(R１)＋v f(R２),(６)通过时钟上升沿驱动计算模块,即可输出源源不断的新视频信号.５㊀条件与验证５．１㊀实验条件采用L a t t i c e公司的D i a m o n d软件作为程序编译平台,然后对F P G A中的各个功能子模块进行综合㊁布局布线.主控板通过网线连接电脑,并采用R S４８５总线连接F P G A执行板,如图６系统结构图.输出端口连接４个１９２０ˑ１０８０分辨率的显示器.图６㊀系统结构图F i g．６㊀D i a g r a mo f s y s t e ms t r u c t u r e显示器以２ˑ２的矩阵方式拼接显示,在拼接状态下满屏图像的分辨率为３８４０ˑ２１６０,系统的每一个输出通道分配了两个图像显示窗口,每一个窗口可以独立处理一个图层的图像,当大屏拼接和图像叠加两种显示方式同时存在于一个输出通道时,通过单片机选择图层的优先级,高优先级的图像覆盖低优先级图像,最终以一个图层的方式输出.５．２㊀仿真编译软件集成了仿真工具R e v e a lA n a l y z e r,能够实时获取工程中数据的变化,如图７所示.其中d a t a_r d y电平为高时,表示外部视频源正在写入内存,r e a d_d a t a_v a l i d电平为高时,表示视频数据从内存中读出[２２],可以看出视频数据在不停地以行为单位对D D R２进行数据的写和读.图７㊀D D R２读写仿真F i g．７㊀D D R２r e a da n dw r i t e e m u l a t i o n图像底图采用拼接的显示方法,其他３个窗口通过P C端控制可任意缩放,其中新开的窗口仍然可以实现跨屏拼接;采用４路１０８０P,频率为６０H z的视频源作为系统的信号输入,显示效果如图８所示.此设计是在大屏拼接的基础上增加叠加图像的功能,此外当有多个信号源同时输入时,可通过开窗的方式显示多个不同的信号源.图８㊀显示效果图F i g．８㊀P i c t u r e o f s h o we f f e c t实验结果表明,基于F P G A的双线性插值缩放系统,允许同时输入４路最大１０８０P的分辨率,输出分辨率最大为３８４０ˑ２１６０,输出分辨率最小为５０ˑ５０,对于输出的４路视频信号,每个信号允许开出２个任意缩放的窗口.F P G A消耗的L U T资源占总资源的２５．０６％,R AM占用总资源的３６．６７％.D S P计算资源占总资源的６６ ６３％,如表１所示.表１㊀F P G A资源使用情况T a b．１㊀F P G Ar e s o u r c eu s a g e资源名称使用总数百分比/％L U T１６６７３６６５２８２５．０６S L I C E１２３７６３３２６４３７．２１０７０１㊀㊀㊀㊀液晶与显示㊀㊀㊀㊀㊀㊀第３５卷㊀. All Rights Reserved.续㊀表资源名称使用总数百分比/％R E G I S T E R １３４３５５２１７６２５．７５I O２３８３８０６２．６３O D D R １８９２２８０８．２９R AM ８８２４０３６．６７D S P １６８２５６６５．６３６㊀结㊀㊀论本文以实际市场需求为导向,针对图像的大屏拼接显示,提出了一种多功能视频拼接系统的硬件结构设计,采用乒乓操作提高数据传输的稳定性.通过加大数据传输的位宽,提高数据读写的频率,使得允许同时多路视频的输入和输出;同时单片机对输入视频的分辨率进行实时检测,当分辨率变化时,输出视频也随之动态调整,提高了系统的应用能力.在D i a m o n d 环境中对该实验进行编译与测试,结果表明,输出的４路图像都可实现图像叠加和跨屏拼接的功能,最小输出分辨率为５０ˑ５０的图像,最大输出分辨率为３８４０ˑ２１６０的图像,满足常规要求的同时,也满足一些特殊场景显示的需求.参㊀考㊀文㊀献:[１]㊀王明宇．基于F P G A 的大屏幕多投影无缝拼接系统的设计研究[D ]．杭州:浙江大学,２０１５．WA N GM Y．T h er e s e a r c ha n dd e s i g no fF P G A Ｇb a s e d l a r g e Ｇs c r e e n M u l t i Ｇp r o j e c t i o ns e a m l e s s t i l e dd i s p l a y s ys t e m [D ]．H a n g z h o u :Z h e j i a n g U n i v e r s i t y,２０１５．(i nC h i n e s e )[２]㊀严飞,陆宝毅,刘银萍,等．实时视频流缩放系统设计[J ]．液晶与显示,２０１９,３４(１１):１１２４Ｇ１１３０．Y A N F ,L U BY ,L I U YP ,e t a l ．D e s i g n o f r e a l Ｇt i m e v i d e o s t r e a ms c a l i n g s y s t e m [J ]．C h i n e s e J o u r n a l o f L i qu i d C r y s t a l s a n dD i s p l a ys ,２０１９,３４(１１):１１２４Ｇ１１３０．(i nC h i n e s e )[３]㊀吴以凯,喻金华,肖铁军．基于F P G A 的视频缩放设计与实现[J ]．软件导刊,２０１７,１６(８):８３Ｇ８５．WU Y K ,Y UJH ,X I A O TJ ．D e s i g n a n d i m p l e m e n t a t i o no f v i d e o s c a l i n g b a s e do nF P G A [J ]．S o ft w a r eG u i d e ,２０１７,１６(８):８３Ｇ８５．(i nC h i n e s e)[４]㊀李渊渊,孟伟．一种用硬件实现的B a ye r 格式图像恢复算法[J ]．中国光学,２００９,２(６):５３８Ｇ５４２L IY Y ,M E N G W．R e a l Ｇt i m eh a r d w a r eB a y e r c o l o r i m a g e r e s t o r a t i o na l g o r i t h ma n d i t s i m pl e m e n t a t i o n [J ]．C h i Ｇn e s eO pt i c s ,２００９,２(６):５３８Ｇ５４２．(i nC h i n e s e )[５]㊀罗潇,孙海江,陈秋萍,等．B a ye r 格式图像的实时彩色复原[J ]．中国光学,２０１０,３(２):１８２Ｇ１８７．L U O X ,S U N HJ ,C H E N QP ,e t a l ．R e a l Ｇt i m e d e m o s a i c i n g of B a y e r p a t t e r n i m ag e s [J ]．Chi n e s eO pt i c s ,２０１０,３(２):１８２Ｇ１８７．(i nC h i n e s e)[６]㊀Y E G A N L IF ,N A Z Z A L M ,O Z K A R AMA N L IH．S u p e r Ｇr e s o l u t i o nu s i n g m u l t i pl e s t r u c t u r e dd i c t i o n a r i e s b a s e do n t h e g r a d i e n t o p e r a t o r a n db i c u b i c i n t e r p o l a t i o n [C ]//P r o c e e d i n g s o f ２０１６２４t hS i g n a lP r o c e s s i n g An dC o mm u n i Ｇc a t i o nA p p l i c a t i o nC o n fe r e n c e ．Z o n g u l d a k ,T u r k e y :I E E E ,２０１６．[７]㊀R A N G S I K U N P UM A ,L E E L A R A S M E EE ,P UM R I NS ．Ad e s i g n of s ig n v i d e o i m a g e e x pa n d e r f o rH D M I s o u r c e u s i n gb ic u b i c i n t e r p o l a t i o n [C ]//P r o c e ed i n g s o f ２０１７１４t h I n te r n a t i o n a l C o nf e r e n c e o nE l e c t r i c a lE ng i n e e r i n g/E Ｇl e c t r o n i c s ,C o m p u t e r ,T e l e c o m m u n i c a t i o n s a n dI n f o r m a t i o nT e c h n o l o g y ．P h u k e t ,T h a i l a n d :I E E E ,２０１７．[８]㊀Z HO U R G ,C H E N G Y ,L I U D Q．Q u a n t u mi m a g e s c a l i n g b a s e do nb i l i n e a r i n t e r p o l a t i o nw i t ha r b i t r a r y s c a l i n g r a t i o [J ]．Q u a n t u mI n f o r m a t i o nP r o c e s s i n g ,２０１９,１８(９):２６７．[９]㊀罗军,黄启俊,常胜,等．H．２６４中整数变换与量化的F P G A 实现[J ]．中国图象图形学报,２０１１,１６(５):７４０Ｇ７４５L U OJ ,HU A N G QJ ,C HA N GS ,e t a l ．AF P G Ai m p l e m e n t a t i o n o f i n t e ge r d i s c r e t e c o n s i n e t r a n sf o r ma n d q u a n Ｇt i f i c a t i o n f o rH．２６４c o m p r e s s i o n [J ]．J o u r n a l o f I m ag e a n dG r a phi c s ,２０１１,１６(５):７４０Ｇ７４５．(i nC h i n e s e )[１０]㊀刘海鹰,张兆杨,沈礼权．基于F P G A 的H．２６４变换量化的高性能的硬件实现[J ]．中国图象图形学报,２００６,１１(１１):１６３６Ｇ１６３９L I U H Y ,Z HA N GZY ,S H E NLQ．Ah i g h Ｇp e r f o r m a n c e h a r d w a r e i m pl e m e n t a t i o no f t h e h ．２６４t r a n s f o r m a t i o n a n d q u a n t i z a t i o no r i e n t e d t oF P G A [J ]．J o u r n a l o f I m a g e a n dG r a ph i c s ,２００６,１１(１１):１６３６Ｇ１６３９．(i nC h i n e s e )[１１]㊀崔鹏,燕天天．融合Y C b C r 肤色模型与改进的A d a b o o s t 算法的人脸检测[J ]．哈尔滨理工大学学报,２０１８,２３(２):１７０１第１０期㊀㊀㊀㊀㊀万㊀权,等:基于F P G A 的图像叠加和跨屏拼接融合方法. All Rights Reserved.９１Ｇ９６．C U I P ,Y A N TT．F a c e d e t e c t i o n c o m b i n i n g t h eY C b C r s k i n c o l o rm o d e lw i t h i m p r o v e dA d a b o o s t a l go r i t h m [J ]．J o u r n a l o f H a r b i nU n i v e r s i t y o f S c i e n c e a n dT e c h n o l o g y ,２０１８,２３(２):９１Ｇ９６．(i nC h i n e s e )[１２]㊀S H IM ,Y IQ M ,Y A N G H M．I m p l e m e n t a t i o no f v i d e o s u r v e i l l a n c e s y s t e m s b a s e do n t h eL i n u x p l a t f o r m [C ]//P r o c e e d i n g s o f ２０１７T h i r dA s i a nC o n f e r e n c e o nD e f e n c eT e c h n o l o g y ．P h u k e t ,T h a i l a n d :I E E E ,２０１７．[１３]㊀熊文,王莉,肖健,等．一种R S ４８５串口通信电路的高可靠性设计[J ]．自动化与仪器仪表,２０１７(３):４３Ｇ４５．X I O N G W ,WA N GL ,X I A OJ ,e t a l ．A R S ４８５s e r i a l c o mm u n i c a t i o nc i r c u i to f t h eh i g hr e l i a b i l i t y d e s i gn [J ]．A u t o m a t i o n &I n s t r u m e n t a t i o n ,２０１７(３):４３Ｇ４５．(i nC h i n e s e)[１４]㊀卢宇峰,罗小华,俞淼,等．基于L U T 实时图像矫正的行缓存优化[J ]．复旦学报:自然科学版,２０１６,５５(４):４１８Ｇ４２４．L U YF ,L U OX H ,Y U M ,e t a l ．L i n e b u f f e r r e d u c t i o n f o r L U T Ｇb a s e d r e a l Ｇt i m e i m a ge r e c t if i c a t i o n [J ]．J o u r n a l o f F u d a nU n i v e r s i t y :N a t u r a lS c i e n c e ,２０１６,５５(４):４１８Ｇ４２４．(i nC h i n e s e )[１５]㊀肖建波．电视信号传输和处理延时的一种测量方法[J ]．现代电视技术,２０１６(９):１４２Ｇ１４４．X I A OJB ．A m e t h o d f o rm e a s u r i n g t h e d e l a y o fT Vs i g n a l t r a n s m i s s i o n a n d p r o c e s s i n g [J ]．A d v a n c e dT e l e v i s i o n E n g i n e e r i n g ,２０１６(９):１４２Ｇ１４４．(i nC h i n e s e )[１６]㊀赵书杰,孙书为,雷元武．一种基于B T．１１２０协议的数字视频输入接口设计[C ]//第二十一届计算机工程与工艺年会暨第七届微处理器技术论坛论文集．２０１７．Z HA OSJ ,S U NS W ,L E IY W．D e s i g no f ad i g i t a l v i d e o i n p u t i n t e r f a c eb a s e do nB T．１１２０p r o t o c o l [C ]//P r o Ｇc e e d i n g s o f t h e ２１s t A n n u a l C o m p u t e rE n g i n e e r i n g a n dT e c h n o l o g y C o n f e r e n c e a n d t h e ７t hM i c r o p r o c e s s o rT e c h Ｇn o l o g y Fo r u m ．２０１７．(i nC h i n e s e )[１７]㊀N I U Y H ,Y UJY ,G U M ,e t a l ．Ah i g hs p e e dv i r t u a l c h a n n e l d a t a t r a n s f e rm e t h o df o r s p a c e c r a f t a p pl i c a t i o n [C ]//P r o c e e d i n g s o f ２０１６I E E E １３t hI n t e r n a t i o n a lC o n f e r e n c e o nS i g n a lP r o c e s s i n g ．C h e n g d u :I E E E ,２０１６．[１８]㊀C H E NSY ,WA N GD H ,S HA NR ,e t a l ．A n i n n o v a t i v e d e s i g n o f t h eD D R /D D R ２S D R AMc o m p a t i b l e c o n t r o l Ｇl e r [C ]//P r o c e e d i n g s o f ２００５６t hI n t e r n a t i o n a lC o n fe r e n c e o nA S I C ．S h a n g h a i :I E E E ,２００５．[１９]㊀冉峰,李天,季渊,等．基于F P G A 的图像缩放算法设计[J ]．光电子技术,２０１７,３７(１):２１Ｇ２６．R A NF ,L IT ,J IY ,e t a l ．D e s i g no f i m a g es c a l i n g a l g o r i t h m b a s e do nF P G A [J ]．O p t o e l e c t r o n i cT e c h n o l o g y ,２０１７,３７(１):２１Ｇ２６．(i nC h i n e s e)[２０]㊀谭燕林．基于F P G A 的D D R ２S D R AM 控制器设计[D ]．南京:东南大学,２０１６．T A N Y L ．D e s i g no fD D R ２S D R AM c o n t r o l l e rb a s e do nF P G A [D ]．N a n j i n g :S o u t h e a s tU n i v e r s i t y,２０１６．(i n C h i n e s e)[２１]㊀陈平,张春,张一山,等．D D R ２S D R AM 控制器I P 功能测试与F P G A 验证[J ]．微电子学,２０１６,４６(２):２５１Ｇ２５４．C H E NP ,Z HA N GC ,Z HA N GYS ,e t a l ．F u n c t i o n s i m u l a t i o n a n dF P G Av e r i f i c a t i o n o fD D R ２S D R AMc o n t r o l Ｇl e r I P [J ]．M i c r o e l e c t r o n i c s ,２０１６,４６(２):２５１Ｇ２５４．(i nC h i n e s e )[２２]㊀张秋林,夏靖波,邱婧,等．基于A R M 和F P G A 的双路远程视频监控系统设计[J ]．液晶与显示,２０１１,２６(６):７８０Ｇ７８４．Z HA N G QL ,X I AJB ,Q I UJ ,e t a l ．D e s i g no f d u a l r e m o t e v i d e om o n i t o r i n g s y s t e mb a s e do nA R Ma n dF P G A [J ]．C h i n e s eJ o u r n a l o f L i q u i dC r y s t a l s a n dD i s p l a ys ,２０１１,２６(６):７８０Ｇ７８４．(i nC h i n e s e )作者简介:㊀万㊀权(１９９３－),男,四川乐山人,硕士研究生,２０１７年于南昌理工学院获得学士学位,主要从事F PG A 应用方面的研究.E Ｇm a i l :８５２０６９０９５＠q q．c o m ２７０１㊀㊀㊀㊀液晶与显示㊀㊀㊀㊀㊀㊀第３５卷㊀. All Rights Reserved.。

㊀第45卷第12期煤㊀㊀炭㊀㊀学㊀㊀报Vol.45㊀No.12㊀㊀2020年12月JOURNAL OF CHINA COAL SOCIETYDec.㊀2020㊀移动阅读范伟强,刘毅.基于自适应小波变换的煤矿降质图像模糊增强算法[J].煤炭学报,2020,45(12):4248-4260.FAN Weiqiang,LIU Yi.Fuzzy enhancement algorithm of coal mine degradation image based on adaptive wavelet trans-form[J].Journal of China Coal Society,2020,45(12):4248-4260.基于自适应小波变换的煤矿降质图像模糊增强算法范伟强,刘㊀毅(中国矿业大学(北京)机电与信息工程学院,北京㊀100083)摘㊀要:为解决矿井下复杂光照条件导致视频监控系统中的图像降质问题,提出基于自适应小波变换的煤矿降质图像模糊增强算法㊂首先,通过多尺度小波分解将矿井降质图像分解为低频子图和不同尺度的高频子图,采用贝叶斯估计的小波收缩阈值方法,自适应调整不同尺度下高频子图的小波阈值;其次,设计了引入自适应权值因子和自适应增强系数的自适应小波阈值函数,在保持了阈值函数连续性的同时也能够避免产生固定偏差,从而实现了对不同尺度下高频子图的收缩阈值滤波和非线性增强;接着,采用双边滤波算法估计并去除低频子图中的照度分量,并对处理后的低频子图和各尺度高频子图进行小波重构,获取增强后的小波重构图像;最后,采用改进的隶属度函数和模糊增强算子对小波重构图像的亮度分量进行调整,得到最终增强图像㊂采用主观视觉和客观评价指标对降质图像增强实验进行分析验证,实验结果表明:所述算法具有最优的图像增强效果,能够有效抑制图像噪声㊁增强图像细节特征㊁降低图像失真㊁改善降质图像视觉效果,且克服了传统图像增强算法在矿井复杂光照条件下的局限性,具有较强的鲁棒性㊂其综合性能指标较CLAHE ,SSR ,MSR ,BF -DCP ,DGR ,MSWT 及PGCHE 七种算法,分别提高4．42%,4．95%,15．35%,196．60%,88．93%,10．52%和12．10%㊂关键词:小波变换;降质图像;模糊增强;贝叶斯估计;阈值函数;双边滤波中图分类号:TD76;TP391．41㊀㊀㊀文献标志码:A㊀㊀㊀文章编号:0253-9993(2020)12-4248-13收稿日期:2020-05-08㊀㊀修回日期:2020-08-11㊀㊀责任编辑:郭晓炜㊀㊀DOI :10.13225/ki.jccs.2020.0785㊀㊀基金项目:国家重点研发计划资助项目(2016YFC0801800)㊀㊀作者简介:范伟强(1992 ),男,河南渑池人,博士研究生㊂E -mail:fan_weiqiang@163．comFuzzy enhancement algorithm of coal mine degradation imagebased on adaptive wavelet transformFAN Weiqiang,LIU Yi(School of Mechanical Electronic &Information Engineering ,China University of Mining and Technology (Beijing ),Beijing ㊀100083,China )Abstract :In order to solve the problem of image degradation in video monitoring systems caused by complex lighting conditions in mines,a fuzzy enhancement algorithm for coal mine degradation images based on adaptive wavelet trans-form is proposed.Firstly,the degraded image is decomposed into low-frequency sub-graph and high-frequency sub-graphs of different scales by multi-scale wavelet decomposition,and the wavelet shrinkage threshold method of Bayes-ian estimation is used to adaptively adjust the wavelet threshold at different scales.Secondly,an adaptive wavelet threshold function that introduces adaptive weight factor and adaptive enhancement coefficient is designed,which not only maintains the continuity of the threshold function and avoids fixed deviations,but also implements contraction threshold filtering and non-linear en-hancement for high-frequency sub-graphs of different scales.Thirdly,a bilateralfiltering algorithm is used to estimate and remove the illuminance component in the low-frequency sub-graph,and the第12期范伟强等:基于自适应小波变换的煤矿降质图像模糊增强算法wavelet reconstruction is performed on the processed low-frequency sub-graph and high-frequency sub-graphs of each scale to obtain enhanced wavelet reconstruction images.Finally,the improved membership function and fuzzy enhance-ment operator are used to adjust the brightness component of wavelet reconstructed image to obtain the final enhanced image.The subjective vision and objective evaluation indicators are used to analyze the results of degraded image en-hancement experiments.The proposed algorithm has the best image enhancement effect,which can effectively suppress image noise,enhance detailed information,reduce image distortion,improve the visual effect of degraded images,over-come the limitations of traditional image enhancement algorithms under complex lighting conditions in mines,and has strong pared with CLAHE,SSR,MSR,BF-DCP,DGR,MSWT and PGCHE,its comprehensive per-formance indicators have been improved by4.42%,4.95%,15.35%,196.60%,88.93%,10.52%and12.10%re-spectively.Key words:wavelet transform;degraded image;fuzzy enhancement;Bayesian estimation;threshold function;bilateral filtering㊀㊀煤矿视频监控系统对提高煤矿安全生产管理水平,促进矿山智能化发展至关重要[1],如:规范矿工操作流程㊁落实领导带班考勤㊁人员实时位置测定等[2-4]㊂但煤矿井下视频监控图像易受人工光源照度不均,生产过程中粉尘量大[5],喷雾降尘设施导致的空气湿度高等环境因素影响㊂这些因素导致摄像机的成像质量严重下降[6],主要表现为图像呈现大量暗区域,以及部分高亮区域,其中暗区域使图像轮廓模糊不清,细节特征丢失,视觉效果差;高亮区域使图像的光晕现象明显,并导致图像对比度和信噪比下降等,从而制约了视频监控系统的智能化发展㊂为了更好地呈现煤矿井下场景信息,突出图像纹理和边缘特征,提高图像的视觉效果,促进视频监控系统在煤矿安全生产和矿山智能化方面的应用,对其低照度㊁光照不均㊁低信噪比的煤矿监控图像进行增强具有重要意义㊂目前,针对矿井降质图像的增强算法主要包括: (1)基于光学成像原理的图像复原算法[7-8]㊂矿井降质图像受到光的散射影响,可以采用基于暗原色先验(Dark Channel Prior,DCP)和大气散射模型的图像处理算法对矿井降质图像增强㊂但该类算法对降质图像的亮度改善效果较差,且增强过程中忽略了噪声对降质图像的影响㊂(2)基于空域变换的图像增强算法[9-11]㊂通过直方图均衡化(Histogram Equalization,HE),线性㊁非线性等灰度变换函数,以及改进的空域变换函数对像素进行调整,实现对降质图像的增强㊂但该类算法存在一些缺点:①空域变换函数易增强图像噪声,出现灰度级合并,导致图像部分欠增强或过增强等;②改进的HE算法易出现色彩偏移,层次感下降,图像特征模糊等㊂(3)基于照射-反射模型的图像增强算法[13-16]㊂根据物体在不同光照下色彩的恒常性,将降质图像分为照度分量(Illumination Component,LC)和反射分量(Reflection Component,RC)㊂借助滤波器估计原图像中的LC,进而得到RC,并对RC进行空域变换,实现图像增强㊂但该类算法存在一些缺点:①传统滤波器估计LC,易导致增强图像边缘特征模糊;②保边滤波器估计LC,增强过程耗时较长;③该类算法均假设环境光照均匀,对矿井降质图像增强效果较差㊂(4)基于小波变换(Wavelet Transform,WT)的图像增强算法[17-19]㊂在频率域内对小波分解的高频和低频子图进行系数调整,并实现图像增强㊂但该类算法对代表图像背景信息和整体特征的低频信息未进行增强处理,导致WT后的增强图像亮度改善不明显㊂(5)基于模糊集域-DCP图像增强算法[20]㊂该算法虽解决了矿井下浓雾㊁光照不均问题,但易放大图像噪声,导致降质图像部分区域过增强㊂(6)基于NSCT的矿井图像增强算法[21]㊂该算法计算过程复杂,且增强后的图像仍存在光晕现象㊂针对现有基于光学成像原理㊁空域变换㊁照射-反射模型以及基于WT和改进型WT等主流图像增强算法所存在的缺陷,无法满足未来煤矿视频监控系统智能化发展需求㊂同时,根据小波变换和模糊增强算法在矿井降质图像增强中所表现出的显著优势[17-20,22],笔者提出了基于自适应小波变换的煤矿降质图像模糊增强算法㊂1㊀降质图像增强算法建模在矿井图像的增强过程中,WT是实现图像增强的一种重要方法,它能够将图像从空间域变换至频率域,既不丢失图像原有信息,也不会增加冗余信息,具有较完善的重构能力[22]㊂通过多尺度小波分解9424煤㊀㊀炭㊀㊀学㊀㊀报2020年第45卷(Wavelet Decomposition,WD)能够得到包含图像边缘㊁纹理等细节信息的高频子图(High Frequency Sub -graph,HFS),以及包含图像灰度㊁亮度等整体特征的低频子图(Low Frequency Sub -graph,LFS)㊂但已有的二维小波阈值函数模型具有一定的局限性,易导致图像的细节信息丢失及噪声放大等问题,进而造成重构后的增强图像出现不同程度的模糊[23]㊂此外,WT 无法对LFS 系数进行调整,这使得增强后的图像亮度改善不明显㊂因此,本文设计了能够适用于矿井复杂光照条件的图像增强模型㊂1．1㊀小波阈值函数设计小波阈值函数构造是本文图像增强算法中的关键内容㊂目前,基于WT 的图像增强算法主要采用传统小波hard,soft 阈值函数[24]以及改进后的Semisoft,Garrote 阈值函数㊂Semisoft,Garrote 阈值函数模型分别如式(1),(2)所示:Semisoft 阈值函数模型:μT (ωi ,j )=0,ωi ,j <T 1sgn(ωi ,j )T 2(ωi ,j -T 1)T 2-T 1,㊀㊀T 1<ωi ,j <T 2ωi ,j ,ωi ,j ȡT 2ìîí(1)式中,μT 为小波增强后的HFS 系数;ωi ,j 为第i 尺度下的第j 个HFS 系数,j =1,2,3分别对应HL,LH,HH 子图;T 1,T 2为小波阈值函数的2个阈值;sgn(㊃)为符号函数㊂Garrote 阈值函数模型:μT (ωi ,j )=0,ωi ,j <Tωi ,j -T 2ωi ,j ,ωi ,j ȡT ìîí(2)式中,T 为小波阈值㊂在基于上述模型的小波图像处理中,小波软阈值函数中的小波系数在去噪前后存在着恒定的偏差,会导致WR 图像过度平滑㊁严重失真;小波硬阈值函数在阈值处不连续,导致WR 后的图像出现 伪吉布斯 现象[25];Semisoft 去噪模型的优点是能够较好的兼顾软㊁硬阈值函数的优点,但同时存在阈值函数不连续㊁计算量大㊁需要计算2个阈值㊁算法实现困难等缺点[26];Garrote 阈值函数模型的优点是能够较好地保持图像平滑,且一定程度上保留图像的边缘特征信息[27],缺点是随着小波分解尺度的增加,小波阈值函数无法实现自适应调整,导致图像细节信息和噪声共同增强㊂笔者根据上述4种典型小波阈值函数存在的缺陷,以及随着WD 尺度的增加,HFS 中的噪声信号逐渐减少的特点[28],设计了一种引入自适应权值因子的小波阈值函数(图1)㊂该小波阈值函数在整个定义域内连续,不会产生固定偏差,并且能够根据WD 尺度的变化,自动调整小波阈值函数的噪声抑制水平,适合矿井复杂环境中的图像降噪,其表达式为μT (ωi ,j )=sgn(ωi ,j )(1-s )Tωi ,j ,ωi ,j<Tωi ,j -s T 2ωi ,j e T -ωi ,j,ωi ,j ȡTìîí(3)式中,s 为自适应权值因子,s =n /N ,N 为第i 尺度下的第j 个HFS 系数的长度;n 为其系数中小于阈值的系数数目㊂图1㊀不同阈值下的自适应小波阈值函数Fig．1㊀Adaptive wavelet threshold function under differentthresholds小波分解后的HFS 中既包含大量的图像细节信息又包含一部分噪声信息,并且随着尺度的增加,HFS 中的图像细节信息逐渐减少[29]㊂因此,笔者通过设置一个随尺度变化的自适应增强系数,实现不同尺度下HFS 的自适应降噪与增强,其表达式为μT (ωi ,j )=sgn(ωi ,j )(1-s )TW i ,j (ωi ,j ),ωi ,j<TW i ,j ωi ,j -s W i ,j T 2ωi ,j e W i ,j (T -ωi ,j ),ωi ,j ȡTìîí(4)524第12期范伟强等:基于自适应小波变换的煤矿降质图像模糊增强算法其中,W i,j为自适应增强系数,W i,j由式(5)求得W i,j=k e(ωi,j-μ)22σ2(5)式中,μ为第i尺度下的第j个HFS的均值;σ为小波去噪前第i尺度下的第j个HFS的标准差,在噪声估计时,通常j=3;k为自适应调节参数㊂由于同一尺度下的HH子图中有较多原始图像的细节信息,而HL,LH子图中的细节成分较少,近似成分更大[28]㊂故当j=1,2时,k=2i-1;当j=3时,k=2i㊂通常情况下,小波阈值函数在增强图像细节信息时,噪声也会相同程度地放大,影响图像的视觉效果㊂根据式(4),(5)可知,本文所设计的自适应小波阈值函数将小波去噪与增强的特点有机结合起来,对每一尺度下的HFS进行自适应阈值变换,突出不同尺度的细节特征,抑制图像的噪声,增强图像的层次感,大幅度提高小波阈值函数的灵活性和实用性㊂1．2㊀小波阈值选取在基于WT的图像增强处理中,小波阈值的选取是决定图像增强效果的一个决定性因素㊂随着分解尺度的增大,噪声系数会越来越小,若不同尺度下均采用相同的阈值,在阈值过大时,使得低于阈值的有效小波系数置零,造成图像的细节和边缘特征模糊;阈值选取太小时,导致在小波降噪中残留较多的噪声信号,降低图像增强算法的去噪效果㊂因此,本文采用贝叶斯估计的小波收缩阈值方法,自适应调整小波阈值,算法过程如下:(1)根据贝叶斯估计理论,小波去噪后的各HFS系数服从均值为0,方差为σ2x的广义高斯分布㊂Φ(x)=12πσx exp-x22σ2xæèöø(6)式中,Φ(x)为广义高斯分布函数;x为第i尺度下的第j个HFS系数;σx为小波去噪后第i尺度下的第j 个HFS标准差㊂(2)根据σx和贝叶斯风险估计函数r(T)可求得最优化的阈值[30],其阈值T[31]为T i=σ2σx(7)式中,T i为第i尺度小波系数的阈值㊂(3)噪声方差采用鲁棒性中值估计公式:σ=median(ωi,j)/0．6745(8)㊀㊀(4)每个含噪观测子带的方差估计σ2y采用最大似然估计法得到σ2y=1Nðω2i,j(x)(9)㊀㊀(5)由σ2y=σ2x+σ2得到σx=max(σ2y-σ2,0)(10)㊀㊀根据式(7)~(10)计算得到不同尺度下的小波阈值T,且基于贝叶斯估计的收缩阈值方法能够克服固定小波阈值的缺点,自适应得到不同尺度下的小波阈值㊂1．3㊀照射分量的估计与去除由于WD后的LFS主要代表图像整体轮廓特征的环境光LC,其LC会导致重构图像纹理和边缘特征模糊㊂为了增强煤矿监控图像的整体特征信息,本文采用双边滤波(Bilateral Filtering,BF)对LFS进行滤波处理,估计环境光LC㊂其BF后输出的LFS系数值依赖于邻域系数值的加权组合,定义为f BF(i,j)=ðk,l f L(k,l)w(p,q,k,l)ðk,l w(p,q,k,l)(11)式中,f BF(i,j)为滤波后的LFS;f L(k,l)为输入的LFS在滑动窗内中心像素点位置坐标(k,l)的系数值;w(p,q,k,l)为权重系数;(p,q)为邻域像素点位置坐标;(k,l)为中心像素点坐标㊂权重系数w(p,q,k,l)为空域核和值域核的乘积,其表达式为w(p,q,k,l)=exp-(p-k)2+(q-l)22σ2déëùûˑexp- f L(p,q)-f L(k,l) 22σ2réëùû(12)式中,σ2d为空间域方差;f L(p,q)为输入的LFS在滑动窗内邻域像素点位置坐标(p,q)的系数值;σ2r为值域方差㊂通过式(11)获取LC,代入式(13)求得去除LC 后的LFS系数FᶄL(i,j):FᶄL(i,j)=f L(i,j)-ξf BF(i,j)(13)其中,ξ为估计系数,ξɪ(0,1)㊂由于矿井光照较差,本算法中ξ=0．2㊂1．4㊀基于模糊变换的图像增强由于煤矿井下采用人工光源照明,且一些监控摄像机采用补光灯对监视区域进行补光,导致部分图像存在明显的低照度区域和高亮度区域㊂经过WT后的降质图像亮度和对比度已经得到一定程度的改善,但无法显著提高低照度区域和抑制高亮区域㊂为实现图像亮度和对比度的进一步提高,本文采用隶属度函数,将小波重构(Wavelet Reconstruction,WR)图像从空间域变换到模糊集域[32],通过设计的改进型模糊变换函数,对WR图像的亮度和对比度进行调整,并通过反模糊函数得到最终的增强图像㊂改进的模1524煤㊀㊀炭㊀㊀学㊀㊀报2020年第45卷糊增强算法实现过程如下:(1)设计隶属度函数Y m ,n ,并将WR 图像从空间域转换到模糊集域:Y m ,n =sin π21-X m ,n -X min d (X max -X min )éëùû{}(14)式中,X m ,n 为WR 图像在坐标(m ,n )处像素的灰度值;X min 为图像的最小灰度值;d 为可变参数,d ɪ[1,2],煤矿井下图像偏暗,故本算法中该参数取1．2;X max 为图像的最大灰度值㊂(2)构造模糊变换函数Yᶄm ,n ,通过式(14)计算WR 图像在模糊集域内的隶属度,并根据模糊变换函数和隶属度,对其进行模糊处理,实现WR 图像的亮度和对比度调整:Yᶄm ,n=(2Y m ,n )1/2,0ɤY m ,n <0．52Y 2m ,n-Y m ,n +1,Y m ,n ȡ0．5{(15)㊀㊀(3)通过反模糊变换函数,将式(15)模糊处理后的隶属度值从模糊集域变换到空间域,得到增强图像f E :f E =d (X max-X min )1-2πarcsin Yᶄm ,n 2æèöøéëùû+X min(16)㊀㊀改进的模糊增强算法实现过程简单,实时性强,能够对WR 图像部分区域的灰度值增强或减弱,从而抑制图像中的高亮区域,增强低照度区域㊂通过对可变参数d 的控制,极大地提高了本文算法的鲁棒性,实现了对矿井不同照明区域视频监控图像的增强㊂2㊀算法流程本文提出的基于自适应小波变换的煤矿降质图像模糊增强算法,其具体实现流程如下:(1)获取矿井降质图像f 的R,G,B 三通道子图f R ,f G ,f B ;(2)在综合考虑去噪效果和计算量的代价下,采用 db5 [33]小波基对三通道子图进行3层小波分解,得到LFS 和各尺度HFS;(3)计算各尺度HFS 所对应的小波阈值T 和自适应权值因子s ;(4)通过式(5)和自适应调节参数k 计算各尺度下的自适应增强系数;(5)由式(4)定义的小波阈值函数,对各尺度下的小波高频子图进行去噪和增强;(6)利用BF 算法对LFS 进行LC 估计和系数调整;(7)对步骤(5),(6)处理后的各尺度HFS 和LFS 进行WR,获取自适应增强后的重构图像;(8)根据式(14)~(16)对WR 图像进行模糊增强,并获取最终增强图像f E ㊂算法实现原理方框图如图2所示㊂图2㊀本文算法实现原理方框Fig．2㊀Block diagram of algorithm implementation in this paper3㊀实验结果与分析为了验证本文算法的有效性,选取矿井监控视频中部分光照不均匀的图像,实验计算机配置:CPU Inter Core i5-5200,3．70GHz,RAM 4GB,编程工具:Matlab R2014a㊂分别从主观视觉和客观指标两个方面对本文算法和其他7种对比算法的增强性能进行评价,对比算法分别为:对比度受限自适应直方图均衡化(Contrast Limited Adap-tive Histogram Equalization,CLAHE )㊁单尺度Ret-inex (SingleScaleRetinex,SSR )㊁多尺度Retinex(Multiscale Retinex,MSR),BF -DCP [7],双伽马Retinex(Double Gamma Retinex,DGR)[11]㊁基于模平方的小波变换(Modulus Squared WaveletTransform,MSWT)[28]㊁PGCHE [34]㊂对比算法中相关参数设置:CLAHE 算法的子块尺寸为8ˑ8,对比2524第12期范伟强等:基于自适应小波变换的煤矿降质图像模糊增强算法度增强的限制参数取0．02;SSR 采用高斯滤波函数㊁MSR 算法采用Mccann 的默认参数;BF -DCP,DGR 算法采用原文献中推荐的参数;MSWT 算法采用软阈值函数;PGCHE 算法中PSO 迭代次数为100,粒子个数为20㊂3．1㊀主观评价(1)实验1:对分辨率为575ˑ910的掘进工作面图像进行增强测试,实验结果如图3所示㊂(2)实验2:对分辨率为575ˑ910的回采工作面运输巷图像进行增强测试,实验结果如图4所示㊂图3㊀不同算法对比实验1Fig．3㊀Comparison 1experiment of different algorithms3524煤㊀㊀炭㊀㊀学㊀㊀报2020年第45卷图4㊀不同算法对比实验2Fig．4㊀Comparison experiment 2of different algorithms㊀㊀根据图3,4对不同增强算法的处理结果和灰度直方图进行对比分析可知,原图像存在较多明暗区域㊁亮度和对比度差㊁细节信息不明显等缺点,导致视觉上图像轮廓边际模糊㊁特征点较少,也不利于图像特征提取和目标检测识别㊂采用CLAHE,SSR,MSR,BF -DCP,DGR,MSWT,PGCHE 算法均能够增强图像对比度,提升整体亮度,改善图像视觉效果,但增强后的图像仍存在一些问题㊂图3(b),4(b)中图像明暗对比强烈处出现光晕现象,部分区域过增强,且图像细节信息丢失较多;图3(c),4(c)中图像亮区域出现过增强现象,暗区域细节信息不明显,图像出现块效应;图3(d),4(d)中图像亮度提升不明显,高亮区域存在光晕现象,图像清晰化效果欠佳;图3(e),4(e)中突出了图像轮廓和细节信息,但图像整体偏暗,色彩恒常性差,失真现象严重,视觉效果较差;图3(f),4(f)中图像明暗对比强4524第12期范伟强等:基于自适应小波变换的煤矿降质图像模糊增强算法烈处光晕现象明显,灰度级压缩后导致图像细节信息丢失,并且在亮度增强的同时也放大了噪声;图3(g),4(g)中图像出现了整体欠增强,但亮区域过增强的现象;图3(h),4(h)中图像整体亮度较高,但出现了灰度级合并,且存在过度增强,导致图像失真度较高㊂综合分析,本文算法(图3(i),4(i))在一定程度上克服了上述增强算法存在的缺点,较明显地提高了图像的整体亮度㊁对比度㊁清晰度,并消除了图像明暗对比强烈处的光晕现象,实现了低亮度区域的增强和高亮度区域的抑制,在保持了图像原有细节信息的同时,使得图像更加饱和自然,符合人眼的视觉特征㊂3．2㊀客观评价为了更加客观地分析不同算法的增强效果,本文分别选用均值(Mean,M 1)㊁平均局部均方误差(Mean Local Mean Square Error,E ML -MS )㊁平均局部信息熵(Mean Local Information Entropy,E ML -I )和峰值信噪比(Peak Signal to Noise Ratio,R PSN )㊁结构相似度(Structural Similarity Index,M SSI )5种评价指标对本文算法及对比算法进行评价㊂3．2．1㊀M 1图像的M 1值越大,则图像的亮度越高,其表达式为M 1=1MN ðMx =1ðNy =1f (m ,n )[](17)式中,MN 为灰度图像f 的大小;f (m ,n )为灰度图像f 在坐标(m ,n )处的像素值㊂3．2．2㊀E ML -MS图像的E ML -MS 值越大,则图像的对比度越大,即图像的细节信息越丰富㊂假设局部窗口尺寸为(2r +1)ˑ(2r +1),其表达式为E ML -MS=1nn ðnx =0ðny =0[f (x ,y )-f (x 0,y 0)]2,n =(2r +1)ˑ(2r +1)(18)式中,f (x ,y )为局部窗口内某一图像灰度值;f (x 0,y 0)为局部窗口内图像灰度均值㊂3．2．3㊀E ML -I图像的E ML -I 值越大,代表图像包含的信息量越多㊂假设局部窗口尺寸为(2r +1)ˑ(2r +1),则局部信息熵的定义为E ML -I =-ðνmaxν=νminp (ν)log 2(p (ν))(19)式中,p (ν)为局部窗内图像灰度ν的分布密度;νmax ,νmin 为局部窗内像素最大值和最小值㊂3．2．4㊀R PSNR PSN 反映增强图像和原始图像之间的数学统计差别,能够客观反映图像的噪声抑制水平㊂R PSN 值越大,图像的噪声抑制能力越强,其表达式为R PSN =10lg25521MN ðMx =1ðNy =1(f (m ,n )-M 1)2[](20)3．2．5㊀M SSIM SSI 是一种基于结构信息衡量信号之间相似程度的评价准则,能够更加客观评价图像的人眼主观效果和图像的失真程度㊂M SSI 值越大,两幅图像越相似㊂当其最大值为1时,两幅图像相同㊂两幅图像X ,Y 对应像元x ,y 的M SSI 用式(21)表示为R SSIM (X ,Y )=(2μx μy )(2σ2xy+C 2)(μ2x +μ2y +C 1)(σ2x +σ2y+C 2)(21)式中,μx ,μy 分别为图像X ,Y 的均值;σ2xy 为图像X 与Y 的协方差;C 1,C 2为经验选取的正常数;通常取C 1=(K 1L )2,C 2=(K 2L )2,一般地K 1=0．01,K 2=0．03,L =255㊂实验1,2中不同算法的客观评价指标见表1,2㊂同时,在与实验1,2相同的视频采集环境下,随机选取2组图像样本进行实验,不同算法的客观评价指标见表3㊂表1㊀实验1中不同算法的客观评价值Table 1㊀Objective evaluation values of different algorithms in Experiment 1评价指标f CLAHE SSR MSR BF -DCP DGR MSWT PGCHE 本文算法M 169．9188．5689．7385．6533．04108．2870．61100．7588．82E ML -MS 66．06192．43188．2988．11119．5645．35122．11153．9787．16E ML -I 2．412．502．492．482．412．402．452．452．52R PSN 17．6818．3221．9114．8315．8832．7215．7220．97M SSI0．870．890．960．660．880．990．850．945524煤㊀㊀炭㊀㊀学㊀㊀报2020年第45卷表2㊀实验2中不同算法的客观评价值Table2㊀Objective evaluation values of different algorithms in Experiment2评价指标f CLAHE SSR MSR BF-DCP DGR MSWT PGCHE本文算法M173．7295．0194．4285．9831．95117．7773．62105．3591．31 E ML-MS138．20385．61363．85209．38229．2080．93267．87347．18163．08 E ML-I2．382．552．532．422．402．322．422．472．45 R PSN 16．9417．4319．6214．0514．8329．9115．5920．81 M SSI 0．860．880．960．590．870．990．860．97表3㊀不同算法的客观评价值Table3㊀Objective evaluation values of different algorithms评价指标样本f CLAHE SSR MSR BF-DCP DGR MSWT PGCHE本文算法M117．9615．9214．9146．324．0143．668．0718．3537．08 269．1092．3191．1288．8627．51114．3269．16104．41108．30E ML-MS 110．8712．6811．6928．3220．5110．3020．1913．6115．56 235．10116．57106．8657．2473．7524．6462．41103．2486．20E ML-I 10．470．510．480．650．450．480．370．620．58 22．192．492．452．262．242．122．232．502．34R PSN 1 28．7328．9415．4232．7016．4736．6126．2024．322 17．0918．1121．1214．4714．4828．2815．1220．95M SSI 1 0．790．810．180．800．350．980．610．642 0．820．870．950．580．820．990．780．92㊀㊀根据表1~3可知,CLAHE,SSR算法的E ML-MS 值很大,R PSN,M SSI值较小,即这两类算法对降质图像的对比度提高明显,但易导致图像噪声放大和图像失真;在低照度环境下,MSR算法的M1, R PSN,M SSI等客观指标急剧下降,即该类算法对光照恶劣环境中的降质图像改善效果差;BF-DCP 算法的M1,R PSN,M SSI值最小,E ML-MS值较大,即该类算法对降质图像的改善效果不明显;DGR算法的M1值最大,E ML-MS值较小,即该类算法对降质图像的亮度提高较大,但出现了图像灰度级压缩,导致了降质图像的对比度降低;MSWT算法的R PSN,M SSI值最大,即该类算法对降质图像的去噪和保真能力强,但容易出现过度去噪,导致图像特征信息大量丢失;PGCHE算法的R PSN,M SSI值较小,即该类算法能够改善降质图像的亮度和对比度,但易导致图像噪声放大和图像失真㊂综合分析,本文算法的M1,E ML-MS,E ML-I,R PSN,M SSI值均表现较好,即对提高降质图像的亮度㊁对比度㊁信息熵,噪声抑制,图像保真方面均有较大的提升和改善㊂3．3㊀综合性能分析为验证本文算法对矿井视频监控图像增强的鲁棒性,在相同实验条件下随机挑选出3组图像样本(采区变电所㊁掘进通风措施巷㊁掘进工作面),分析本文算法与7种对比算法对不同场景下视频监控图像的增强处理效果,实验结果如图5所示㊂客观评价指标见表4㊂由图5和表4的主客观评价结果可知, CLAHE,SSR,DGR,MSWT,PGCHE算法对3种场景下的图像增强效果趋于一致,客观评价指标基本稳定;MSR,BF-DCP算法的增强结果波动较大,即该类算法仅限于对特定场景图像进行增强,对矿井不同降质图像的改善效果不同㊂综合分析,本文算法对上述3种场景下的图像均有突出的增强效果,各项客观评价指标稳定㊂实验结果表明,本文算法的鲁棒性最好,能够适用于矿井下不同降质图像的增强㊂对表1~4的各项客观评价指标进行归一化处理后,计算各算法的5种客观评价指标的绝对累计变化量,并根据绝对累计变化量绘制客观评价指标折线图,如图6所示㊂6524第12期范伟强等:基于自适应小波变换的煤矿降质图像模糊增强算法图5㊀不同算法增强效果对比Fig．5㊀Comparison between the original image and different enhancement algorithms7524煤㊀㊀炭㊀㊀学㊀㊀报2020年第45卷表4㊀不同算法的客观评价值Table4㊀Objective evaluation values of different algorithms评价指标样本f CLAHE SSR MSR BF-DCP DGR MSWT PGCHE本文算法a84．1897．6399．17103．8232．53122．7884．26102．4399．30M1b28．8950．2851．5967．7519．0166．8028．6257．1654．20 c21．7141．2042．7661．597．4864．1321．9153．0846．78a25．2596．5190．8838．1753．5321．4645．2686．2949．21 E ML-MS b30．50132．07136．76128．6394．6635．2255．79100．9057．99c6．3740．1337．7839．3613．269．6410．3440．0218．91a2．052．432．422．132．201．952．052．392．50 E ML-I b1．511．701．691．721．511．551．541．721．77c1．491．641．631．661．461．551．411．651．68a 17．1218．6921．3112．1021．4636．1915．8329．21 R PSNb 17．4617．7414．3922．1715．9736．3116．7425．92c 17．6219．0514．3421．8815．3341．7916．4423．56a 0．800．880．970．450．870．990．820．93 M SSIb 0．770．740．610．840．690．990．700．84c 0．650．680．450．470．570．990．580．75㊀㊀注:黑体数字为行最大值;斜体数字为行最小值;a为采区变电所;b为掘进通风措施巷;c为掘进工作面㊂图6㊀不同算法客观评价指标的累计绝对变化量Fig．6㊀Cumulative absolute changes in objectiveevaluation indicators of different algorithms㊀㊀由图6的客观评价指标折线变化可知:本文算法的绝对累计变化量与CLAHE,SSR,MSR,BF-DCP, DGR,MSWT,PGCHE算法相比较,分别提高4．42%, 4．95%,15．35%,196．60%,88．93%,10．52%和12．10%㊂整体上,本文算法综合性能更好,对矿井降质图像的改善作用更优㊂4㊀结㊀㊀论(1)采用贝叶斯估计的小波收缩阈值方法,能够对不同尺度下小波阈值进行自适应调整;构造引入权值因子和增强系数的自适应小波阈值函数,既保持了小波阈值函数的收缩连续性,也克服了其他阈值函数的缺点,并且更好地促使了信噪分离,避免了因噪声过增强而造成图像质量下降;在不同尺度下的增强过程中,增强程度能够根据增强系数实现自适应调整,得到了更丰富的图像边缘信息㊂(2)采用BF算法估计LFS中的LC并对其进行调整,较好的保持了图像边缘特征并改善了图像亮度和对比度;采用改进的隶属度函数和模糊增强算子实现了对WR图像的LC调整,克服了视频监控图像中存在的光照不均问题,在抑制图像高亮区域的同时也提升了低亮区域的亮度和对比度㊂(3)通过定性和定量2个方面对不同图像增强算法的增强效果进行对比分析,本文提出的基于自适应小波变换的模糊增强算法能够有效提高图像亮度和对比度,抑制图像噪声,提升图像信息丰富度,改善图像的整体视觉效果;本文算法与其他增强算法相比,具有显著优势㊂(4)对煤矿井下不同场景的降质图像进行增强处理,结合主客观分析得出,本文算法的鲁棒性较强,综合性能指标较CLAHE,SSR,MSR,BF-DCP, DGR,MSWT,PGCHE算法分别提高4．42%,4．95%, 15．35%,196．60%,88．93%,10．52%和12．10%;实验结果表明,本文算法能够克服煤矿井下因光线差㊁照度不均匀㊁粉尘多等导致的视频监控系统中图像质量差问题㊂参考文献(References):[1]㊀孙继平.煤矿安全生产监控与通信技术[J].煤炭学报,2010,35(11):1925-1929.SUN Jiping.Technologies of monitoring and communication in8524。

电脑显卡的抗锯齿技术解析随着科技的不断发展，电脑显卡的性能也不断提升。

作为电脑显示图像的关键组件之一，显卡在提供高清晰度、清晰画面的同时，也需要解决图像处理中的一些问题，比如抗锯齿技术。

本文将对电脑显卡的抗锯齿技术进行解析，探讨其原理和应用。

一、什么是抗锯齿技术抗锯齿（Antialiasing）技术是一种用于平滑图像边缘的技术。

在图像处理过程中，由于画素（Pixel）的离散性，呈锯齿状的边缘会导致图像的不平滑，降低视觉效果。

抗锯齿技术可以通过一些算法对这种现象进行改善，使边缘过渡更加自然平滑，提高图像的质量。

二、抗锯齿技术的实现原理1. 多重采样抗锯齿（MSAA）多重采样抗锯齿是应用最广泛的一种抗锯齿技术。

它的原理是在图像渲染过程中，对每个像素进行多次采样，然后对这些采样值进行平均。

这样可以减少锯齿状边缘的出现，使图像边缘更加平滑。

2. 超级采样抗锯齿（SSAA）超级采样抗锯齿是一种比较传统的抗锯齿技术。

它的原理是对图像进行超过显示设备实际分辨率的渲染，然后根据像素值的差异进行平均处理，从而达到抗锯齿的效果。

由于超级采样抗锯齿需要对图像进行更高分辨率的计算和存储，所以对显卡性能要求较高。

3. 面部识别抗锯齿（FXAA）面部识别抗锯齿是一种软件级别的抗锯齿技术，主要用于游戏的图像处理。

它的原理是通过对图像进行面部特征识别，对锯齿状边缘进行平滑处理。

相比于硬件实现的抗锯齿技术，面部识别抗锯齿对显卡性能要求较低，但效果可能稍逊一筹。

三、抗锯齿技术的应用场景1. 游戏图像处理在游戏中，抗锯齿技术可以提高画面的清晰度和质量，使游戏画面更加真实自然。

对于需要较高视觉体验的游戏，抗锯齿技术是必不可少的。

2. 视频编辑与处理在视频编辑和处理过程中，抗锯齿技术可以对边缘进行平滑处理，减少画面的锯齿感，提高视频的质量。

3. CAD设计与渲染在CAD设计和渲染过程中，抗锯齿技术可以使图像边缘更加平滑，提高设计的精确度和真实感。