高光谱图像分类
- 格式:docx
- 大小:810.61 KB
- 文档页数:16
hsi分类综述-回复文章题目:HSI分类综述:从原理到应用的一步一步解析引言:随着人工智能和计算机视觉的快速发展,图像分类成为一个备受关注和研究的领域。
HSI(Hyper-spectral Imaging)分类作为一种新兴的图像分类技术,对于光谱数据的高效处理和准确分类具有重要意义。
本文将从HSI分类的原理到应用的多个方面进行逐步解析,以帮助读者全面了解这项技术及其潜力。
一、HSI分类的原理解析1.1 HSI分类介绍HSI分类是一种基于光谱信息的高光谱图像分类技术,可以对图像数据进行细致精确地分析和分类。
相比于传统的图像分类方法,HSI分类能够利用图像中多个波段的光谱信息,提供更加丰富的图像特征,从而达到更高的分类准确度。
1.2 HSI分类的基本原理HSI分类的基本原理是将图像数据从三维的光谱空间转化为二维的特征空间,然后利用分类算法对特征空间进行处理和分类。
具体来说,通过提取和选择合适的光谱特征,将高维的光谱数据降维到低维的特征空间中,再使用分类算法进行模型训练和分类任务的完成。
1.3 HSI分类的关键技术在实现HSI分类过程中,有几个关键的技术需要关注:- 光谱信息提取:提取图像中每个像素点的光谱信息,获取不同波段的光谱曲线。
- 光谱特征选择:从光谱数据中选择出具有较高分类能力的光谱特征,如主成分分析(PCA)、线性判别分析(LDA)等方法。
- 分类算法选择:选择适合HSI分类的算法,如支持向量机(SVM)、随机森林(RF)等。
二、HSI分类算法的研究进展2.1 传统HSI分类算法在HSI分类算法的研究中,传统的分类方法主要包括最大似然分类(MLC)、支持向量机分类(SVM)、随机森林分类(RF)等。
这些方法在一定程度上满足了HSI分类的需求,但仍然存在一些问题,例如计算复杂度高、泛化能力差等。
2.2 深度学习在HSI分类中的应用随着深度学习技术的发展,越来越多的研究者开始尝试将深度学习方法应用于HSI分类中。
gru 高光谱分类英文回答:GRU (Gated Recurrent Unit) is a type of recurrent neural network (RNN) that has been widely used in various natural language processing tasks, including text classification. However, it can also be applied to other domains, such as hyperspectral image classification. In hyperspectral image classification, the goal is to classify each pixel in an image into different land cover classes based on the spectral information. GRU can be used to learn the complex relationships between the spectral features and the corresponding land cover classes.The advantage of using GRU for hyperspectral image classification lies in its ability to capture long-term dependencies in the spectral information. Unliketraditional feedforward neural networks, which only consider the current input, GRU takes into account the previous inputs as well. This allows it to capture thetemporal dependencies in the hyperspectral data, which can be crucial for accurate classification.For example, let's say we have a hyperspectral image of a forested area, and we want to classify each pixel into either "tree" or "non-tree" class. GRU can take thespectral information of each pixel as input and learn the patterns that distinguish tree pixels from non-tree pixels. By considering the previous spectral information, GRU can capture the spatial and temporal dependencies in the data, such as the texture and growth patterns of trees. This allows it to make more accurate predictions compared to traditional classification algorithms.中文回答:GRU(门控循环单元)是一种经常用于各种自然语言处理任务的循环神经网络(RNN),包括文本分类。
联合纹理和光谱特征的高光谱图像分类方法余健【摘要】高光谱图像分类是当前遥感信息处理的热点问题.传统高光谱遥感图像分类方法只利用图像的光谱特征,没有考虑高光谱遥感图像各像素点邻域的空间特征.文中提出了一种联合纹理特征与光谱特征的高光谱图像分类方法.首先,使用灰度共生矩阵提取了高光谱遥感图像每一像素点邻域的贡献较大的六个纹理特征,再联合各像素点的光谱特征,形成纹理-光谱特征.最后,基于支持向量机和极端随机树算法对公开的高光谱遥感图像数据集Indian Pines和Pavia University scene进行分类实验,结果表明该方法相比传统方法取得更高的分类性能.【期刊名称】《韩山师范学院学报》【年(卷),期】2017(038)006【总页数】9页(P18-26)【关键词】高光谱遥感图像;分类;纹理特征;光谱特征;极端随机树【作者】余健【作者单位】韩山师范学院计算机与信息工程学院,广东潮州 521041【正文语种】中文【中图分类】TP7511 引言高光谱遥感技术通过成像光谱仪能够获取地物几十至上百个电磁波段的光谱信息,形成“图谱合一”的高光谱图像数据.高光谱图像数据是二维空间和一维光谱构成的图像立方体,在图像空间中每个波段是一幅二维图像,而在光谱空间中每个像素(也称为像元)则反映为一条连续光谱响应曲线,不同的物质在高光谱图像中表现为不同的辐射强度.高光谱遥感图像具有较高的空间平面分辨率以及丰富的地物光谱信息,从而使高精度的地物分类和目标识别成为可能.但由于高光谱数据的波段数目较多,部分波段存在较强的相关性以及冗余信息,抑制了地物分类的性能,甚至产生“维数灾难(Huges)”现象[1].传统的高光谱遥感图像分类只考虑光谱特征信息,而没有充分利用其空间特征信息,导致分类的准确率不高.越来越多的学者将空间信息融入到高光谱图像的分类中,以提高分类器性能.Li Jun等[2]使用马尔科夫随机场分割的结果作为多类logistic 回归分类器的贝叶斯先验,从而将空间信息和基于光谱分类特征的分类器结合起来.He Zhi、Wang Qiang和Shen Yi等[3]利用经验模态分解和形态学小波变换得到光谱和空间特征,基于多任务稀疏学习方法对空谱域特征进行同时分类,达到了较高的分类准确率.Zhang等[4]采用了图像分割和主动学习方法来提升高光谱图像分类性能,取得了不错成果.Chen等[5]则采用了旋转森林和多尺度图像分割法取得了较高的分类准确率.一些学者[6-11]将空间特征和光谱特征相结合提出了多种高光谱图像分类方法,也取得较好效果.本文通过主成分分析(PCA)算法对高光谱图像进行降维处理,选取主成分最大的一个波段,使用灰度共生矩阵提取其像元空间邻域纹理特征信息,从中选取贡献最大的6个特征,并采用4个不同方向表示,获取了24维纹理特征向量,联合其光谱特征信息,进行地物分类.2 纹理和光谱特征提取高光谱遥感图像具有几十到上百个波段,波段间存在较大冗余.如果采用所有波段的平面图像参与分类,则会出现维数灾难现象.因此,需要先采用主成分分析(PCA)方法对高光谱遥感图像进行降维处理,再分类.本文只选择高光谱遥感图像PCA降维后,主成分最大的那个波段的二维图像,作为最能够代表图像空间平面维变化的一个二维平面表征,联合其光谱信息来抑制高光谱图像分类中的“同谱异物”现象,提高分类的准确率.基于灰度共生矩阵的纹理特征提取方法是纹理分析中常用的方法,该方法的实现原理是图像灰度元素之间的空间相关性,通过计算图像中存在一定相对位置关系(一定方向上,相距一定距离)的某两个像素之间的灰度相关性,建立起图像的一个灰度共生矩阵,并从这个矩阵中统计所需要的特征量来进行图像纹理特征分析.2.1 灰度共生矩阵一幅图像的灰度共生矩阵能反映出图像灰度关于方向、相邻间隔、变化幅度的综合信息,它是分析图像的局部模式和它们排列规则的基础[12].设 f(x,y)为一幅二维数字图象,其大小为M×N,灰度级别为Ng,则满足一定空间关系的灰度共生矩阵为其中#(x)表示集合x中的元素个数,显然P为Ng×Ng的矩阵,若(x1,y1)与(x2,y2)间距离为d,两者与坐标横轴的夹角为θ,则可以得到各种间距及角度的灰度共生矩阵P(i,j,d,θ).对距离为d,水平方向(即θ=0)的灰度共生矩阵计算公式为同理可得其他三个方向的灰度共生矩阵.在得到了上述灰度共生矩阵后,可以从中计算出一些能够反映图像纹理特征的向量,有二阶距、对比度、相关、熵、方差、逆差距、和平矩、和方差、和熵、差平均、差方差、差熵等14个特征向量,本文采用了其中贡献最大的6个特征,分别为:角二阶矩(ASM)、相关(Correlation)、对比度(Contrast)、熵(Entropy)、相异性(Dissimilarity)和逆差距(Homogeneity),统称为GLCM-6.2.2 GLCM-6特征(a)角二阶矩(ASM):反应图像的灰度分布以及纹理颗粒的粗细,也被称为能量,描述的是灰度共生矩阵中所有元素的平方和.ASM值越大,说明图像的纹理分布越均匀,变化越规矩.(b)相关(Correlation):用于反映图像中的像素的灰度相关性,描述的是灰度共生矩阵中行或列间的矩阵元素的相似程度,若矩阵元素相似程度越大,则相关度越大,图像纹理特征的灰度相关性越大.其中μi、μj、σi、σj的定义如下(c)对比度(Contrast):用于反映图像的纹理深浅和清晰度,灰度共生矩阵中的灰度相差较大的像素对越多,其对比度越大,对应的,其纹理沟纹越深,清晰度越好.(d)熵(Entropy):用于反映图像纹理特征的复杂度,熵是信息量的度量,其值越大,表明灰度共生矩阵中的元素越分散,图像的纹理分布越均匀.(e)相异性(Dissimilarity):同对比度类似,但在计算灰度差时所采取的增长方式与计算对比度时不同,对比度计算时期灰度差权值权重呈指数增长,相异性的计算权重呈线性增长.(f)逆差距(Homogeneity):用于反映图像的不同局部区域间的相异性,逆差距越大,说明图像不同局部区域间的纹理变化越小,其纹理在局部区域分布得越均匀.2.3 高斯归一化方法本文使用灰度共生矩阵提取其像元空间邻域纹理特征信息,从中选取贡献最大的6个特征,即GLCM-6,并采用4个不同方向(0°,45°,90°,135°)表示,获取了24维纹理特征向量.对获得的24维纹理特征,选用高斯归一化方法进行处理,方便分类器的训练.归一化公式如下其中,μ、σ分别为原始数据集的均值和方差,上标(n)表示n维特征向量,取n=24,μj,σj表示第j维的均值、方差.使用3σj进行归一化,保证了V(n)的值落在[-1,1]区间上的概率接近100%,对于离群点,小于-1则置-1,大于1则置1.对特征向量采用高斯归一化至[-1,1]区间内,然后用归一化后的数据进行分类.经测试,经过高斯归一化后的特征,可以加快分类的训练速度,也能够提高准确率.2.4 联合纹理和光谱特征假设高光谱遥感图像使用PCA降维后主成分最大的波段平面图像为X.不失一般性,设高光谱图像中任意像元xi,提取像元xi的k×k邻域矩阵的GLCM-6的纹理特征,并将其展开形成一个24维和向量ti.再设像元xi的光谱特征为si,设该高光谱遥感图像具有m个波段,则像元xi的纹理-光谱特征为:该特征具有24+m维.提取纹理和光谱特征之后,分别采用支持向量机(SVM)和扩展随机森林方法训练分类器,并进行高光谱遥感图像地物分类实验.3 分类算法3.1 SVM算法支持向量机(Support Vector Machine,SVM)是Cortes和Vapnik于1995年首先提出的[13],它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中.支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的,根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷,以期获得最好的泛化能力.本文选用引入RBF核函数的支持向量机算法,以获得非线性分类能力.3.2 极端随机树极端随机树(Extremely randomized trees,ERT)是由PierreGeurts等人于2006年提出[14,15].该算法与随机森林算法十分相似,都是由许多决策树集成的分类器.但与随机森林分类器相比,主要有两点不同:一是不采用随机森林bootstrap采样替换策略,即对于每棵树,它们使用的训练集是从总的训练集中有放回采样出来的,这意味着,总的训练集中的有些样本可能多次出现在一棵树的训练集中,也可能从未出现在一棵树的训练集中.而是直接采用原始的训练样本,目的在于减少偏差.二是在对每棵决策树的节点划分时,先随机选取特征的一个子集,在对数据进行划分时,则是对子集中的每个特征随机选取一个划分阈值,然后从这些划分条件中选取划分效果最好的一个做为当前节点的最终划分依据.极端随机树完全随机地选择特征,得到的结果相比随机森林方差更小、更稳定.4 实验结果及分析为验证所提出方法的有效性,选用二组高光谱遥感图像数据集,即Indian Pines 和Pavia University scene(PaviaU)进行实验,分别选择传统的光谱特征与本文提出的纹理-光谱特征的分类结果进行对比.在分类方法方面,分别采用SVM算法(RBF核函数)和极端随机树方法,选择PCA算法获取主成分最大的那个波段,对该波段的二维空间提取纹理特征,形成联合的纹理-光谱特征.以10折交叉验证的方式得到结果,分类指标采用平均精度、Kappa系数、Jaccard(相似)系数和混淆矩阵,所有实验运行10次,取平均值.Indian Pines数据集是1992年采用AVIRIS(机载可见/红外成像光谱仪)系统在美国印第安纳州的印度松树测试地拍摄的航空数据,空间分辨率为20 m,图像大小为145×145像素,共224波段.去除大气水汽吸收波段及低信噪比波段后,波段数降为200.光谱范围为0.4~2.5μm,图像数据包含16类地物类别,具体情况如表1所示.表1 Indian Pines数据集地物类别类别1 2 3 4 5 6 7 8 9 1 0 11 12 13 14 15 16英文名称Alfalfa Corn-notill Corn-mintill Corn Grass-pasture Grass-trees Grass-pasture-mowed Hay-windrowed Oats Soybean-notill Soybean-mintill Soybean-clean Wheat Woods Buildings-Grass-Trees-Drives Stone-Steel-Towers中文名称苜蓿免耕玉米少耕玉米玉米草地/牧草草地/树木收割牧草干草料堆燕麦免耕大豆少耕大豆纯净大豆小麦森林建筑/草/树/道路石钢塔样本数46 1 428 830 237 483 730 28 478 20 972 2 455 593 205 1 265 386 93采用SVM算法和极端随机算法对Indian Pines数据集进行分类,移动窗口大小为3×3像素,其性能评价结果如表2所示.表2 Indian Pines检测性能对比平均准确率Kappa系数Jaccard系数82.21%0.79 0.82 89.86%0.88 0.90 87.46%0.85 0.87 91.23%0.90 0.91由表2可以发现,采用Indian Pines数据集,使用本文提出的纹理-光谱联合特征,不论选择SVM算法,还是极端随机树,其平均准确率、Kappa系数和Jaccard系数均优于只采用光谱特征的传统方法.以极端随机树分类算法为例,只采用光谱特征,对Indian Pines数据集进行分类后,各地物类别的混淆矩阵(归一化后)分别如图1所示.图1 Indian Pines光谱特征分类混淆矩阵通过图1和图2对比,可以发现,纹理-光谱方法相比传统的光谱特征方法,对于Alfalfa(苜蓿)、Corn-notill(免耕玉米)、Corn-mintill(少耕玉米)、Corn (玉米)、Grass-pasture(草地/牧草)、Grass-tree(草地/树木)、Oats(燕麦)、Soybean-notill(免耕大豆)、Soybean-clean(纯净大豆)、Woods (森林)、Buildings-Grass-Trees-Drives(建筑/草/树/道路)、Stone-Steel-Towers(石钢塔)等12个地物类别的分类精度分别提高了20%、7%、3%、9%、2%、1%、50%、7%、8%、3%、11%、11%,而Wheat(小麦)类别的分类精度低了10%,其它3个类别的分类精度与传统方法相同.因此,联合纹理-光谱特征方法对于该数据集大多数地物类别的分类精度都优于传统光谱特征方法.Pavia University scene(PaviaU)数据集为ROSIS(反射光学系统成像光谱仪)系统在意大利南部拍摄的帕维亚大学图像,空间分辨率为1.3 m,图像大小为610×340像素,127个波段,光谱范围0.43~8.6μ m.去除大气水汽吸收波段及低信噪比波段后,剩余103个波段用来分类,此地区共包含9种地物类别,见表3.以极端随机树分类算法为例,采用本文提出的纹理-光谱特征,对Indian Pines数据集进行分类后,各地物类别的混淆矩阵(归一化后),如图2所示.图2 Indian Pines纹理-光谱特征分类混淆矩阵表3 PaviaU数据集地物类别英文名称类别中文名称样本数Asphalt Meadows Gravel Trees Painted metal sheets Bare Soil Bitumen Self-Blocking Bricks Shadows 1 2 3 4 5 6 7 8 9沥青马路低洼地砂砾树木涂覆金属板裸土沥青屋顶地砖阴影6 631 18 649 2 099 3 064 1 345 5 029 1 330 3 682 947采用SVM算法和极端随机算法对PaviaU数据集进行分类,其性能评价结果如表4所示.由表4可以发现,采用PaviaU数据集,使用本文提出的纹理-光谱联合特征,不论选择SVM算法还是极端随机树,其平均准确率、Kappa系数和Jaccard系数均优于只采用光谱特征的传统方法.以极端随机树分类算法为例,只采用光谱特征,对PaviaU数据集进行分类后,各地物类别的混淆矩阵(归一化后),如图3所示.以极端随机树分类算法为例,采用本文提出的纹理-光谱特征,对PaviaU数据集进行分类后,各地物类别的混淆矩阵(归一化后),如图4所示.通过图3和图4对比,可以发现,纹理-光谱方法相比传统的光谱特征方法,对于Asphalt(沥青马路)、Meadows(低洼地)、Gravel(砂砾)、Trees(树木)、Bare Soil(裸土)、Self-Blocking Bricks(地砖)6个地物类别的分类精度分别提高了2%、1%、5%、3%、1%、4%,而其它3个类别的分类精度与传统方法相同.因此,采用本文提出的联合纹理-光谱特征方法对于该数据集大多数地物类别的分类精度都优于传统光谱特征方法.表4 PaviaU检测性能对比平均准确率Kappa系数Jaccard系数 91.78%0.890.92 95.05%0.93 0.95 93.01%0.91 0.93 95.53%0.94 0.95图3 PaviaU光谱特征分类混淆矩阵5 结束语通过灰度共生矩阵方法获取贡献最大的6个统计量,形成24维纹理特征向量,联合光谱特征,分别采用SVM算法和极端随机树算法,对公开的高光谱遥感数据集进行分类测试,获得了比传统采用单一光谱特征方法更高的分类精度.但在某些地物类别上,仍存在错分结果,这需要进一步研究高光谱遥感图像中的同谱异物特点,更好地提取其非线性特征进行分类,以达到更高的分类精度.图4 PaviaU纹理-光谱特征分类混淆矩阵【相关文献】[1]Hughes G.On the mean accuracy of statistical pattern recognizers[J]//IEEE Trans.Inf.Theory,1968,14(1):55-63.[2]LI Jun,Bioucas-Dias J M,Plaza A.Spectral-Spatial Hyperspectral Image Segmentation Using Subspace Multinomial Logistic Regression and Markov Random Fields[J].IEEE Transactions on Geoscience and Remote Sensing,2012,50(3):809-823.[3]He Zhi,Wang Qiang,Shen Yi,et al.Kernel sparse multi-task learning for hyperspectral image classification with empirical mode decomposition and morphological wavelet-based features[J].IEEE Transactions on Geoscience and Remote Sensing,2014,52(8):5150-5163.[4]Zhang Z,Pasolli E,Crawford M M,et al.An active learning framework for hyperspectral image classification using hierarchi⁃cal segmentation[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2016,9(2):640-654.[5]Chen J,Xia J,Du P,et al.Combining Rotation Forest and Multiscale Segmentationfor the Classification of Hyperspectral Data[J].IEEE Journal of Selected Topics in Applied Earth Observations&Remote Sensing,2017,9(9):4060-4072.[6]朱勇,吴波.光谱与空间维双重稀疏表达的高光谱影像分类[J].地球信息科学学报,2016,18(2):263-271.[7]李铁,孙劲光,张新君,等.高光谱遥感图像空谱联合分类方法研究[J].仪器仪表学报,2016,37(6):1379-1389.[8]叶珍,白璘,粘永健.基于Gabor特征与局部保护降维的高光谱图像分类算法[J].光学学报,2016(10):504-513.[9]李垒,任越美.基于随机森林的高光谱遥感图像分类[J].计算机工程与应用,2016,52(24):189-193.[10]付琼莹,余旭初,张鹏强,等.联合空谱信息的高光谱影像半监督ELM分类[J].华中科技大学学报(自然科学版),2017(7):89-93.[11]李吉明,贾森,彭艳斌.基于光谱特征和纹理特征协同学习的高光谱图像数据分类[J].光电工程,2012,39(11):88-94.[12]薄华,马缚龙,焦李成.图像纹理的灰度共生矩阵计算问题的分析[J].电子学报,2006,34(1):155-158.[13]齐滨,赵春晖,王玉磊.基于支持向量机与相关向量机的高光谱图像分类[J].吉林大学学报(工),2013,43(s1):143-147.[14]王爱平,万国伟,程志全,等.支持在线学习的增量式极端随机森林分类器[J].软件学报,2011,22(9):2059-2074.[15]吕伟民,王小梅,韩涛.结合链路预测和ET机器学习的科研合作推荐方法研究[J].数据分析与知识发现,2017,1(4):38-45.。
双分支多维注意特征融合的高光谱图像分类
马亚美;王双亭;都伟冰
【期刊名称】《计算机工程与应用》
【年(卷),期】2024(60)7
【摘要】为改善高光谱图像小样本类别的分类性能,提高模型特征表达的稳健性,提出了双分支多维注意力特征融合的神经网络分类模型(DBMD)。
DBMD采用两个分支分别进行光谱特征提取和混合特征提取。
光谱分支通过密集连接的扩张卷积逐级提取特征,然后融合低、中、高级语义信息作为特征输出。
混合分支采用3D-2D 网络架构,并通过改进的Inception块提取空间尺度特征。
此外,注意力机制分别应用于光谱、空间和空谱特征,进行特征细化,增强重要区域的特征响应。
最后,将不同维度的细化特征联合输入至分类器进行分类。
在Indian Pines和Salinas Valley 数据集上利用5%和1%的样本进行实验,分别取得了98.40%和99.78%的总体精度,与其他六种网络架构相比,该模型在准确性和稳定性上都具有更优的表现。
【总页数】12页(P192-203)
【作者】马亚美;王双亭;都伟冰
【作者单位】河南理工大学测绘与国土信息工程学院
【正文语种】中文
【中图分类】TP751
【相关文献】
1.融合注意力机制与混合CNN模型的高光谱图像分类
2.改进双分支胶囊网络的高光谱图像分类
3.融合MS3D-CNN和注意力机制的高光谱图像分类
4.融合ConvLSTM和多注意力机制网络的高光谱图像分类
5.融合注意力空洞残差网络的高光谱图像分类方法
因版权原因,仅展示原文概要,查看原文内容请购买。
第28卷㊀第4期2023年8月㊀哈尔滨理工大学学报JOURNAL OF HARBIN UNIVERSITY OF SCIENCE AND TECHNOLOGY㊀Vol.28No.4Aug.2023㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀基于DS 证据理论的高光谱图像融合分类李㊀昊1,㊀于㊀虹1,㊀饶㊀桐1,㊀周㊀帅1,㊀沈㊀锋2(1.云南电网有限公司电力科学研究院,昆明650217;2.哈尔滨工业大学仪器科学与工程学院,哈尔滨150006)摘㊀要:高光谱图像包含丰富的地物信息,被广泛应用于许多场合㊂由于各分类模型具有不同的分类性能,如何有效利用各分类模型性能的差异性是实现融合分类的重要环节,为此提出了一种基于DS 证据理论的多模型融合分类的高光谱图像分类方法㊂由于现有的分类模型从HSI 数据的空间域和光谱域提取不同的特征,因此产生的预测结果不同㊂本融合方法采用多层感知机网络和随机森林网络进行融合分类实验,该网络借助各分类网络的提取特征的差异性,提高了分类结果的准确性㊂实验结果表明,当不同网络的分类精度存在一定差异时,DS 融合模型能提高分类精度,同时优于线性平均加权融合模型㊂关键词:高光谱图像分类;融合模型;机器学习DOI :10.15938/j.jhust.2023.04.005中图分类号:TP751文献标志码:A文章编号:1007-2683(2023)04-0033-09Hyperspectral Images Fusion Classification Based on the DS Evidence TheoryLI Hao 1,㊀YU Hong 1,㊀RAO Tong 1,㊀ZHOU Shuai 1,㊀SHEN Feng 2(1.Electric Power Research Institute,Yunnan Power Grid Co.,Ltd.,Kunming 650217,China;2.School of Instrumentation Science and Engineering,Harbin Institute of Technology,Harbin 150006,China)Abstract :Hyperspectral images contain rich information of ground objects and the technology is widely used in many occasions.Since each classification model has different classification performance,effectively utilizing the difference in the performance of each classification model is an essential step to achieve fusion classification.Therefore,a hyperspectral image classification method based on DS evidence theory is proposed.Different prediction results are generated since the existing classification models extract different features from the spatial and spectral domains of HSI data.In this fusion method,a multi-layer perceptron network and random forest network are used for fusion classification experiments.The network improves the accuracy of classification results by taking advantage of the difference in extracted features of each classification network.The experimental results show that the DS fusion model can improve the classification accuracy and is superior to the linear average weithted fusion model when there are some differences in theclassification accuracy of different networks.Keywords :hyperspectral image classification;fusion model;machine learning㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀收稿日期:2022-03-21基金项目:国家自然科学基金(61673128).作者简介:李㊀昊(1986 ),男,硕士,高级工程师;于㊀虹(1978 ),女,博士,高级工程师.通信作者:沈㊀锋(1981 ),男,教授,博士研究生导师,E-mail:759281806@.0㊀引㊀言高光谱图像相比于RGB 图像和红外图像,具有丰富的光谱信息与空间信息,使得地物目标分类能力大幅度提升,也因此被广泛的应用在用于农业㊁军事㊁土地覆盖测绘㊁异常检测和目标识别[1-9]等领域㊂但光谱维与空间维的信息的大幅度增加,对地物分类算法提出了新的要求,比如,冗余的光谱信息,导致分类过程中出现Hughes 现象,如何有效提取光谱维信息是高光谱图像分类过程中的关键环节;地物分类算法在处理高维度的空间信息中需要大量的时间进行特征提取,如何快速完成目标特征的提取是当前分类算法的研究热点㊂为了进一步减少分类过程中光谱信息冗余的影响,目前的高光谱分类模型[10-12]主要集中在以下两个方面:增加特征提取层数和波段选择㊂增加特征提取层数的主要目的是提取深光谱信息之间的相关性㊂全连接层通过对每个光谱特征与目标类别进行非线性变换,最终实现地物目标的分类㊂Zhong[13]设计了一种以三维立方体为输入数据进行高光谱图像分类的端到端光谱空间残差网络㊂该网络包括光谱特征学习部分和空间特征学习部分㊂这两个部分由大量卷积层组成,并通过非线性计算来提取光谱特征的相关性㊂与增加特征提取层数不同,波段选择可以去除多余的光谱信息波段㊂Roy[14]提出了一个用于HSI分类的HybridSN网络,通过PCA减少光谱波段的数量,同时保持相同的空间维数㊂他提出了一种新的基于多尺度协方差映射(MCMs)的手工特征提取方法,用于基于CNN的HSI分类㊂该网络还采用了波段选择方法来避免Hughes现象㊂为了进一步避免高维度空间信息引起的特征提取时间长问题,目前的高光谱分类模型[15]主要集中在以下两个方面:减少特征提取层和网络残差结构的操作㊂相关研究证明减少特征提取层的数量可以加快了模型训练过程的收敛速度,从而避免了模型训练过程中的发散现象㊂Gao等[16]提出了一种基于深度可分卷积层的多尺度残差网络用于HSI分类㊂网络残差结构通过跳跃连接构建新特征数据层,提高训练模型的精度与收敛速度㊂Paoletti 等[17]提出了一种专门针对HSI数据设计的新的深度CNN架构,改进了卷积滤波器揭示的网络的光谱空间特征㊂叶珍等[18]提出了一种结合PCA与移动窗小波变换的高光谱决策融合分类算法,通过相关系数矩阵㊁主成分分析方法以及移动小波变换算法进行空间特征提取,并且利用线性意见池对分类结果进行融合,实现了融合分类结果的融合㊂崔颖等[19]引入集成学习分类的加权组合思想,提出了一种基于组合测量的方法,实现单一模型多策略的融合,获得更高的分类稳定性㊂为了提高分类网络的准确性以及分类效率,在多层感知机(MLP)和随机森林(RF)分类模型的基础上,我们提出了一种基于DS证据理论的高光谱图像融合分类方法㊂该融合算法利用各分类模型提取特征与分类的差异性,根据融合分类规则,完成多模型分类的融合,最终以较小的参数和模型训练时间为代价,得到了更有代表性的分类结果㊂1㊀基于DS证据理论的高光谱融合分类本文基于多模型融合的高光谱图像分类方法框架如图1所示,首先使用已完成训练的多层感知机分类模型和随机森林分类模型对测试样本进行分类,获得不同分类器下的各测试样本的类别置信度㊂其次借助各分类模型的差异性,即各分类模型输出的类别置信度差异性,通过证据理论构建基于多模型融合的类别置信,从而提升测试样本的分类准确性㊂图1㊀基于DS证据理论的高光谱图像融合分类示意图Fig.1㊀Schematic diagram of hyperspectral image fusion classification based on DS evidence theory1.1㊀多层感知机模型多层感知机(MLP)[20]是早期的神经网络,由输入层㊁输出层和隐藏层组成,其中每层由多个神经元和相关参数构成㊂MLP在训练过程中有正向传播和反向传播两部分组成㊂在正向传播过程中,首先输入层接收输入的信号,将该层的神经元与隐藏层的神经元进行连接㊂其次通过输出层的神经元,完成高光谱的分类㊂隐藏层的神经元输出Y l j可以表示为Y l j=f(ðM i=1Y l-1j W l j+B l j)(1)其中:Y l-1j为上一层的输出;W l j为隐藏层中的权重;B l j为隐藏层中的权重值;f为非线性激活函数㊂在误差反向传播阶段,将输出层的预测值与期望输出值,通过损失函数构建训练误差值E,并通过最速下降法与学习速率,更新隐藏层中的训练参数W l j,训练误差值E表示为E=E(Y l1,Y l2, ,Y l n)(2)其中:E(㊃)为损失函数㊂表1描述了MLP分类模型在不同数据集下的结构参数㊂该分类模型由输入层㊁隐藏层和输出层组成,其中输入层和输出层的神经元数量分别是数据集中的光谱维度和类别数量;在隐藏层中,借助ReLU函数进行非线性降维和归一化;在输出层中借助Softmax函数对各类别的置信度进行归一化计算㊂43哈㊀尔㊀滨㊀理㊀工㊀大㊀学㊀学㊀报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第28卷㊀表1㊀多层感知机分类模型在不同数据集下的结构参数Tab.1㊀Structure parameters of multi-layer perceptron classification model under different data sets高光谱数据集层数类型神经元数量激活函数Input200IP Hidden144ReLUOutput16SoftmaxInput103 UP Hidden5ReLUOutput9SoftmaxInput176 KSC Hidden127ReLUOutput13SoftmaxInput204 SV Hidden146ReLUOutput16Softmax 1.2㊀RF模型随机森林模型(RF)[20]由多个分类决策树模型组成,其具有快速收敛和不易过拟合等优点,适合解决高光谱遥感分类问题㊂将一个样本容量为N的样本,有放回的抽取N 次,形成N个样本㊂将构建好的N个样本训练成一个决策树,作为决策树根节点的样本㊂根据获得的训练样本N和样本属性M,随机选取m个属性,依靠信息增益策略选择其中的一个属性作为分裂属性,实现节点的分裂㊂1.3㊀基于DS的光谱融合模型DS证据理论是处理不确定信息的理论,它可以融合不确定信息㊂DS证据理论是传统贝叶斯理论的重要延伸,既可以处理单个假设,也可以处理复合假设,在图像处理㊁风险评估㊁故障诊断等方面具有广泛的应用前景㊂对于非空集U,称为识别框架,该框架由一系列互斥穷举的元素A组成㊂问题域中的任何命题都应属于幂集2U㊂定义BPAF:mʒ2Uң[0,1]in2U m(Φ)=0ðA⊆U m(A)=1}(3)其中m(A)表示证据对子集的信任度量㊂其意义如下:①如果A⊂U,则表示对的一定信任程度A;②如果A=U,则表示该数不知道如何分配;③如果A⊆U 和m(A)>0,则称A为m的焦点元素㊂DS证据理论采用正交证据源和组合证据源㊂多个证据源m1,m2, ,m n在定义融合函数mʒ2Uң[0,1]下的联合后的基本概率分布为:m(ϕ)=0m(A)=ðA1=A1ɤjɤnm j(A i)1-K(∀A⊂U)üþýïïï(4)式中:K=ðɘA j=φ1ɤjɤnm j(A i),为证据冲突程度㊂向量m j()分别为不同分类模型A i输出的类别置信度㊂图2㊀不同数据集的标签Fig.2㊀Labels for different data sets2㊀实验结果2.1㊀数据集描述本节我们介绍4个HSI数据集,指定了模型配置过程,并使用分类度量评估了所提出的方法㊂采用IN㊁KSC㊁SV和UP数据集来评估多模型融合框53第4期李㊀昊等:基于DS证据理论的高光谱图像融合分类架在训练数据不平衡㊁训练样本数量少㊁空间分辨率高的情况下的分类性能㊂在这3种情况下,用随机选择的训练数据进行了10次实验,并报告了主要分类指标的均值和标准差㊂IN数据集由机载可见/红外成像光谱仪(AVIRIS)于1992年从西北印第安纳州收集,包括16个植被类别,具有145ˑ145像素,分辨率为20m㊂一旦去掉了被吸水效应破坏的20个波段,剩下的200个波段用于分析,范围为400~2500nm㊂KSC数据集由美国佛罗里达州的AVIRIS于1996年收集,包含13个山地和湿地类,像素为512ˑ614,分辨率为18m㊂一旦低信噪比的波段被去除,剩下的176个波段用于评估,范围从400到2500nm㊂UP数据集由意大利北部的反射光学系统成像光谱仪于2001年获得,包含9种城市土地覆盖类型,分辨率为610ˑ340像素,像素分辨率为1.3m㊂一旦噪声波段被丢弃,剩余103个波段被用于评估,范围为430到860nm㊂SV数据集由AVIRIS传感器在加利福尼亚州Salinas山谷上空采集的㊂分辨率为512ˑ217,像素分辨率为3.7m,有16个土地覆盖等级㊂分类前,去除了20条带(即第108~112条㊁第154~167条和第224条)㊂2.2㊀实验设置在描述了DS证据理论之后,我们配置了通过训练数据集更新MLP和RF参数的训练过程㊂采用总体精度㊁平均精度和kappa系数定量评价分类性能㊂每个实验选择训练样本并运行10次㊂所有的实验都是在一台配备Intel Core i7-9900K CPU和64GB RAM的台式机上使用TensorFlow进行的㊂2.3㊀实验结果将DS证据理论与MLP和RF特征学习模型的融合分类结果进行比较㊂为了验证DS证据融合理论的泛化性㊁有效性和鲁棒性,在平衡和不平衡训练数据集下,建立了基于MLP和RF模型的频谱学习融合模型㊂为了进行公平的比较,我们为MLP㊁RF 和光谱学习融合模型设置了相同数量的训练数据㊂实验主要包括3个部分㊂第一,针对IP㊁SV㊁UP和KSC数据集,分别使用16㊁80㊁80㊁80个训练样本,分析了光谱融合模型的鲁棒性和有效性;第二,在平衡训练数据个数不同的情况下,对光谱融合模型进行泛化分析㊂第三,在不平衡训练样本个数不同的情况下,对光谱融合模型进行了泛化分析㊂表2和表3给出了OAs㊁AAs㊁kappa系数,以及HSI分类中所有类别的分类精度㊂在使用IP㊁SV㊁UP 和KSC划分训练集的过程中,不同数据集分别选取了每类16㊁80㊁80㊁80个训练样本㊂在IP㊁SV和KSC3个数据集上,光谱学习融合模型比MLP和RF具有更高的分类精度㊂在UP数据集上,当MLP和RF差异较大时,融合模型的分类效果较MLP和RF差㊂在IP 数据集上,与MLP和RF数据相比,融合模型的OA 值分别提高了1.63%和4.38%㊂这些结果验证了光谱融合模型在不同数据集上的鲁棒性和有效性㊂通过对比不同的融合决策模型,特别是在UP数据集中,线性平均加权融合模型的OA值为82.66%,而DS融合模型的OA值为82.79%,同时DS融合模型的稳定性远高于线性平均加权融合模型㊂在可视化结果图3,图4,图5和图6中,可以明显看到光谱融合模型的分类结果与标签数据更相似,错误颜色的分类结果明显少于其他分类方法㊂图3㊀IP数据集的分类结果Fig.3㊀Classification results of IP data set63哈㊀尔㊀滨㊀理㊀工㊀大㊀学㊀学㊀报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第28卷㊀图4㊀KSC数据集的分类结果Fig.4㊀Classification results of KSC dataset在实验的第二部分中,分析了不同数量等级的平衡训练样本,对光谱融合模型的影响,在SV㊁UP 和KSC数据集中,每类选择50㊁60㊁70㊁80和90个训练样本,而IP数据集每类选择10㊁12㊁14㊁16㊁18个训练样本㊂在表4中,光谱融合模型的OA㊁AA 和kappa系数的增加与训练样本的数量密切相关㊂该光谱融合模型克服了4个数据集之间的差异,实现了比MLP和RF模型更高的分类精度㊂同时随着均衡训练样本数量的增加,融合分类的结果也更加准确㊂在实验的第三部分中,为了验证光谱融合模型的泛化性能,选取不同比例的不平衡训练样本,其中3%,5%,7%,9%,和11%的标记样本选择作为IP 数据集的训练样本,1%,3%,5%,7%,和9%的标记样本选择作为UP,KSC和SV数据集的训练样本㊂在表5中,分类性能与训练样本的数量有关㊂训练样本的均衡性不会影响训练样本数量与分类精度之间的关系㊂光谱融合模型比MLP和RF模型具有更高的分类精度㊂图5㊀SV数据集的分类结果Fig.5㊀Classification results of SV dataset图6㊀UP数据集的分类结果Fig.6㊀Classification results of the UP dataset73第4期李㊀昊等:基于DS证据理论的高光谱图像融合分类83哈㊀尔㊀滨㊀理㊀工㊀大㊀学㊀学㊀报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第28卷㊀表2㊀IP和SV数据集的分类结果,IP数据集中每个类有16个训练样本,SV数据集中每类有80个训练样本Tab.2㊀Classification results of IP and SV data sets.There are16training samples for each classin IP data set and80training samples for each class in SV data setIP SVMLP RF DS Average MLP RF DS Average 184.61ʃ7.7882.64ʃ9.8984.63ʃ7.6484.63ʃ7.6498.61ʃ0.9699.03ʃ0.4898.94ʃ0.7498.93ʃ0.75 243.82ʃ6.7633.55ʃ6.4543.54ʃ6.2343.6ʃ6.3899.68ʃ0.2498.92ʃ1.599.77ʃ0.1499.76ʃ0.14 345.61ʃ5.5247.08ʃ3.3347.89ʃ4.9347.4ʃ5.0398.39ʃ298.01ʃ0.8598.93ʃ1.0798.93ʃ1.16 465.9ʃ7.0159.46ʃ4.6768.58ʃ5.7368.83ʃ5.9699.55ʃ0.2199.38ʃ0.2699.52ʃ0.1999.53ʃ0.2 577.45ʃ4.8579.13ʃ3.8780.47ʃ3.2679.69ʃ3.8197.66ʃ0.7996.36ʃ1.0597.58ʃ0.7897.6ʃ0.79 689.4ʃ2.5771.86ʃ4.789.3ʃ2.4289.55ʃ2.2899.65ʃ0.1399.29ʃ0.3399.74ʃ0.199.67ʃ0.12 794.01ʃ5.3490.72ʃ4.4992.39ʃ4.4994.01ʃ5.3499.61ʃ0.1399.2ʃ0.5299.6ʃ0.1299.61ʃ0.11 883.96ʃ5.3484.78ʃ5.7186.99ʃ4.7186.73ʃ5.0366.87ʃ7.8465.41ʃ3.7868.7ʃ6.2268.65ʃ6.13 9100ʃ097.16ʃ7.5100ʃ0100ʃ099.11ʃ1.0998.19ʃ1.0699.07ʃ0.9499.16ʃ0.95 1063.6ʃ3.7856.12ʃ8.1665.22ʃ4.2664.99ʃ4.0392.11ʃ1.1787.56ʃ2.6992ʃ1.0692.07ʃ1.02 1145.29ʃ8.2948.93ʃ6.948.7ʃ8.0748.12ʃ8.0996.01ʃ1.5392.1ʃ1.8696.05ʃ1.596.02ʃ1.4 1249.01ʃ8.3540.8ʃ8.1849.72ʃ8.9749.22ʃ8.899.08ʃ0.4798.08ʃ1.0199.43ʃ0.2999.33ʃ0.36 1397.72ʃ1.1494.68ʃ2.1997.34ʃ1.8297.55ʃ1.5997.6ʃ1.0597.04ʃ0.8297.57ʃ0.8597.6ʃ0.89 1474.04ʃ8.2781.64ʃ6.477.95ʃ7.0578.11ʃ7.2395.14ʃ1.3494.06ʃ0.9794.93ʃ1.1994.89ʃ1.21 1554.51ʃ4.9435.17ʃ2.9452.4ʃ5.3452.27ʃ5.974.63ʃ6.7167.18ʃ3.0874.16ʃ5.674.23ʃ5.63 1691.66ʃ5.2997.65ʃ1.7293.73ʃ5.3693.21ʃ5.4698.15ʃ0.4296.05ʃ1.4598.08ʃ0.5798.08ʃ0.51 OA59.85ʃ2.0357.13ʃ1.2461.73ʃ1.861.5ʃ1.8988.48ʃ0.986.3ʃ0.6688.79ʃ0.7788.8ʃ0.76 AA72.82ʃ0.9469.12ʃ1.4673.92ʃ0.8773.88ʃ0.8694.54ʃ0.3692.88ʃ0.2594.66ʃ0.3194.66ʃ0.3 K55.02ʃ2.0751.98ʃ1.3257.07ʃ1.8456.82ʃ1.9387.2ʃ0.9884.78ʃ0.7287.54ʃ0.8487.54ʃ0.83 Train time/s0.74ʃ0.150.27ʃ0.01 1.68ʃ0.050.73ʃ0.01 Test time/s0.08ʃ0.010.15ʃ0.01 0.29ʃ0.010.89ʃ0.05表3㊀KSC和UP数据集的分类结果,每个数据集中每个类有80个训练样本Tab.3㊀Classification results of KSC and UP datasets,with80training samples per class in each datasetKSC UPMLP RF DS Average MLP RF DS Average 189.98ʃ2.3289.4ʃ2.2690.72ʃ2.1290.61ʃ2.0976.61ʃ2.7975.85ʃ2.8977.49ʃ2.0676.88ʃ2.15 288.18ʃ2.5786.38ʃ3.4288.72ʃ2.9788.66ʃ2.9383.78ʃ3.5970.37ʃ3.581.06ʃ3.9581.04ʃ3.97 394.74ʃ2.5491.28ʃ2.2294.53ʃ1.994.81ʃ2.0181.26ʃ3.4171.43ʃ4.0479.96ʃ3.280.14ʃ3.18 474.01ʃ8.1869.55ʃ5.3376.82ʃ4.8576.92ʃ5.1989.24ʃ4.2293.25ʃ2.8391.57ʃ3.2391.61ʃ3.2 574.34ʃ7.3371.38ʃ3.7275.72ʃ5.6974.98ʃ5.7599.3ʃ0.3899.29ʃ0.1799.45ʃ0.2299.51ʃ0.22续表3KSC UPMLP RF DS Average MLP RF DS Average 680.73ʃ4.8864.69ʃ3.0878.01ʃ4.1378.86ʃ4.6484.69ʃ3.6276.67ʃ3.2684.24ʃ3.1484.12ʃ3.24 791.89ʃ4.3890.33ʃ3.6793.15ʃ3.1293.15ʃ3.1291.64ʃ1.2388.53ʃ2.5291.27ʃ1.4691.6ʃ1.42 892.81ʃ2.5987.47ʃ2.993.45ʃ2.3193.31ʃ2.2178.75ʃ2.2176.99ʃ2.980.17ʃ2.479.82ʃ2.49 995.92ʃ1.6291.82ʃ3.3896.08ʃ1.496.1ʃ1.4499.3ʃ0.33100ʃ099.63ʃ0.1899.63ʃ0.18 1097.08ʃ1.8891.65ʃ1.6997.52ʃ1.2997.3ʃ1.49 1198.02ʃ0.6697.22ʃ1.1898.29ʃ0.798.26ʃ0.73 1293.28ʃ1.4388.19ʃ3.1994.56ʃ1.294.53ʃ1.22 13100ʃ099ʃ0.5299.96ʃ0.08100ʃ0 OA93.31ʃ0.4790.08ʃ0.5893.73ʃ0.3693.72ʃ0.3583.68ʃ1.5176.29ʃ1.1982.79ʃ1.5482.66ʃ1.54 AA90.17ʃ0.5886.08ʃ0.8690.63ʃ0.5890.63ʃ0.5887.22ʃ0.6683.65ʃ0.5587.24ʃ0.5787.19ʃ0.59 K92.46ʃ0.5388.81ʃ0.6692.92ʃ0.4192.91ʃ0.3978.81ʃ1.8269.91ʃ1.377.77ʃ1.8477.61ʃ1.84 Train time/s1.34ʃ0.01 1.76ʃ0.03 1.02ʃ0.01 1.61ʃ0.02 Test time/s0.05ʃ00.06ʃ0 0.23ʃ00.56ʃ0表4㊀由MLP㊁RF和DS用不同数量的样本获得OA(%)Tab.4㊀OA(%)was obtained by MLP,RF and DS with different numbers of samplesIP KSC SV UPMLP54.4ʃ1.9791.21ʃ0.6287.01ʃ1.7679.67ʃ0.991RF52.17ʃ2.4387.77ʃ0.7785.51ʃ0.9372.64ʃ1.36DS56.41ʃ2.1791.79ʃ0.787.47ʃ1.4178.77ʃ1.22MLP56.63ʃ1.7992.05ʃ0.8387.96ʃ0.8681.55ʃ2.352RF53.56ʃ2.1589.06ʃ0.9585.84ʃ0.3573.84ʃ1.9DS58.46ʃ1.4692.4ʃ0.7588.27ʃ0.6280.64ʃ2.54MLP58.46ʃ2.2292.71ʃ0.788.82ʃ0.5882.1ʃ1.453RF55.19ʃ2.1489.4ʃ186.17ʃ0.7575.66ʃ1.7DS60.25ʃ1.8492.99ʃ0.5789.02ʃ0.4881.62ʃ1.29MLP59.85ʃ2.0393.31ʃ0.4788.48ʃ0.983.68ʃ1.514RF57.13ʃ1.2490.08ʃ0.5886.3ʃ0.6676.29ʃ1.19DS61.73ʃ1.893.73ʃ0.3688.79ʃ0.7782.79ʃ1.54MLP61.91ʃ1.9893.65ʃ0.4188.66ʃ1.1184.43ʃ0.975RF56.52ʃ2.0290.67ʃ0.4286.45ʃ0.9176.76ʃ1.45DS62.98ʃ1.6893.96ʃ0.3288.87ʃ0.8883.84ʃ0.7993第4期李㊀昊等:基于DS证据理论的高光谱图像融合分类表5㊀不同训练数据百分比下,MLP㊁RF㊁DS获得OA(%)Tab.5㊀OA(%)obtained by MLP,RF and DS under different training data percentagesIP KSC SV UP MLP68.19ʃ1.2969.7ʃ2.0988.73ʃ0.7485.2ʃ1.25 1RF65.17ʃ0.8175.98ʃ1.5486.08ʃ0.5581.58ʃ0.86 DS69.23ʃ1.0676.16ʃ1.288.79ʃ0.6685.23ʃ1.18MLP73.00ʃ0.8984.68ʃ1.3590.66ʃ0.6591.06ʃ0.33 2RF68.17ʃ1.179.31ʃ1.5188.7ʃ0.3185.95ʃ0.29 DS74.39ʃ0.7484.47ʃ1.4891.06ʃ0.4891.11ʃ0.35MLP76.93ʃ0.786.79ʃ1.0291.4ʃ1.3792.59ʃ0.34 3RF71.27ʃ0.8582.9ʃ1.1791.89ʃ0.4187.91ʃ0.3 DS78.17ʃ0.7287.04ʃ1.4789.02ʃ0.4892.81ʃ0.35MLP78.69ʃ0.888.83ʃ0.6892.9ʃ0.2693.43ʃ0.26 4RF72.37ʃ0.6484.37ʃ0.989.83ʃ0.2289.27ʃ0.24 DS79.78ʃ0.7188.8ʃ0.4293.11ʃ0.1893.63ʃ0.23MLP80.49ʃ0.8289.68ʃ0.6193.27ʃ0.3693.75ʃ0.39 5RF73.3ʃ0.4485.66ʃ0.9990.01ʃ0.1989.86ʃ0.29 DS81.61ʃ0.6889.83ʃ0.6293.47ʃ0.2594.07ʃ0.243㊀结㊀论通过平衡数据集与非平衡数据集,验证了基于DS证据理论的光谱融合模型的泛化㊁有效性和鲁棒性㊂值得注意的是,与MLP和RF模型相比,DS融合模型提高各类目标的分类精度㊂同时该融合模型的分类精度提升不受数据集的均衡性的影响㊂尽管融合模型的提升性能是有限的,但是该融合模型可以在不增加训练与时间成本的前提下,提高分类的准确性与可靠性㊂参考文献:[1]㊀LANDGREBE D.Hyperspectral Image Data Analysis[J].IEEE Signal Processing Magazine,2002,19(1):17.[2]㊀BIOUCAS-DIAS J.M.,PLAZA A.,CAMPS-VALLSG.,et al.Hyperspectral Remote Sensing Data Analysisand Future Challenges[J].IEEE Geoscience and Re-mote Sensing Magazine.2013,1(2):6.[3]㊀汪泉,宋文龙,张怡卓,等.基于改进VGG16网络的机载高光谱针叶树种分类研究[J].森林工程,2021,37(3):79.WANG Quan,SONG Wenlong,ZHANG Yizhuo,et al.Based on Improved VGG16Conifer Airborne Hyperspec-tral Classification of Network Study[J].Forest engineer-ing,2021,37(3):79.[4]㊀ZHANG X.,SUN Y.,SHANG K.,et al.Crop Classifi-cation Based on Feature Band Set Construction and Ob-ject-Oriented Approach Using Hyperspectral Images[J].IEEE Journal of Selected Topics in Applied Earth Obser-vations and Remote Sensing,2016,9(9):4117. [5]㊀乔璐,陈立新,董诚明.基于高光谱遥感技术对土壤氮磷钾的估算[J].森林工程,2018,34(6):25.QIAO Lu,CHEN Lixin,DONG Chengming.Based onEstimates of Hyperspectral Remote Sensing Technology onSoil NPK[J].Forest Engineering,2018(6):25.[6]㊀UZKENT B.,RANGNEKAR A.,HOFFMAN M.J.,etal.Aerial Vehicle Tracking by Adaptive Fusion of Hyper-spectral Likelihood Maps[C]//2017IEEE Conferenceon Computer Vision and Pattern Recognition Workshops(CVPRW),2017:233.[7]㊀杨曦光,范文义,于颖.森林叶绿素含量的高光谱遥感估算模型的建立[J].森林工程,2010,26(2):8.04哈㊀尔㊀滨㊀理㊀工㊀大㊀学㊀学㊀报㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第28卷㊀YANG Xiguang,FAN Wenyi,YU Ying.Forest of Chlo-rophyll of Hyperspectral Remote Sensing Estimation Mod-el[J].Forest Engineering,2010,26(2):8. [8]㊀CARTER G.A.,LUKAS K.L.,BLOSSOM G.A..Re-mote Sensing and Mapping of Tamarisk Along the Colo-rado River,USA:A Comparative Use of Sum-mer-ac-quired Hyperion,Thematic Mapper and Quickbird Data[J].Remote Sens,2009,9(1):318.[9]㊀FAUVEL M.,TARABALKA Y.,BENEDIKTSSON J.A..Advances in Spectral-spatial Classification of Hyper-spectral Images[J].Proceeding of the IEEE,2013,101(3):652.[10]刘玉珍,朱珍珍,马飞.基于特征融合方法的高光谱图像分类综述[J].激光与光电子学进展,2021,58(4):44.LIU Yuzhen,ZHU Zhenzhen,MA Fei.HyperspectralImage Classification Based on Feature Fusion[J].Ad-vances in Laser and Optoelectronics,2019,58(4):44.[11]叶珍,白璘,何明一.高光谱图像空谱特征提取综述[J].中国图象图形学报,2021,26(8):1737.YE Zhen,BAI Lin,HE Mingyi.Review of Space Spec-trum Feature Extraction in Hyperspectral Images[J].Journal of Image and Graphics,2019,26(8):1737.[12]李秉璇,周冰,贺宣,等.针对高光谱图像的目标分类方法现状与展望[J].激光与红外,2020,50(3):259.LI Bingxuan,ZHOU Bing,HE Xuan,et al.Current Sit-uation and Prospect of Target Classification Methods forHyperspectral Images[J].Laser&Infrared,2020,50(3):259.[13]㊀ZHONG Z.,LI J.,LUO Z.,et al.Spectral-SpatialResidual Network for Hyperspectral Image Classifica-tion:A3-D Deep Learning Framework[J].IEEETransactions on Geoscience and Remote Sensing,2018,56(2):847.[14]㊀ROY S.K.,KRISHNA G.,DUBEY S.R.,et al.HybridSN:Exploring3-D-2-D CNN Feature Hierarchyfor Hyper-spectral Image Classification[J].IEEE Geo-science and Remote Sensing Letters,2020,17(2):277.[15]万亚玲,钟锡武,刘慧,等.卷积神经网络在高光谱图像分类中的应用综述[J].计算机工程与应用,2021,57(4):1.WAN Yaling,ZHONG Xiwu,LIU Hui,et al.Applica-tion of Convolutional Neural Networks in HyperspectralImage Classification[J].Computer Engineering and Ap-plications,2021,57(4):1.[16]㊀GAO H.,YANG Y.,LI C.,et al.Multiscale ResidualNetworkWith Mixed Depth wise Convolution for Hyper-spectral Image Classification[J].IEEE Transactions onGeoscience and Remote Sensing,2021,1(13):3396.[17]PAOLETTI M.,HAUT J.M.,PLAZA J.,et al.A NewDeep Convolutional Neural Network for Fast HyperspectralImage Classification[J].ISPRS Journal of Photogramme-try and Remote Sensing,2018,145:120. [18]叶珍,何明一.PCA与移动窗小波变换的高光谱决策融合分类[J].中国图象图形学报,2015,20(1):132.YE Zhen,HE Mingyi.Hyperspectral Decision FusionClassification by PCA and Moving Window WaveletTransform[J].Journal of Image and Graphics,2015,20(1):132.[19]崔颖,徐凯,陆忠军,等.主动学习策略融合算法在高光谱图像分类中的应用[J].通信学报,2018,39(4):91.CUI Ying,XU Kai,LU Zhongjun,et al.Application ofActive Learning Strategy Fusion Algorithm in Hyperspec-tral Image Classification[J].Journal of Communications,2018,39(4):91.[20]谭术魁,邹尚君,曾忠平,等.基于RF-MLP集成模型的耕地生态安全预警系统设计与应用[J].长江流域资源与环境,2022,31(2):436.TAN Shukui,ZOU Shangjun,ZENG Zhongping,et al.Design and Application of Cultivated Land Ecological Se-curity Early Warning System Based on RF-MLP Inte-grated Model[J].Resources and Environment in theYangtze Basin,2002,31(2):436.(编辑:温泽宇)14第4期李㊀昊等:基于DS证据理论的高光谱图像融合分类。
《机器学习》课程项目报告 高光谱图像分类 —— 基于CNN和ELM
学 院 信息工程学院 专 业 电子与通信工程 学 号 ********** 学生姓名 曹发贤 同组学生 陈惠明、陈涛 硕士导师 杨志景
2016 年 11 月 一、 项目意义与价值 高光谱遥感技术起源于 20 世纪 80年代初,是在多光谱遥感技术基础之上发展起来的[1]。高光谱遥感能够通过成像光谱仪在可见光、近红外、短波红外、中红外等电磁波谱范围获取近似连续的光谱曲线,将表征地物几何位置关系的空间信息与表征地物属性特征的光谱信息有机地融合在了一起,使得提取地物的细节信息成为可能。随着新型成像光谱仪的光谱分辨率的提高,人们对相关地物的光谱属性特征的了解也不断深入,许多隐藏在狭窄光谱范围内的地物特性逐渐被人们所发现,这些因素大大加速了遥感技术的发展,使高光谱遥感成为 21 世纪遥感技术领域重要的研究方向之一。 在将高光谱数据应用于各领域之前,必须进行必要的数据处理。常用的数据处理技术方法包括:数据降维、目标检测、变化检测等。其中,分类是遥感数据处理中比较重要的环节,分类结果不但直接提取了影像数据有效信息,可以直接运用于实际需求中,同时也是实现各种应用的前提,为后续应用提供有用的数据信息和技术支持,如为目标检测提供先验信息、为解混合提供端元信息等。 相对于多光谱遥感而言,由于高光谱遥感的波谱覆盖范围较宽,因此我们可以根据需要选择特定的波段来突显地物特征,从而能够精确地处理地物的光谱信[2]。目前,许多国家开展大量的科研项目对高光谱遥感进行研究,研制出许多不同类型的成像光谱仪。高光谱遥感正逐步从地面遥感发展到航空遥感和航天遥感,并在地图绘制、资源勘探、农作物监测、精细农业、海洋环境监测等领域发挥重要的作用。高光谱遥感技术虽然是遥感领域的新技术,但是高光谱图像的分类一直制约着高光谱遥感的应用[3,4],因此对其进行研究显得尤为重要。 高光谱遥感图像较高的光谱分辨率给传统的图像分类识别算法提出严峻的挑战。波段维数的增加不仅加重了数据的存储与传输的负担,同时也加剧了数据处理过程的复杂性,并且由于波段与波段间存在着大量的冗余信息,从而使得传统图像分类算法并不适用于高光谱遥感图像的分类。传统的分类方法往往需要很多数目的已知类别的训练样本,从而导致计算量大,时间复杂度高。另外,如果训练样本的数目较少,采用传统分类算法进行分类时分类精度往往是很低的,因此提高分类精度并减少运算量成为高光谱领域的热点问题。 高光谱遥感图像的波段数目多,并且波段与波段间存在着很大的相关性,因此在进行遥感图像的处理(例如分类)之前通常需要进行降维预处理,这样做不仅可以降低数据空间的维数,减少冗余信息,而且还有利于人工图像解译和后续分类处理和地物识别,从而为解决高光谱遥感分类的难点提供了方便[5]。
二、 高光谱图像分类的发展与现状 高光谱图像分类作为高光谱图像的基础研究,一直是高光谱图像重要的信息获取手段,它的主要目标是根据待测地物的空间几何信息与光谱信息将图像中的每个像素划分为不同的类别。高光谱图像分类按照是否有已知类别的训练样本的参与,高光谱图像的分类方式分为监督分类与非监督分类[6]。 在遥感图像自动分类中,传统的基于数理统计的分类方法,主要包括最小距离分类、最大似然分类、波谱角分类、混合距离法分类等,主要依赖地物的光谱属性,基于单个像元进行分类。统计模式识别方法本身的不足: 1、最大似然法计算强度大,且要求数据服从正态分布 2、K-means聚类分类精度低,分类精度依赖于初始聚类中心 3、最小距离法没有考虑各类别的协方差矩阵,对训练样本数目要求低 近年来对于神经网络分类方法的研究相当活跃。它区别于传统的分类方法:在处理模式分类问题时,并不基于某个假定的概率分布,在无监督分类中,从特征空间到模式空间的映射是通过网络自组织完成的。在监督分类中,网络通过对训练样本的学习,获得权值,形成分类器,且具备容错性。人工神经网络(ANN)分类方法一般可以获得更高精度的分类结果,因此ANN方法在遥感分类中被广泛应用,特别是对于复杂类型的地物类型分类,ANN方法显示了其优越性。 专家系统分类法也在遥感分类取得了一定的应用。专家系统是模拟人类逻辑思维的智能系统,将其应用于遥感分类最大的优点就是可以充分利用更多的辅助分类数据。不过由于专家系统知识库难以建立,影响了它的进一步发展。 支持向量机(SVM)具有严格的理论基础,能较好地解决小样本、非线性、高维数等问题,被成功地应用到多光谱、高光谱遥感图像分类领域。对于高光谱数据而言,由于波段多、数据量大、数据不确定性等,易受Hughes现象(即训练样本固定时,分类精度随特征维数的增加而下降)影响。而样本的获取在高光谱分类中往往是一项比较困难的工作,特别是采用高维特征向量时要求每类的样本数都要比特征维数高,因此在高维信息处理中的精度与效率和高光谱遥感信息精细光谱与大数据量之间仍然存在着极大的矛盾。
三、 卷积神经网络理论基础 卷积神经网络是人工神经网络的一种,它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少的权值的数量以节约训练和测试的计算时间。该优点在网络的输入是多维图像时表现得更加明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。卷积神经网络是为识别二维数据而专门设计的一个多层感知机,其网络对平移、比例变化和倾斜等具有高度不变性[7]。 在CNN中,图像的一小部分(局部感受区域)作为层级结构的最低层的输入,信息再依次传输到不同的层,每层通过一个数字滤波器去获得观测数据的最显著的特征。这个方法能够获取对平移、缩放和旋转不变的观测数据的显著特征,因为图像的局部感受区域允许神经元或者处理单元可以访问到最基础的特征,例如定向边缘或者角点。 卷积神经网络是一个多层的神经网络,每层由多个二维平面组成,每个平面又由多个独立的神经元组成。图2为卷积神经网络的整体结构图。 一般地,C层(卷积层)为特征提取层,每个神经元的输入与前一层的局部感受野相连,并提取该局部的特征,一旦该局部特征被提取后,它与其他特征间的位置关系也随之确定下来;S层(下采样层)是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射为一个平面,平面上所有神经元的权值相等。特征映射结构采用sigmoid函数等映射函数作为卷积网络的激活函数,使得特征映射具有位移不变性。 此外,由于一个映射面上的神经元共享权值,因而减少了网络自由参数的个数,降低了网络参数选择的复杂度。卷积神经网络中的每一个特征提取层(C-层)都紧跟着一个用来求局部平均与二次提取的计算层(S-层),这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。 卷积神经网络采用有监督学习的方式进行训练,即任何一个训练样本的类别是已知的,训练样本在空间中的分布不再是依据其自然分布倾向来划分,而是根据同类样本和不同类样本中的空间关系进行划分,这需要不断调整网络模型的参数用以划分样本空间的分类边界的位置,是一个耗时且复杂的学习训练过程[8]。 神经网络在进行训练时,所有的网络权值都用一些不同的小随机数进行初始化,这些小的随机数能偶保证网络不会因为权值过大而进入饱和状态,导致训练失败。神经网络训练算法包括4个主要部分: (1)样本集中取出样本 (X,yp) 并将其输入网络,X代表图像数组,yp代表其类别; (2)计算此次输入相应的实际输出 Op ,这是一个前向传播的过程; (3)用一个指定的损失函数计算出实际输出 Op 与理想输出 Yp 的误差; (4)按极小化误差的方法反向传播调整网络权值。
四、 极限学习机 极限学习机(extreme learning machine)ELM是一种简单易用、有效的单隐层前馈神经网络SLFNs学习算法。2004年由南洋理工大学黄广斌副教授提出。传统的神经网络学习算法(如BP算法)需要人为设置大量的网络训练参数,并且很容易产生局部最优解。极限学习机只需要设置网络的隐层节点个数,在算法执行过程中不需要调整网络的输入权值以及隐元的偏置,并且产生唯一的最优解,因此具有学习速度快且泛化性能好的优点。 极限学习机的网络训练模型采用前向单隐层结构。设,,mMn 分别为网络输入层、隐含层和输出层的节点数,gx 是隐层神经元的激活函数,ib 为阈值。设有N 个不同样本,iixt ,1iN ,其中1212,,...,,,,...,TTmniiiimiiiinxxxxRttttR ,则极限学习机的网络训练模型
如图1所示。
图1 极限学习机的网络训练模型 极限学习机的网络模型可用数学表达式表示如下: 1,1,2,...,MiiiijigxbojN
式中,12,,...,iiimi 表示连接网络输入层节点与第i个隐层节点的输入权值向量;12,,...,Tiiiin 表示连接第i个隐层节点与网络输出层节点的输出权值向量;12,,...,Tiiiinoooo 表示网络输出值。 极限学习机的代价函数E可表示为 1,NjjjESot
式中,,,1,2,...,iisbiM ,包含了网络输入权值及隐层节点阈值。Huang等指出极限学习机的悬链目标就是寻求最优的S,β,使得网络输出值与对应实际值误差最小,即min,ES 。 min,ES可进一步写为
111,,min,min,...,,,...,,,...,iiMMNb
ESHbbxxT
式中,H表示网络关于样本的隐层输出矩阵,β表示输出权值矩阵,T表示样本集的目标值矩阵,H,β,T分别定义如下:
111111111,...,,,...,,,...,MM
MMNNmNMNMgxbgxbHbbxxgxbgxb
11,TTTTMNMNNNtTt
极限学习机的网络训练过程可归结为一个非线性优化问题。当网络隐层节点的激活函数无限可微时,网络的输入权值和隐层节点阈值可随机赋值,此时矩阵H为一常数矩阵,极限学习机的学习过程可等价为求取线性系统HT 最
小范数的最小二乘解ˆ ,其计算式为 ˆHT
式中H时矩阵H的MP广义逆。