第２７卷第１期计算机应用与软件Ｖ０１．２７Ｎｏ．１２０１０年１月ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅＪａｎ．２０１０
基于自适应特征选择和ＳＶＭ的图像分类的研究
潘崇朱红斌
（丽水学院计算机与信息工程学院浙江丽水３２３０００）
摘要提出多特征结合的图像分类方法，分别提取颜色特征和ＬＢＰ纹理特征，同时提出Ａｄａｂｏｏｓｔ算法对特征进行选择，选择最能表示图像的特征，这样既降低了特征的维数，又提高了分类的精度。最后对基于ＳＶＭ的多类图像分类方法进行了研究，提出在二类支持向量机的基础上构造多类分类器的方法，实验结果表明，提出的方法能够很好地用于图像分类。
关键词图像分类支持向量机特征选择Ａｄａｂｏｏｓｔ算法
ｏＮＩＭＡＧＥＣＬＡＳＳＩＦＩＣＡＴＩＯＮＢＡＳＥＤｏＮＡＤＡＰＴＩＶＥＦＥＡＴＵＲＥＳＥＬＥＣＴＩｏＮ
ＡＮＤＳＵＰＰＯＲＴＶＥＣＴＯＲＭＡＣＨＩＮＥ
ＰａｎＣｈｏｎｇＺｈｕＨｏｎｇｂｉｎ
（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＬｉｓｈｕｉＵｎｉｖｅｒｓｉｔｙ，Ｌｉｓｈｕｉ
３２３０００，撕昭，Ｃｈｉｎａ）
ＡｂｓｔｒａｃｔＡｎｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｏｆｍｕｌｔｉ．ｆｅａｔｕｒｅｍｅｒｇｅｎｅｅｉｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒ，ｉｔｅｘｔｒａｃｔｓｒｅｓｐｅｃｔｉｖｅｌｙｔｈｅｃｏｌｏｕｒｆｅａｔｕｒｅａｎｄＬＢＰｔｅｘｔｕｒｅｆｅａｔｕｒｅ，ｍｅａｎｗｈｉｌｅＡｄａｂｏｏｓｔａｌｇｏｒｉｔｈｍｉｓｐｕｔｆｏｒｗａｒｄｆｏｒｆｅａｔｕｒｅｓｅｌｅｃｔｉｎｇ．Ｂｙｃｈｏｏｓｉｎｇｔｈｅｆｅａｔｕｒｅｗｈｉｃｈｒｅｐｒｅｓｅｎｔｓｉｍａｇｅｔｈｅｂｅｓｔ．ｉｔｃ明ｂｏｔｈｒｅｄｕｃｅｆｅａｔｕｒｅ’Ｓｄｉｍｅｎｓｉｏｎａｎｄｉｍｐｒｏｖｅｃｌａｓｓｉｆｉｃａｔｉｏｎｐｒｅｃｉｓｉｏｎ．Ｉｎｔｈｅｅｎｄｏｆｔｈｉｓｐａｐｅｒ，ｔｈｅｍｅｔｈｏｄｏｆｍｕｌｔｉ。ｃｌａｓｓｉｍａｇｅｃｌａｓ・ｓｉｆｉｃａｔｉｏｎｂａｓｅｄｏｎｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅｉｓｓｔｕｄｉｅｄ，ａｎｄｔｈｅａｐｐｒｏａｃｈｏｆｃｏｎｓｔｒｕｃｔｉｎｇｔｈｅｍｕｌｔｉ－ｃｌａｓｓｃｌａｓｓｉｆｉｅｒｂａｓｅｄｏｎｔｗｏ。ｃｌａｓｓＳＶＭｉｓｐｒｏｐｏｓｅｄ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄａｐｐｒｏａｃｈ
ｈａｓｇｏｏｄｐｅｒｆｏｒｍａｎｃｅｉｎｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎ・
ＫｅｙｗｏｒｄｓＩｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎＳｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅＦｅａｔｕｒｅｓｅｌｅｃｔｉｏｎＡｄａｂｏｏｓｔａｌｇｏｒｉｔｈｍ
０引言
随着数字图像处理技术的发展和实际应用的需要，图像分类识别技术应运而生。例如从遥感图像中识别出各种农作物、森林资源、矿产资源等，用人工地震波形图寻找有油的岩层结构，根据医学ｘ光图像分析各种病变，邮政系统中的信函自动分拣等等，都需要对图像中的各种对象进行区别分类。图像的计算机分类，是模式识别技术在图像领域中的具体运用，它的目的是研制能够自动处理图像信息的计算机系统，以便代替人们完成图像的分类和识别的任务【１．２１。
基于内容的｜冬Ｉ像分类对图像数据库的检索、图像过滤、图像识别等具有霞要意义，研究人员已做了一些有意义的工作。文献［３］中基于图像的颜色和主方向特征利用ＫＮＮ分类器实现了室内／室外的图像分类。文献［４］使用支持向量机分类器实现ｒ基于颜色直方图的图像分类系统。文献［５］中利用Ｂａｙｅｓ－ｔａｎ分类器实现了基于空间颜色矩和边缘方向直方图的室内／室外、城市／自然风景图像分类。这些方法都只用到了图像的颜色特征，由于各种对象的复杂性以及干扰因素的多样性，使得这些分类方法的分类精度较低。
本文提出多特征结合的图像分类方法，分别采用颜色特征和ＬＢＰ纹理特征，同时采用Ａｄａｂｏｏｓｔ对特征进行选择，选择最能表示图像的特征，这样既降低了特征的维数，又提高Ｊ，分类的精度。最后提ｆＩｊ在一类支持向量机的基础｜二构造多类分类器的方法，实验表明，提出的方法具有良好的分类性能。１自适应特征选择
１．１特征
本文采用二种不同类型特征空间中的特征：颜色特征和ＬＢＰ纹理特征。这二种特征均可以进行快速计算。
１．１．１颜色特征
我们采用文献［６］据出的颜色特征空间中的方法，颜色特征空间：
Ｆｌ兰｛埘１Ｒ＋硼２Ｇ＋ｔｌ，３８１ｗｊ∈［一２，一１，０，＋Ｉ，＋２］｝（１）式中埘。对应于一２到２之间的整数，这样的组合可以达到５３种，但最终选择了其中的４９种特征作为我们的颜色特征旧１。
１．１．２ＬＢＰ纹理特征
ＬＢＰ（１＿ｘ，ｃａｌｂｉｎａｒｙｐａＲｅｒｎ）＂１作为纹理算子可以很好地用来分析图像纹理特征。假定给定图像函数ｌ（ｘ，Ｙ），为了刻画图像像素点在某邻域内的灰度变化，考虑像素点的ｍｘｍ邻域，ＬＢＰ纹理算子计算公式如下：
２ｍ一１
ＬＢＰ（ｘ。，儿）＝∑ｓ（，Ｐ一，ｃ）２’
其中Ｉｃ、Ｌ分别为中心（‰，Ｙ。）处及邻域内各像素点的灰度值，ｓ（茁）为一个二值函数，定义如下：
收稿日期：２００８—０８—２３。潘崇，硕士，主研领域：图形图像，嵌入式系统。
万方数据
第１期
潘崇等：基于自适应特征选择和ＳＶＭ的图像分类的研究
２４５
一…城ｓ（ｘ）＝…｛１０ｘ
，＞…０ｘ＜０３３ＬＢＰ财一如三１妫蝴朋’８１月９嚣■≥。
㈤对于一个×邻域，
纹理算子模板及计算过程如图刍吒＾一”％’”
…７
所示，具体的ＬＢＰ算法详见文献［７］。
下，求解函数（６）的最大值。
圈田
ｕＰ篁子的３ｘ３邻域Ｕ｝Ｐ－（１１１１０００１）２；Ｉ＋１６４－３２＋６４＋１２８＝２４１
图Ｉ
ＬＢＰ算子的３×３邻域及计算过程
１．２特征选择
已知有ｆ个训练样本｛茁。，Ｙ。ｆ，…，ｆ≈，Ｙｔ｝，其中Ｙ，＝｛ｏ，Ｉ｝为类别标识；同时在训练样本中共有ｍ个假样本，凡个真样本；然后利用Ａｄａｂｏｏｓｔ方法对样本进行训练，选择特征，具体算法如
下：
给定（茁。，Ｙ．），（算：，Ｙ２），…，（算，，Ｙ。），Ｙ。＝０，１表示样本为反例样本和正例样本。（鼍，Ｙ。）表示第ｉ个图像样本，１≤ｉ≤ｚ，ｚ为样本的个数。
・初始化彬¨２寺，壶分别对应，，ｒ＝ｏ，１，其中Ｗｌ，ｉ表示第
１次第ｉ个样本对应的权值；
・Ｆｏｒｔ＝ｌＴｏｒ
（１）对每一特征，用吼训练吩，具有岛＝雕‘［～（算。）≠
Ｙ。］，Ｗ。表示第ｔ次样本对应的权值。１≤ｊ≤ｎ，ｒｔ为备选特征总数。其中＾，表示特征．，的弱分类假设，Ｉ｜ｌｉ可表示为：
吣）＝砝嚣ｋ鹏
其中Ｚ（并）为特征值，ｑ为阈值，ｎ为不等式方向符号因子。
（２）选择矗。（‘）＝ｈ＾（‘），对于Ｖｊ＃ｋ，吼＜ｑ，且占，＝占‘。
（３）更新毗“ｉ＝Ｗｔ，∥”‘，其中Ｅ＝ｏ，Ｉ表示对样本错分或
正确划分，且＝÷。
・最后的分类函数结果为：
Ｊｌ（茗）＝∑ａ，ｈ。（茗）≥÷∑口ｆ
其中ｑ＝ｌｏｇ÷，这样我们得到了ｒ个特征。２支持向量机
ＳＶＭ是从线性可分情况下的最优分类面发展而来的，对于非线性的问题，其首先通过核函数将样本数据映射到高维特征空间中，在高维特征空问构造最优分类面。设输入的模式集合㈠｝ＥＲ４由两类点组成，如果Ｘｉ属于第一类，则Ｙ。＝ｌ；如果茗。属
于第二类，则Ｙｉ＝一１，则训练样本集为ｈ，Ｙ。｝；ｉ＝１，２，…，ｎ，并
∈舻，Ｙ∈ｌ＋１，一ｌ｝，满足：
Ｙ。［（埘Ｘ毛）＋ｂ］一１≥０
ｉ＝１，２，…，Ⅳ
（３）
当样本不是线性可分时，可以通过引人正的松弛因子￡允许错分样本的存在。这时公式（３）变为：
Ｙｆ［（ＷＸ茗‘）＋６］一１＋ｆ．≥０
ｉ＝ｌ，２，…，＾ｒ
（４）
满足式（３）且使分类间隔２／Ｈ彬ＪＪ最大的分类面就叫最优分类面，利用Ｌａｇｒａｎｇｅ优化方法可以将上述最优分类面问题转
Ｑ（ｎ）＝∑口；一１／２∑ｎ。哆），；”（≈×芍）
（６）
ｉ＃Ｉ
ｌＪ２１
得到最优分类函数：
以石）
ｔ
＝ｓｉｇｎ（∑ｏｒ，’ｙ。＿ｊ｝（¨．）＋ｂ‘）
（７）
ｌ＝ｌ
其中：ｓｉｇｎ（）为符号函数，其取值决定石的类属；．｜｝（ｘ，算。）为核函
数，通过非线性变换中：∥一Ｆ将样本数据映射到高维李间中，然后在高维窄间寻找最优平面。常用的核函数有：多项式核函数Ｋ
（并，），）＝（掣＋１）４、高斯核函数ｅｘｐ（一１／（２０．２）忪一ｙ０２）。
３基于ＳＶＭ的图像分类
利用ＳＶＭ解决多类分类问题，目前丰要有两种途径：（１）
把多个２一类ＳＶＭ分类器进行组合，研究的内容包括对组合方式
的改进以及对每个２，类ＳＶＭ分类器的改进；（２）利用文献［９］
提出的将２一类ＳＶＭ从优化公式直接进行推广。目前主要有以下二种多类ＳＶＭ分类方法：
（１）一对一
构造所有可能的２．类ＳＶＭ分类器，每个分类器的训练数据集都只取相应的两类。这时共需要构造Ｎ＝ｋ（％一１）／２个２－类ＳＶＭ分类器。在构造第ｉ类与第』类之间的２．类ＳＶＭ分类器
时，训练集中的数据只来自相应的两类，并将第ｉ类与第．『类内的点分别标记为＋１和一１。测试时，将测试数据分别代入上述的Ｎ＝ｋ（ｋ一１）／２个２．类ＳＶＭ分类器进行测试，累计各类别的得分，选择得分最高所对应的类别为测试数据的所属类别。
（２）一对多
对于居．类问题，构造矗个２．类ＳＶＭ分类器，每个类对应其
中的一个，将它与其它的类分开；其中第ｉ个２－类ＳＶＭ分类器
是把第ｉ类中的样本都标记为＋ｌ，而其它所有的样本都标记为一１。也就是说，第ｉ个２－类ＳＶＭ分类器所构造的分类超平面，把第ｉ类与其它的（ｉ一１）类分割开。测试时，对测试数据分别计算对应于各个２．类分类器的决策函数值并选择最大的函数
值所对应的类别作为测试数据的所属类别。
本文采用一对多的方法构造分类器，这样可以减少分类器
的个数，提高分类速度。本文实现多类目标分类，设库中所有图像共有Ⅳ类，记为Ｔ＝｛Ａ。，Ａ：，…，Ａ。｝。对，ｖ类图像构造Ⅳ个２一类ＳＶＭ分类器，记为：Ｍ＝｛Ｍ，Ｍ，…，Ⅳ。｝，第ｉ个２一类ＳＶＭ
分类器用第ｉ类中的样本作为正的训练样本，而将其他的样本作为负的训练样本。对给定的一个语义类Ａ，∈Ｔ，构造其ＳＶＭ
分类器，则其分类问题中ｉ］ＪＩ练集可表示为Ｖ＝｛（石，，Ｙ，），（戈：，
Ｙ２），…，（‰，扎）｝。其中：矗表示支持向量机中的训练样本的数目。若Ｙ‘＝１，则表示Ｘｉ属于语义类Ａ。；若Ｙ。＝一１，则表示ｔ不
输出
基于Ｓ，个支持向量的线性变换
底层特征向量
图２
ＳＶＭ分类模型图
螽
惫万方数据
