当前位置:文档之家› 支持向量机在医学图像分割中的应用

支持向量机在医学图像分割中的应用

单位代码: 10025 分类号: TP391 学 号: S2004045

CAPITAL MEDICAL UNIVERSITY

硕士学位论文

支持向量机在医学图像分割中的应用

Application of Support Vector Machine in Medical Image Segmentation

研究生:史鑫

学科专业:生物医学工程

指导教师:罗述谦教授

导师单位:首都医科大学生物医学工程学院

完成日期:二〇〇七年五月

目录

摘要 (1)

ABSTRACT (2)

第一章 引言 (6)

1.1 研究背景 (6)

1.2 研究内容与贡献 (6)

1.3 本文的组织结构 (7)

第二章图像分割概述及支持向量机算法研究现状 (8)

2.1 图像分割概述 (8)

2.2 支持向量机技术概述 (16)

第三章基于支持向量机的医学图像分割 (23)

3.1 原理与方法 (23)

3.2 SVM图像分割实验 (26)

第四章基于模糊支持向量机的医学图像分割 (33)

4.1 模糊支持向量机的原理 (33)

4.2模糊训练集SVM图像分割实验 (37)

4.3 结果讨论 (40)

文献综述 (42)

参考文献 (55)

攻读学位期间发表文章情况 (61)

致谢 (62)

个人简介 (63)

支持向量机在医学图像分割中的应用

Application of Support Vector Machine in Medical

Image Segmentation

摘要

医学图像分割是图像分割的一个重要应用领域,也是一个经典难题,至今已有上千种分割方法,既有经典的方法也有结合新兴理论的方法。

Vapnik等学者首先提出了实现统计学习理论中结构风险最小化原则的实用算法—支持向量机,比较成功地解决了模式分类问题。其后,机器学习界兴起了研究统计学习理论和支持向量机的热潮,引人瞩目的研究分支有从最优化技术出发改进或改造支持向量机,依据统计学习理论和支持向量机的优点设计新的非线性机器学习算法等。

支持向量机(Support Vector Machine,SVM)方法就是利用最优分类面(线)将两类样本在特征空间或输入空间中准确地分开,而且要使两类的分类空隙最大。因此标准的SVM方法需要求解二次规划问题,计算量很大。

脑组织图像分割在医学图像分析中具有重要的理论和应用价值。由于支持向量机被看作是对传统学习分类器的一个好的替代,特别是在小样本、高维情况下,具有较好的泛化性能,因此可采用支持向量机方法对磁共振脑组织图像进行分割研究。

论文的主要工作可以简单总结如下:

(1) 实现了SVM在图像分割中的应用,通过模拟数据和真实数据的实验结果验证了该方法的有效性。

(2) 提出了结合模糊训练集的支持向量机分割方法。实验结果验证了该方法的有效性,讨论了未来的工作方向。

关键词:支持向量机, 图像处理, 医学图像, 模糊训练集

Abstract

Medical image segmentation is an important application in the field of image segmentation, and it is also a classical difficult problem for researchers. Thousands of methods have been put forward to segment medical image. Some use classical methods and others use new mothods.

Vapnik and his collaborators proposed a useful algorithm: support vector machines, which can implement the structural risk minimization principle in statistical learning theory. This novel algorithm handles the classification problems successfully. Since then more attentions have been paid to statistical learning theory and support vector machines. The attractive research inclouds the improvement or modification of support vector machines by optimization techniques, and the design

of the novel non-linear machine learning algorithms based on statistical learning theory and some ideas in support vector machines, etc.

Support vector machine (SVM) is to correctly classify samples into two parallel planes in input or feature space by optimal planes(lines) ,and the margin between the two classes is made to be the largest. The standard SVM requires solving quadratic program that needs considerably longer computational time. An algorithm is introduced to solve the problem in this thesis, which is successfully applied to the classification of medical image data.

Segmentation of brain tissues is very important in medical image analysis. Support Vector Machines (SVM) is considered a good candidate because of its good generalization performance, especially for dataset with small number of samples in high dimensional feature space. This thesis investigates the segmentation of magnetic resonance brain tissues image based on SVM.

The main work in the dissertation can be summarized as the following:

(1) Have realized the application of SVM method in medical image segmentation. The experiment result based on simulation data and real MRI data

proved the validity of the method.

(2) A SVM segmentation algorithm based on fuzzy training sets is proposed, and the experimental result has proved the efficiency of this method. Also, the future working direction was discussed.

Key words:Support Vector Machine, Images processing, Medical Images, FuzzyTraining Sets

第一章 引言

1.1 研究背景

医学图像分割技术是医学图像处理和分析中的关键技术。图像分割技术的发展不仅影响到医学图像处理中其它相关技术的发展,如可视化、3D重建、不同模式医学图像的配准和融合等,而且在生物医学图像的分析中也占有极其重要的地位。近年来,由于一些新兴学科在医学图像处理中的应用,医学图像分割技术取得了显著的进展。随着CT、MRI 和PET 成像模式的产生和普及应用,单一的分割技术已难以胜任对新的成像模式产生的复杂的医学图像的分割任务。为此,人们提出了集成(integrating) 分割技术的概念[1],即把两个或两个以上的单一技术结合在一起,使它们扬长避短,互为补充。集成分割技术比单一技术能够达到更理想的分割效果,是图像分割技术发展的一个重要方向。医学图像从本质上是模糊的[2],在医学图像中存在许多不确定的因素,如灰度、纹理和区域的边界等。虽然这些不确定性给图像分割技术的研究带来了许多麻烦,但是却给模糊技术提供了用武之地,因为模糊技术非常适合处理事物的不确定性。

1.2 研究内容与贡献

基于数据的机器学习是现代智能技术中十分重要的一个方面。机器学习的目的是根据给定的训练样本对某系统输入输出之间依赖关系进行估计,使它能够对未知输出做出尽可能准确的预测。理论表明,当训练样本数趋于无穷多时,经验风险(即训练误差)才收敛于实际风险,经验风险最小化原理(Empirical Risk Minimization,ERM)隐含着训练样本无穷多的假设条件。然而,在实际应用中,样本数据通常都是有限的。因此研究在有限样本情况下的机器学习理论具有更高的实用价值。Vapnik等人从二十世纪六、七十年代开始致力于统计学习理论方面的研究,到九十年代中期,其理论不断发展和成熟。进而,Vapnik等人在统

计学习理论[3,4]的基础上,发展了一种新的通用学习方法——支持向量机(Support Vector Machine,SVM),也称支持向量网络,它是一种新颖的小样本学习方法。SVM是在1992年计算学习理论会议上经介绍进入机器学习领域,之后受到广泛关注,在二十世纪九十年代中后期得到全面深入的发展,现已成为机器学习和数据挖掘领域的标准工具。因而,统计学习理论和支持向量机开始受到越来越广泛的重视。近年来,陆续提出了训练SVM的算法及其应用,同时在许多实际问题中验证SVM 算法具有良好的性能。

本文的工作正是在这种背景下展开的,我们主要从两个方面来研究支持向量机方法在医学图像分割中的应用。主要包括:

(1). 使用基本支持向量机算法进行脑图像分割。

(2). 研究模糊支持向量机算法并尝试进行脑图像分割。

1.3 本文的组织结构

在本章(第一章),我们对本文研究的背景进行了简单的介绍;最后还对本文各章节的内容做了提要。

第二章主要分为两部分,一部分主要是介绍了常用的图像分割算法,另一部分介绍了支持向量机算法的现状。

第三章介绍了支持向量机的理论基础,实现了SVM在图像分割中的应用,通过模拟数据和真实数据的验证了该方法的有效性。

第四章在提出基于支持向量机算法与模糊训练集相结合,并在脑图像分割中进行了验证。

第二章图像分割概述及支持向量机算法研究现状

2.1 图像分割概述

医学图像分割是一个根据区域内的相似性以及区域间的不同把图像分割成若干区域的过程。从图像中把有关结构(或感兴趣区)分离出来是图像分析与识别首要解决的问题。从医学研究和临床应用的角度来看,图像分割的目的是对原始的2D或3D图像划分成不同性质(如灰度、纹理等)的区域,从而把感兴趣的区域提取并显示出来,并使它尽可能地接近解剖结果,为临床诊疗和病理学研究提供可靠的依据。

医学图像分割技术的发展是一个从人工分割到半自动分割和自动分割的逐步发展过程。早期的图像分割完全是靠人工完成的。完全的人工分割方法是在原始图像上直接画出期望的边界[5]。例如,当医学专家检查病人脑图像时,有时要对数以百计的脑切片图像进行边界的人工描绘工作,根据边界的人工描绘结果“构思”病灶与其周围组织的三维结构及其空间关系,并以此作为制定治疗计划的基础。这种方法费时费力,分割结果完全依赖于分割者的解剖知识和经验,而且分割结果难以再现。半自动的分割方法是随着计算机技术的发展产生的,它把操作者的知识和计算机的数据处理能力有机地结合起来,从而完成对医学图像的交互分割[6]。

与人工方法相比,半自动的分割方法大大减少了人为因素的影响,而且分割速度快,分割精度高,但操作者的知识和经验仍然是图像分割过程的一个重要组成部分。近年来,由于大量的新兴技术如模糊技术和人工智能技术在图像分割中的应用,图像分割领域中也涌现出一些自动的分割技术[7,8,9]。自动分割方法能完全脱离人为干预,由计算机实现医学图像分割的全过程。由于自动分割方法的运算量较大,目前大部分的自动分割方法都是在工作站上实现的。从目前图像分割技术在临床上的应用情况来看,自动分割方法并没有完全取代人工分割方法和半自动分割方法。在许多医院,图像分割仍然是由人工完成[10,11 ]。

这是由于医学图像常表现为对比度低,组织特性的可变性及不同软组织之间或软组织与病灶之间边界的模糊性、以及形状结构和微细结构(血管、神经) 分布的复杂性等,给研制自动分割技术造成了极大的困难。在实际应用中,为获得理想的分割效果,常常需要对分割过程进行人工干预。虽然文献[12,13]综述了许多自动的图像分割方法,但是目前大部分自动方法仍然停留在实验阶段,真正能用于临床的还为数不多[14]。

尽管如此,研究实用的自动分割方法并最终取代繁琐的人工分割和主观性很强的半自动分割一直是人们追求的目标,也是近年来图像分割方法的研究重点。六十年代以来,人们研制开发出众多的图像分割方法,许多方法最初都是采用单一的图像分割技术,如单纯利用各种微分算子进行边界探测的基于边界的分割技术,利用区域生长或区域分裂的基于区域的分割技术,利用概率统计理论的分割技术等。

近年来,随着模糊技术的不断成熟,它在图像分割中的应用也日益活跃,成了医学图像分割技术的一个研究热点,许多模糊分割技术也应运而生,如应用模糊子集理论的模糊分割技术[2],模糊C-均值聚类分割技术(FCM)[15],应用模糊逻辑的基于IF-THEN规则的模糊分割技术[16]等。目前,模糊技术在图像分割中一个显著的应用特点是它几乎能与所有现有分割技术结合使用,从而形成一系列的集成模糊分割技术,如FCM与基于知识的分割技术结合形成了基于知识的模糊分割技术[14],FCM 与人工神经网络结合形成了模糊人工神经网络分割技术[17]。

诸如此类,模糊阈值,模糊聚类,模糊边缘检测技术等都是模糊技术与其它技术结合的产物。由此看来,模糊技术为医学图像分割技术展示了乐观的前景。随着人工智能在图像分割中的应用,基于知识的分割技术和基于人工神经网络的分割技术也成了近年来图像分割技术的研究热点。

尽管图像分割方法众多,但大部分图像分割方法主要可分为基于区域的分割方法和基于边界的分割方法[1]。基于区域的分割方法,依赖于图像的空间局部特征,如灰度、纹理及其它像素统计特性的均匀性等。典型的基于区域的分割方法有区域生长、区域分裂以及区域生长与分裂相结合的方法等。由于这些方

法直接依赖于图像的灰度值,因此它们的主要优点是对噪声不敏感。但是,这些方法常常造成图像的过分分割问题(oversegmented),而且,分割结果很大程度上依赖于种子点(seed points) 的选择,分割所得到的区域的形状也依赖于所选择的分割算法。

基于边界的分割方法主要是利用梯度信息确定目标的边界,包括局部微分算子,如Roberts 算子、Sobel 算子、Prewitt 梯度算子和Laplacian二阶差分算子等。这些方法不依赖于已处理像素的结果,适于并行化,但缺点是对噪声敏感,而且当边缘像素值变化不明显时,容易产生假(false) 边界或不连续的边界。

在实际应用中,往往需要把这两类方法结合起来用以获得更好的分割效果。传统的医学图像分割一直停留在机交互水平,处理时间长,而且处理结果受人为因素的影响。因此,如何实现图像的自动分割一直是医学图像处理的研究重点。近年来,随着一些新兴技术(如模糊数学、数学形态学、数字拓扑学、人工智能等) 在图像处理中的应用,使图像分割技术取得了显著的进展,一些全新的图像自动分割技术应运而生,如模糊分割技术[8,15],基于知识的分割技术[9 ,14],人工神经网络分割技术[18]等。

这些技术代表了近年来医学图像分割的最新研究成果,也是今后若干年医学图像分割技术的研究方向。由生物医学成像设备获取的图像数据具有内在的不确定性[8],这种不确定性的程度依赖于许多因素,包括在空间、时间和参数分辩率方面的局限性以及成像设备的其它物理限制等。这些不确定性是模糊技术在图像分割中得到广泛应用的一个决定性的因素,因为模糊技术正是为了处理事物的不确定性而诞生的。Jayaram 等人[8]根据模糊子集理论和数字拓扑理论,提出了一整套模糊分割的理论、方法和算法,成功地解决了(1) 在模糊集合里定义目标(objects) 的概念;(2) 在模糊情况下处理一些拓扑概念,如连通性(connectedness) 和边界等;(3) 有效地提取模糊连接分量(fuzzy connected components FCM) 和模糊边界的算法等问题。模糊C-均值( FCM) 算法用于图像分割时是一种非监督( unsupervised) 模糊聚类后的标定过程[15],应用时可以减少人为干预,适合于灰度图像中存在不确定性和模糊性的特点。

FCM具体的操作方法是,根据分类依据,从n 个样品出发,反复利用合并

和迭代方法,得出一个聚类子集和聚类中心,然后根据每个像元与每个聚类中心的贴近度的大小,将其归于一个具体的类中(类是一个具有相同特征的区域) 。FCM 算法也存在一些明显的不足(1) 有时聚类的类数无法预先确定,使用时必须确定聚类的有效性准则;(2) 类中心的位置和特性不一定事先知道,必须进行初始猜测;(3) 对大的数据样本集进行聚类时,运算的开销太大。目前,单独使用FCM进行图像分割的情况已为数不多,一般情况下都是把FCM 方法与其它的分割方法结合起来使用[14],这样做既可以弥补FCM 的不足,又可以获得更好的分割结果。

基于知识的分割是所有图像分割方法中最重要的方法之一。近年来随着人工智能技术的发展,基于知识的分割方法也得到了广泛地研究和应用。基于知识的分割方法主要包括两个方面的内容:知识的获取,即归纳及提取相关的知识,建立知识库;知识的应用,即有效地利用知识实现图像的自动分割。基于知识的分割,其知识来源主要有:

(1) 临床知识,即某种疾病的症状及它们所处的位置;

(2) 解剖学知识,即某器官的解剖学和形态学信息,以及其几何学与拓扑学的相互关系,这种知识通常是用图谱来表示的;

(3) 成像知识,这类知识与成像方法及其具体的设备有关;

(4) 统计知识,例如MRI 的质子密度(PD) 、T1 和T2 统计数据,并把它们与解剖学的有关数据联系起来。

Clark 等人[14]自从1993 年以来,一直致力于基于知识的MRI 图像的自动分割方法的研究。他们首先利用非监督的FCM 算法对MRI 图像进行初始分割,然后利用图像匹配技术对初始分割的结果进行再聚类( reclustering) 和标记(labeling)。他们采用的知识源为临床知识和解剖学知识。利用临床知识获取脑组织在特征空间中的聚类分布(脑组织一般指白质、灰质和CSF),利用解剖学知识选取匹配模板。模板选取的解剖学依据是:白质具有对称性;白质沿着脑室区的两边是毗邻的;脑室的‘X’形状出现在颅脑的中心切片。

尽管人们提出了各种各样的医学图像分割方法,但没有一种方法是用来自动分割SPECT 图像。主要因为SPECT 图像本质上是功能性而非结构性的,

SPECT 图像所表现的主要是一些生理或病理的特征,其次才是结构特征,这就给分割SPECT 图像造成一定的困难。另外,造成自动分割SPECT 图像的其它困难有:

(1) Compton 散射,(射线衰减和其它物理现象造成的SPECT 图像噪声,使得图像数据退化,分辨率降低;

(2) 感兴趣体积内竞争(competing) 结构的存在造成了不同结构的混迭;

(3) 由于在目标结构中固有的拓扑特征造成的复杂性;

(4) 由于存在使人产生误解的、模糊的或不完整的视觉线索造成的结构的不确定性。

为此,文献[9]提出了一种知识指导的自动分割3D SPECT 图像的方法。这一方法创造性的把图像分析技术与形态学的、基于知识的和基于模型的归类运算有机地结合在一起,形成了一个高度集成的框架(framework) ,分割和标定感兴趣区。这一方法的显著性和创造性表现在以下两个方面:(1) 对图像的分割是以一种完全自动的和迭代的方式进行;(2) 尽管图像数据存在不完整性以及使人产生误解的、噪声的或模糊信息,感兴趣区结构的边界是以一种连续的精确方式被确定和描述,而且精确性随着分割算法的进程逐步进化。临床和实验证明,知识指导的分割SPECT 图像的方法比人工分割更具精确性和鲁棒性(robustness)。

人工神经网络(Artificial neural networks ,简称ANN) 是近年来发展起来的大规模并行连接处理系统,它可以工作在同步模式,也可以工作在异步模式[18]。ANN 的结构是一个具有某些独特处理能力的人类神经系统的模型,这些独特的处理能力是传统的、串行处理系统所没有的。因此,ANN具有模拟人类的信号处理能力。ANN 非常擅长于解决模式识别领域中的模式分类问题,而医学图像分割问题其实就是对图像中的各个解剖结构进行分类和标记的问题,因此利用ANN 技术进行图像分割也就成了顺理成章的事

ANN 的主要特点有[19]:具有通过实例(examples)学习的能力,并能利用前馈网络(feedforword nets)概括所学内容;对于随机噪声具有很强的鲁棒性;具有容错的能力和最优搜索能力。因此,当利用其它方法进行图像分割时,对于那些

困扰我们的许多问题,如噪声、组织不均匀性、生物形态的多变性等,利用ANN 技术可以得到很好地解决。Wilburm E. Reddick等[19],提出了三个基于ANN 的医学图像分割结构,虽然这三种结构分别采用了不同的方式,但它们都能够利用和综合医学图像中的演绎(a priori) 信息,这些信息用来训练那些可靠分割复杂的和低对比度解剖结构的神经模块( neural modules)。这些结构已经成功地应用于MR、CT 和X-ray 图像的分割。目前,ANN 技术应用的一个显著特点是它与模糊技术的结合,从而形成了模糊神经网络系统[17],这给ANN 技术在图像分割中的应用注入了新的内涵。

2.1.1 医学图像分割技术的评价

图像分割在图像自动分析过程中是最关键和最基本的步骤之一[20],因此图像分割技术一直倍受关注。在过去二十余年的时间里,人们研制了大量的像分割算法,而且其数量还在逐年增加。文献[21,22]综述了大量的图像分割算法。但是,由于人体解剖结构的复杂性、组织器官形状的不规则性及不同个体间的差异性等,到目前为止,还没有一种能对所有图像都能产生满意的分割效果的分割方法。各种算法都具有很强的针对性,往往是基于特定的领域、特定的成像物理模型。因此,对分割算法进行定量评估对于在实际应用中选择适当的分割算法以及对现有分割算法的改进和研究新的分割算法都是必不可少的,定量评估也是分割算法研究中的一个重要课题[20]。

值得指出的是,人们把精力主要放在对分割算法的研究方面,而对分割算法的评价却很少关注[10,20,23]。这主要是因为,要对分割算法作出客观、定量的评价是非常困难的,对于象MR、CT、PET 这样复杂的医学图像,人们很难定义一个通用的、用于比较的标准[23]。试验证明,对任何一个分割算法,评价其结果的最好评判者仍是人类[10,24]。从目前人们对评价方法的研究来看,绝大部分文献给出的评价方法都是拿分割算法的结果与人工分割结果进行比较。Zhang[20]把分割评价方法分成两类:分析方法(analytical) 和经验方法(empirical)。

分析法是通过对算法的原理和特性的分析直接对分割算法本身进行检验和评估。但是,并不是分割算法的所有特性可以通过分析研究得到,直到现在,

由于图像分割基本理论的缺乏,分析方法在实践中很少得到应用。经验方法是利用由分割算法得到的实际分割图像与参考(reference) 图像进行比较,根据实际分割图像与参考图像的符合程度评价分割算法的优劣。参考图像有时称为金标准(gold standard),实际应用中,通常把由专家人工分割得到的图像作为参考图像。

大部分文献中对磁共振图像分割算法的评价都是采用经验方法[7,14,25,26]。文献[27]把评价方法看成是由两部分组成:第一部分是建立评价标准,根据该标准对算法作出评价;第二部分是建立测量分割结果与评价标准之间的离差(deviation) 的方法。对于第二部分,绝大多数评价方法是利用标准的统计方法,如求均值、方差或标准差等。对于第一部分要建立评价标准是非常困难的。文献[27]给出了五个具有代表性的评价方案:

(1) 视觉检查(visual inspection);

(2) 与人工分割比较;

(3) 利用人造数据( synthetic data) 测试;

(4) 对患者利用基准(fiducials);

(5) 利用基准和/ 或尸体。

通过对上述几种方案权衡利弊后,文献[27]最终选择了人工分割作为评价分割算法的标准。

Zijdenbos [27]给出了一种定量评价两种不同分割算法的分割结果之间相似性的方法。把一个二值分割作为集合A ,A 包含属于某个分类的像素。两个分割A1 和A2 之间的相似性由一个实数}10{ ?s 给出,S 定义为:

212

12A A A A s +=∩ (1)

由于相似性参数S 是两个分割的共同区域与两个分割区域和的比率的两倍,因此,S 对于两个分割的区域的大小和位置很敏感。Zijdenbos 指出,当S> 0. 7 时两个分割极其相似。Atkins 等人[28]和Johnston 等人[25]利用相似性参数S 对他们提出的分割算法所得到的分割结果与人工分割结果进行比较,根据S 值确定他们的算法与人工分割的符合程度。

Clarke 等[14]利用两种测量方法对基于知识的分割算法与人工分割进行比较。第一种方法是计算百分比匹配(percent match) ,其计算方法是利用真阳性(true positive) 的像素数除以人工分割的区域所包含的像素数。第二种方法称为符合比率(correspondence ratio),其表达式为:

百分比匹配=

GT

TruePos #. 符合比率= GT FalsePos TruePos #.)*5.0(.? (2) 其中.TruePos 为真阳性像素数,.FalsePos 为假阳性像素数,GT #为人工分割的区域所包含的像素数。

Hall 等[29]给出了一种利用专家对分割图像的视觉反映比较不同分割算法的方法。首先提出以下几个问题:

(1) CSF 、白质和灰质之间的区分程度;

(2) 正常组织和病理组织之间的区分程度;

(3) 肿瘤和周围水肿的区分程度;

(4) 假阳性(false positives)的百分比;

(5) 假阴性(false negatives) 的百分比。

然后,采用双盲法由若干个专家根据对分割图像的视觉反映对上述几个问题进行打分。其中对前三个问题的打分范围是0 (最差) 到10 (最好) ,后两个问题是按百分比打分。最后从对打分情况的统计分析得出比较结论。

目前对医学图像分割算法的评价主要还是以主观评价为主,尽管主观评价存在很多缺点,但是,由于医学图像的复杂性以及图像分割理论的不完善,人们还难以完全用客观评价的方法对医学图像分割算法进行评价,因此,在今后若干年,对医学图像分割算法的主观评价仍将占主导地位。

医学图像分割技术在医学领域具有广泛的应用。医学图像分割是开展医学图像在临床和生命科学研究领域广泛应用的一个先行程序,如三维可视化、不同模式医学图像的配准( registration) 和融合(fusion) 、放疗计划的制定、外科手术计划的制定和仿真以及大脑的功能性研究等。因此,从六十年代以来,人们研究出了许多方法用于解决医学图像分割问题。

值得指出的是,由于医学图像的复杂性,到目前为止,还没有一种对所有医学图像都能产生满意的分割效果的分割方法。各种算法都是为解决一些特定的成像物理模型中的分割问题而产生的。医学图像分割评价问题是一个与医学图像分割密切相关的重要课题,对分割算法能否作出正确地评价,直接影响到分割算法在临床上的推广应用。

从目前国内外有关医学图像分割的文献来看,医学图像分割评价问题还远未得到很好地解决,大多数文献都回避了这个困难的问题,有些文献虽然对医学图像分割评价问题进行了讨论,但他们的出发点都是以主观评价为主。模糊分割技术、基于知识的分割技术以及基于人工神经网络的分割技术将是今后若干年医学图像分割技术的研究热点,经典分割技术与现代分割技术的综合利用(集成技术) 是今后医学图像分割技术的发展方向。

2.2 支持向量机技术概述

统计学习理论是目前针对小样本统计估计和预测学习的最佳理论,在这种理论体系下的统计推理规则不仅考虑了对渐近性能的要求,而且追求在现有有限信息的条件下得到最优结果。支持向量机SVM(Support Vector Machine) 方法是A T &T Bell 实验室的Vapnik[31]提出的一类基于SLT 的新型机器学习方法。

它根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷,以期获得最好的推广能力。SVM 是基于结构风险最小化准则SRM(St ructural Risk Minimization),与基于经验风险最小化准则ERM( Empirical Risk Mini-mization) 的神经网络相比,不存在过学习问题,有更好的泛化性能;另外,SVM 求解是一个凸二次优化问题,得到的解将是全局最优点,解决了在神经网络方法中无法避免的局部极值问题。SVM 方法的计算复杂度是由训练样本的数目决定的,因此在大训练样本情况下,SVM 的计算量是比较大的。

为此,研究人员提出了许多针对大规模训练集的SVM 训练算法。Cortes 和Vapnik 于1995 年提出了块算法求解大训练样本的SVM 问题[32],Osuna 在此基础上于1997 年提出了另外一种SVM 训练算法——分解法[33],Platt 在1998 年提出了一种名为SMO 的SVM 训练算法[34],该算法是分解法的一个特例。

此外,还有其他许多种SVM 训练算法不断涌现。SVM 方法由于其出色的学习性能,已经在模式识别的许多领域获得了成功的应用,随着损失函数的引入也可以用于回归估计,并可将其进一步推广到非线性系统的建模和控制领域。

2.2.1 SVM 基本算法

用于模式识别的SVM 对于一个非线性不可分的二值分类问题,用SVM 方法可以找到一个最优分类面,使得两类无错误地分开,并使两类的分类间隙最大。设样本训练集为:

},2,1),,{(l i y x i i = (3)

式中 i x —输入值,N i R x ∈;

i y —输出值,N i R y ∈;

l —样本数。

最优分类面为:

0)(=+?b x w R b ∈ (4) 式中 w —特征空间维数;

)(x ?—内积函数,将输入样本空间映射到高维线性特征空间[35]。

SVM 将该最优分类面的求解转化成一个二次规划QP(Quadratic

Programming) 问题,其数学形式为:

??

????+∑=l i i c w 1221min ξ (5)

s. t . {}1,11)(?∈?≥+i i

i i y b wx y ξ l i i ,2,1,0=≥ξ

式中 i ξ—松驰变量; c —惩罚参数,0>c ,c 越大表示对错误分类的惩罚越大。

采用拉格朗日乘子法求解这个具有线性约束的二次优化问题,得到对偶最优化问题为:

?

??????∑∑∑===l i l i l

j j i j i j i i x x k y y 111),(21max ααα (6) s.t. c i ≤≤α0

∑==l i i i y 10α

式中 i α 称为支持值; c i ≤<α0时对应的i x 称为支持向量SV ( Support Vector) ;

c i <<α00所对应的i x 为标准支持向量NSV (Normal SupportVector)。

∑∑∈∈?=NSV x SV x j i j j i NSV i j x x k y y N b )]},({[1

α (7)

式中 NSV N —标准支持向量数。

分类判别函数为:

∑=+=l

i j i i i b x x k y sign x f 1})],({[)(α (8)

其中),(j i x x k 称为核函数。核函数的思想是把本来应该在高维空间中做的操作,在输入(低维)空间中就完成。这样就无须在高维特征空间中计算内积。从而解决了高的维数带来麻烦。用于模式识别的SVM 方法在分类问题中,通过使“边距”最大化,以期获得较好的泛化能力。问题的解由一些稀疏的支持向量表征,这些向量位于分类的边缘,从而概括了分类所需的信息。该方法已经被用来解决复杂的分类问题,成为一种强大的模式分类方法。

2.2.2 关于SVM 的讨论

SVM 是SLT 中最新的内容,也是最实用的部分。其核心内容是在1992

—1995 年间提出的,目前仍处于不断发展阶段。由于SVM 方法尚处在发展阶段,很多方面尚不完善。核函数是SVM 方法中少数几个能够调整的参数之一,理论上只要满足Merce 条件[35]的函数都可以选为核函数,常见的核函数有线性、多项式、径向基和多层感知器函数等。尽管一些实验结果表明核函数的具体形

式对分类效果的影响不大,但是核函数的形式以及其参数的确定决定了分类器类型和复杂程度,它显然应该作为控制分类器性能的手段。

目前有关核函数选择的理论依据仍旧很少,VC 维数[35]的上限可能是一个比较核函数的好标准。但是,这需要对高维特征空间中所有样本的闭包半径有一个估计。最后需要提到的是,即使找到了一种选择核函数的比较强大的理论,除非它能对很大规模的问题在随意选择的数据集上有很好的结果,否则,交叉验证方法仍然应该是首选的。

采用SVM 方法求解回归估计问题时,参数C和ε的选择对系统性能有一定的影响。在实际问题求解时,一般通过交叉验证法选取适当的参数。删除样本中的所有非支持向量,回归估计的结果并不改变,所以当支持向量数目很小的时候,验证会很快。然而当支持向量数目较多时,交叉验证法就不是很有效了。

因此,采用何种合适的方法选择参数C和ε仍然有待改进。SVM 算法的计算量不再取决于空间维数,而是依赖于训练样本的数目,尤其是样本中的支持向量数目。但是如果想在高维空间中得到一个样本比较均匀的分布,又必须提供大量的训练样本。在大训练样本情况下,SVM 算法便面临着维数灾,或者由于内存的限制,而导致无法训练,无法应用SVM 进行模式识别和回归估计。

目前还出现了许多其他有关SVM 的新方法,如中国学者张学工提出的CSVM (中心支持向量机) 算法[36],Keerthi 等提出的修改了的算法——NPA最近点算法[37],Schêlkoph 和Smola 提出的ν-SVM 算法[38],Ming-Hsuan Yang 提出的训练SVM 的几何方法[39],Suykens 提出的L S-SVM(最小二乘支持向量机) 算法[40],Kecman 和Hadzic 提出的基于线性规划的SVM 算法[41],Olvi 和David提出的SOR ( Successive Overrelaxation) 算法[42]等。

2.2.3 SVM的训练算法

SVM 算法可归结为一个二次优化问题,它的训练运算速度是限制其应用的主要方面,近年来人们针对该方法本身的特点提出了许多训练算法来解决对偶寻优问题。块算法是由Cortes 和Vapnik 最早提出的用于求解大训练样本SVM 问题的优化算法。块算法基于的是这样一个事实,即去掉非支持向量不会影响

原问题的解。对于给定的训练样本集,如果其中的支持向量是已知的,寻优算法就可以排除非支持向量,只需对支持向量计算权值(即Lagrange 乘子)。实际上支持向量是未知的,因此块算法的目标就是通过某种迭代方式逐步排除非支持向量。

具体的做法是,选择一部分样本构成工作样本集进行训练,剔除其中的非支持向量,并用训练结果对剩余样本进行检验,将不符合训练结果(一般是指违反KKT 条件[35])的样本或其中的一部分与本次结果的支持向量合并成为一个新

的工作样本集,然后重新训练。如此重复下去直到获得最优结果。当支持向量的数目远远小于训练样本数目时,块算法显然能够大大提高运算速度。

然而,如果支持向量的数目本身就比较多,随着算法迭代次数的增多,工作样本集也会越来越大,算法依旧会变得十分复杂。Osuna 等人针对SVM 训练速度慢及时间空间复杂度大的问题,提出了分解法。主要思想是将训练样本分为工作集和非工作集,工作集中的样本个数远小于总样本个数,每次只针对工作集中的样本训练,而固定非工作集中的训练样本。把问题分解成为固定样本数的子问题:工作样本集的大小固定在算法速度可以容忍的限度内,迭代过程中只是将剩余样本中部分“情况最糟的样本”与工作样本集中的样本进行等量交换,即使支持向量的个数超过工作样本集的大小,也不改变工作样本集的规模,而只对支持向量中的一部分进行优化。

该算法应用已有约束条件下二次规划极值点存在的最优条件(即KTT条件),推出本问题的约束条件,这也是终止条件。该算法的关键就在于找到一种合适的工作集选择方法使得算法最终能收敛并且较快地收敛到最优结果。块算法和分解法的主要区别在于:块算法的目标函数中仅包含当前工作样本集中的样本,而分解法虽然优化变量仅包含工作集样本,其目标函数却包含整个训练样本集,即工作样本集之外的样本的。

Lagrange 乘子固定为前一次迭代的结果,而不是像块算法中那样设为0。Platt 提出了SMO (顺序优化) 算法来解决大训练样本问题,该算法是分解算法的1 个特例。它将工作集大小固定为2 ,其优点是迭代过程中每一步的子问题的最优解可以直接用解析的方法求出来,这样,算法避开了复杂的数值求解优化

相关主题
文本预览
相关文档 最新文档