武汉大学-模式识别-第八章-模糊模式识别方法简介

8.4 模糊聚类方法
• 改进的模糊C均值算法
– 在模糊C均值算法中，由于引入了归一化条
件
，在样本集不理想的情况下
可能导致分类结果不好。
• 例如：如果某个孤立样本远离各类的聚类中心， 本来它严格属于各类的隶属度都很小，但由于
归一化条件的要求，将会使它对各类都有较大 的隶属度（比如两类情况下各类的隶属度都是 0.5），这种孤立样本的存在将影响迭代的最终 结果。
第八章 模糊模式识别方法简介
8.1 引言
• 1965年，Zadeh提出了著名的模糊集理论，创 建了一个新的学科 —— 模糊数学 (L.A. Zadeh, “Fuzzy Sets”, Information and Control, Vol. 8, 1965, 338-353.) 。
• 模糊集理论是对传统集合理论的一种推广
– 在传统集合理论中，一个元素或者属于一个集合， 或者不属于一个集合；
– 对于模糊集而言，每一个元素都是以一定的程度隶 属于某个集合，也可以同时以不同的程度属于几个 集合。
• 现实生活中大量使用的一些含义确定但又不准确的语言表 述，比如“今天天气很热”，“车速很高”等，模糊数学 能够较好地表达。
8.1 引言
– 如果我有一定的先验知识，则采用这种方法往 往能取得良好的效果。
8.3 模糊特征和模糊分类
• 结果的模糊化
– 模式识别中的分类就是把样本空间（或样 本集）分成若干个子集。
– 我们可以用模糊子集的概念来代替确定子 集，从而得到模糊的分类结果，或者说使 分类结果模糊化。
8.2 模糊集的基本知识
• 模糊集运算
– 对于定义在同一空间X={x}上的两个模糊集A 和B，模糊数学中定义的最基本运算有
• 并：模糊集A和B的并集
的隶属度函数定
义为μC(x)=max{μA(x), μB(x)}；
• 交：模糊集A和B的并集
的隶属度函数定
义为μC(x)=min{μA(x), μB(x)}或μC(x)=μA(x)• μB(x) ；
• 模糊数学的几种不同名称
– 模糊集：它是相对于经典的集合理论而言的； – 模糊逻辑：它是相对于传统的“是或者不是”而言
的；
– 模糊数学是一种更广泛的叫法，更倾向于指从数学 角度对模糊集和模糊逻辑的研究；
– 从应用的角度，很多人习惯于用模糊系统的称法， 用来指采用了模糊数学思想和理论的方法或系统， 而其中采用的一些技术往往称为模糊技术或模糊方 法。
• 补：模糊集A和补集C=A’的隶属度函数定义为
μC(x)=1- μA(x)。
8.2 模糊集的基本知识
• 模糊集运算
– 并、交和补运算在一维情况下的图例
• 与确定集合中不同，在模糊集中，集合的补集 与原集合的交并不是空集。
8.2 模糊集的基本知识
• 模糊集运算
– d函个数变通量常x=定{义x1,为x2d,个…单, x变d}量上隶的属多度变函量数隶的属张度 量积，即
– 用隶属度函数定义的聚类损失函数可写成：
其中b>1是一个可以控制聚类结果的模糊 程度的常数。
8.4 模糊聚类方法
• 模糊C均值算法
– 在不同的隶属度定义方法下最小化上述损 失函数，可得到不同的模糊聚类方法，其 中最有代表性的是模糊C均值算法，它要 求一个样本对于各个聚类的隶属度函数之 和为1，即
其中mi为第i类的样本均值， 是分到第i类的所 有样本。 – 使上述准则最小化的基本方法就是C均值方法。 – 将这种硬分类变为模糊分类，即可得到模糊C均 值方法。
8.4 模糊聚类方法
• 模糊C均值算法
– 为了实现模糊聚类，可将问题的有关符号 重新定义如下：{xi, i=1,2,…,n}是n个样本 组 (样i=成 本1,2的 对,…样 第,c本j类)为集的每合隶个，属聚c度为类函预中数定心。的，类μ别j(x数i)是目第，i个mi
8.3 模糊特征和模糊分类
• 结果的模糊化
– 如果训练样本中已知的类别标号就是以模糊类的 隶属度函数的形式给出的，那么我们就需要对原 有的模式识别方法进行改变，以适应这种模糊类 别的划分（如模糊k近邻法）。
– 这里所说的结果的模糊化，是指训练样本和分类 器仍是确定的，只是根据后续的需要把最终的输 出分类结果进行模糊化。
– 模糊数学名词本身也具有很大的模糊性，但其实质 都是基本相同的，因此这里不去严格区分这些说法。
8.1 引言
• 模糊数学的应用
– 将模糊技术应用于各个不同领域，产生了一 些新的学科分支
• 和人工神经网络相结合，产生了模糊神经网络； • 应用到自动控制中，产生了模糊控制技术和系
统，并得到了很好的效果（地铁模糊控制系统， 洗衣机、电饭锅的模糊控制等）； • 应用到模式识别领域，产生了模糊模式识别。
– 用当前的聚类中心根据必要条件中μj(xi)的算式计算隶 属度函数；
– 用当前的隶属度函数根据必要条件中mj的算式更新计 算聚类中心；
8.4 模糊聚类方法
• 模糊C均值算法
– 当算法收敛时，就得到了各类的聚类中心 和各个样本对于各类的隶属度值，从而完 成了模糊聚类划分。
– 如果需要，还可以将模糊聚类结果进行去 模糊化，即用一定的规则把模糊聚类划分 转化为确定性分类。
– 显然，用改进的模糊C均值算法得到的隶属 度可能大于1，因此并不是通常意义上的隶 属度函数。
– 必要时，可以把最终得到的隶属度函数进 行归一化处理，这时已不会影响聚类结果。
– 如果聚类结果要求进行去模糊化，可以直 接利用这里得到的隶属度函数进行。
8.4 模糊聚类方法
• 改进的模糊C均值算法
– 改进的模糊C均值算法较前面提到的模糊C 均值算法具有更好的鲁棒性，它不但可以 在有孤立样本存在的情况下得到较好的聚 类效果，而且可以放松隶属度条件，而且 因为放松了隶属度条件，使最终聚类结果 对预先确定的聚类数目不十分敏感。
8.3 模糊特征和模糊分类
• 模糊化特征
– 例子：在某个问题中，人的体重本来一个特征使 用。现在根据需要可以把体重特征分为“偏轻”、 “中等”和“偏重”三个模糊特征，每个模糊特 征的取值实际上是一个新的连续变量，它们表示 的不再是体重的数值，而是关于这个体重的描述， 即分别属于“偏轻”、“中等”和“偏重”的程 度。
– 与模糊集相对应，传统的集合可以称作确定集合或 脆集合（通常在没有指明是模糊集时所说的集合是 指确定集合）。
– 空间X中A的隶属度大于0的对象的集合叫做模糊集 A的支持集S(A)，即
– 支持集中的元素称作模糊集A的支持点，或不严格 地称作模糊集A的元素。
– 确定集可以看作是模糊集的特例，即隶属度函数之 取1或0时的集合。
– 模糊模式识别就是在解决模式识别问题时， 引进模糊逻辑的方法或思想。
– 模糊特征是指根据一定的模糊化规则（通 常根据具体应用领域的专门知识人为确定 或经过计算确定），把原来的一个或几个 特征变量分成多个模糊变量，使每个模糊 变量表达原特征的某一局部特征，用这些 新的模糊特征代替原来的特征，进行模式 识别。
• 如果用模糊集表示，则可用隶属度函数在表征 水开得程度（图c）
– 模糊集表示更接近于我们日常的理解。
8.2 模糊集的基本知识
• 模糊集合
– 模糊集通常可以用来表示某种人为的概念（比如上 面提到的“开水”），即用数学形式来表达人们的 语言变量，因此隶属度函数需要人为定义。
– 一些常见的单变量隶属度函数的形式包括斜台阶型、 三角型、梯型、高斯函数型等。
8.1 引言
• 模糊模式识别的形成
– 模式识别从一开始就是模糊技术应用研究的 一个活跃领域
• 人们针对一些模糊式识别问题设计了相应的模 糊模式识别系统；
• 对传统模式识别的一些方法，人们用模糊数学 对它们进行了改进。
– 模糊技术在模式识别中的研究与应用逐渐形 成了模糊模式识别这一新的学科分支。
8.2 模糊集的基本知识
• 隶属度函数
– 隶属度函数是表示一个对象x隶属于集合A
的程度的函数，通常记作μA(x)
• 其自变量范围是所有可能属于集合A的对象（即
集合A所在空间的所有点），取值范围是[0, 1]，
即
；
• μA(x)=1表示x完全属于集合A，相当于传统集合 概念上的 ；
• μA(x)=0表示x完全不属于集合A，相当于传统集 合概念上的 。
– 与确定性C均值算法和模糊C均值算法一样， 改进的模糊C均值算法仍然对聚类中心的初 值十分敏感，为了得到较好的结果，可以 用确定性C均值算法或模糊C均值算法的结 果作为初值。
8.5 讨论
• 模糊集理论是为了表达人的自然语言和推理中 的不确定方面而提出的，因此其应用中往往不 可避免地带有一定的主观因素，比如隶属度函 数的选取、模糊推理规则等，也正因为如此， 它能够比较好地把人们的先验知识和常识加到 一个智能系统中。
– 结果的模糊化并没有固定的方法，通常需要结合 有关知识，根据所用的分类器进行设计，比如可 以根据样本离类别中心的距离、离分类面的距离 或与已知样本之间的某种相似性程度、以及神经 网络输出的相对大小等作为模糊化的依据。
8.4 模糊聚类方法
• 模糊C均值算法
– 动态聚类方法的目的是把n个样本划分到c个类别 中的一个，使各样本与其所在类均值的误差平方 和最小，即使如下准则函数最小：
8.3 模糊特征和模糊分类
• 结果的模糊化
– 在模糊化的分类结果中，一个样本将不再属于每 个确定的类别，而是以不同的程度属于各个类别。
– 这种结果与原来确定的分类结果相比有两个显著 优点
• 在分类结果中可以反映出分类的不确定性，有利于用户 根据结果进行决策；
• 如果分类是多极的，即本系统的分类结果将与其它系统 的分类结果一起作为下一级分类决策的依据，则模糊化 的分类结果通常更有利于下一级的分类，因为模糊化的 分类结果比明确的分类结果中包含更多的信息。