哈工大模式识别课程11模糊模式识别精品PPT课件

1. Richard Duda, Peter Hart, David Stork, Pattern Classification, 2nd edition, John Wiley, 2001 2. 《模式分类》，机械工业出版社，Richard O. Duda 3. 《模式识别》清华大学出版社，边肇祺，张学工
应用领域
小结
本章小结
【小结】
(1)模式识别是每时每刻都发生的，重点强调分类。 (2)具有广泛的应用。 (3)对控制科学与工程学科的意义 (4)发展历程 (5)重要研究期刊 (6)参考书目
【4.发展历程】
1. 模式识别诞生于20世纪20年代； 2. 随着40年代计算机的出现，50年代人工智能的兴起， 模式识别在60年代迅速发展成一门学科； 3. 经过几十年的发展目前取得了大量的成果，在很多地 方得到应用。目前一直是热门的学科。
【5.重要期刊】
1. IEEE Transaction on Pattern Analysis and Machine Intelligence，PAMI 2. Pattern Recognition 3. Pattern Recognition Letter 4. 模式识别与人工智能
【6.参考书目】
它利用了训练样本的信息就可以认为学习，学习的目的是指 利用某种算法来降低由于训练样本的差异导致的分类误差。
学习的分类：
监督学习：存在一个教师信号，对训练样本集的每个输入样本能提供 无监督学习：没有显示的教师指导整个训练过程。（图像检索） 类别标记和分类代价并寻找能够降低总体代价的方向。(人脸识别) 半监督学习：半监督学习是利用少部分标记数据集及未标记样本进 行学习的主流技术。（如医学图像）
【性能评价】

Cx A1x1 A2 x2 A3 x3 .
采用阈值原则，取阈值 =0.8，测定当年气候因
子 x = (x1，x2，x3)，计算 C~(x) ，若C~(x) 0.8，则预报当 年冬季“多雪”，否则预报“少雪”。
用这一方法对丰镇 1959-1970 年间的 12 年作了预报， 除 1965 年以外均报对，历史拟合率达 11/12。
50.0 ±8.6
89.0 ±6.2
3866±800
166.9
55.3
88.3
A3
±3.6
±9.4
±7.0
4128±526
A4
172.6 ±4.6
57.7 ±8.2
89.2 ±6.4
4349±402
178.4
61.9
90.9
A5
±4.2
±8.6
±8.0
4536±756
第12页/共26页
现有一名待识别的大学生x = {x1, x2, x3, x4 } = {167.8, 55.1, 86, 4120}，他应属于哪种类型？
1 ,
270
x3 360
,
A3
x3
sin x3 0 , 90
, 180 x3 x3 180
,
270
,
cos x3 , 0 x3 90 .
第24页/共26页
取论域 X={ x| x = (x1，x2，x3)}, “冬雪大” 可以表示为论 域 X 上的模糊集C~ ，其隶属函数为
当 x0 = 40 时，即物价上涨率为40 %，我们有： A1(40) 0， A2 (40 ) 0， A3(40) = 0.0003 A4(40) = 0.1299， A5 (40) = 0.6412。

《模式分类》，机械工业出版社，Richard O.
Duda
《模式识别》（第二版），清华大学出版社，边
肇祺，张学工；
模式识别 – 绪论
期刊
IEEE Transaction on Pattern Analysis and Machine Intelligence，PAMI；
Pattern Recognition； Pattern Recognition Letter； 模式识别与人工智能；
x
2
1
2
n
exp
1 2
n n
2
d
f , n
2 n
exp
1 2
x
n 2
2
2 n
f ,n
exp
1 2
2
2 n
2 2 n
2 n
x
2
n
2
2 n
2
du
模式识别 – 绪论
3.3期望最大化算法(EM算法)
EM算法的应用可以分为两个方面：
1. 训练样本中某些特征丢失情况下，分布参数的最大 似然估计；
特征提取与选 择
识别结果 模式分类
分类 训练
分类器设计
模式识别 – 绪论
六、模式识别问题的描述
给定一个训练样本的特征矢量集合：
D x1, x2, , xn, xi Rd
分别属于c个类别：
1,2, ,c
设计出一个分类器，能够对未知类别样本x进行分类
y g x, Rd 1, ,c
模式识别 – 绪论
率满足正态分布，即：
px N , 2
p
N
0
,
2 0
模式识别 – 绪论

大数据技术的快速发展为模糊模式识 别提供了海量的数据资源，有助于提 高识别算法的泛化能力和鲁棒性。
大数据与模糊模式识别的结合，可以 实现大规模数据的快速处理和准确分 类，为各个领域的智能化决策提供支 持。
多模态信息融合的模糊模式识别
随着多模态信息融合技术的发展，将 不同类型的信息进行融合，可以提高 模糊模式识别的精度和鲁棒性。
后处理
对分类结果进行必要的后处理，如去 模糊化、决策融合等，以得到最终的 分类结果。
05
04
模糊分类决策
根据模糊逻辑规则进行分类决策，得 出分类结果。
PART 03
模糊模式识别的应用场景
图像识别
总结词
利用模糊模式识别技术，对图像进行分类、识别和特征提取，实现图像内容的智能分析和处理。
详细描述
在图像识别领域，模糊模式识别技术被广泛应用于人脸识别、车牌识别、物体识别等方面。通过提取 图像中的特征信息，建立模糊模型，实现对图像的自动分类和识别，提高图像处理的准确性和效率。
模糊推理
模糊推理是模糊逻辑的应用，它基于模糊规则进行推理，适用于处理不确定性和模糊性 。
模糊模式识别的基本步骤
数据预处理
对原始数据进行必要的预处理，包括 数据清洗、归一化等操作，以便更好 地进行后续处理。
01
02
特征提取
从预处理后的数据中提取出与目标分 类相关的特征。
03
模糊化
将提取出的特征值转换为模糊集合的 隶属度，以便进行模糊逻辑运算。
VS
详细描述
自然语言处理是模糊模式识别的另一个重 要应用领域。通过分析文本中的语义、句 法、上下文等信息，建立模糊模型，实现 对文本的自动分类、摘要、情感分析等任 务，提高自然语言处理的智能化水平。

2）序偶表示法： ~A {(1, a), (0.9, b), (0.5, c), (0.2, d)}
3）向量表示法： ~A (1, 0.9, 0.5, 0.2)
4）其他方法，如： ~A 1 a, 0.9 b, 0.5 c, 0.2 d
注：当某一元素的隶属函数为0时，这一项可以不计入。
第17页/共113页
例 3.2：以年龄作为论域，取 X=[0,200]，Zadeh 给出了“年老” 与“年轻”两个模糊集 O~ 和Y~ 的隶属函数如下：
0 ,
0 x 50
①
ox
~
1
(x
50 5
)
2
1
,
50 x 200
1,
0 x 25
Y ~
x
1
(
x
25)2 5
1
,
25 x 200
② X是一个连续的实数区间，模糊集合表示为
用精确数学方法判断“秃头”： 方法：首先给出一个精确的定义，然后推理，最后结论。
定义：头发根数≤n时，判决为秃头；否则判决为不秃。 即头发根数n为判断秃与不秃的界限标准。
问题：当头发根数恰好为n+1，应判决为秃还是不秃？
第2页/共113页
推理：两种选择 (1) 承认精确方法：判定为不秃。
均表现出精确方法在这个 问题上与常理对立的情况
当 x 为多变量，即 x {x1, x2 , , xn}时，隶属函数通常定义为
A x A(1) x1 A(2) x2 A(n) xn
~
~
~
~
其中， A(1) ， A(2) ，…， A(n) ：对应于各变量的模糊子集；
~~
~
A(i) xi ：相应的单变量隶属函数。

迁移学习在模式识别中广泛应用于目标检测、图像分类等任务，通过将预训练模 型（如ResNet、VGG等）应用于新数据集，可以快速获得较好的分类效果。
无监督学习在模式识别中的应用
无监督学习是一种从无标签数据中提取有用信息的机器学习方法，在模式识别中主要用于聚类和降维 等任务。
无监督学习在模式识别中可以帮助发现数据中的内在结构和规律，例如在图像识别中可以通过聚类算 法将相似的图像分组，或者通过降维算法将高维图像数据降维到低维空间，便于后续的分类和识别。
通过专家知识和经验，手 动选择与目标任务相关的 特征。
自动特征选择
利用算法自动筛选出对目 标任务最相关的特征，提 高模型的泛化能力。
交互式特征选择
结合手动和自动特征选择 的优势，先通过自动方法 筛选出一组候选特征，再 由专家进行筛选和优化。
特征提取算法
主成分分析（PCA）
通过线性变换将原始特征转换为新的特征， 保留主要方差，降低数据维度。
将分类或离散型特征进行编码 ，如独热编码、标签编码等。
特征选择与降维
通过特征选择算法或矩阵分解 等技术，降低特征维度，提高 模型效率和泛化能力。
特征生成与转换
通过生成新的特征或对现有特 征进行组合、转换，丰富特征
表达，提高模型性能。
04
分类器设计
分类器选择
线性分类器
基于线性判别分析，适用于特征线性可 分的情况，如感知器、逻辑回归等。
结构模式识别
总结词
基于结构分析和语法理论的模式识别方法，通过分析输入数据的结构和语法进行分类和 识别。
详细描述
结构模式识别主要关注输入数据的结构和语法，通过分析数据中的结构和语法规则，将 输入数据归类到相应的类别中。这种方法在自然语言处理、化学分子结构解析等领域有

• 如果训练样本中已知的类别标号就以模糊类的隶 属度函数的形式给出，那么我们就需要对原有的 模式识别方法进行改变，以适应这种模糊类别划 分（如后面将要介绍的模糊k近邻法）。
• 本节介绍的结果的模糊化，专门指训练样本和分 类器仍是确定性的，只是根据后续的需要把最终 的输出分类结果进行模糊化。结果的模糊化并没 有固定的方法，通常需要结合有关知识、根据所 用的分类器进行设计，比如可以根据样本离类别 中心的距离、离分类面的距离或与已知样本之间 的某种相似胜度量、神经网络输出的相对大小等 作为模糊化的依据
• 在这样的定义下，可以计算出对应于第j类第q个 特征的模糊度和熵。
• 如果模糊度和熵越小，则表明该类中这一特征的 取值比较集中，因此有利于分类；
• 反之如果模糊度和熵越大，则表明该类中这一特 征取值比较分散，不利于分类。
• 因此，我们可以用这个模糊度和熵作为衡量这个 特征对于该类分类的贡献的指标，模糊度和熵越 小则特征性能分类越好。
• 其中
模糊集合
• 定义在空间 X={x}上的隶属度函数就定义了 一个模糊集合A
• 表示为 •或 •
“开水”这一概念的模糊集与确定集
常见的隶属度函数形式
台阶型 三角形 梯形 高斯函数型
模糊集的运算
•并 •交
• 补：
模糊集合的荃本运算示意图
4.3 模糊特征和模糊分类
• 模糊模式识别就是在解决模式识别问题时 引进模糊逻辑的方法或思想
4.3.2 结果的模糊化
• 模式识别中的分类就是把样本空间（或样 本集）分成若干个子集，当然，我们可以 用模糊子集的概念代替确定子集，从而得 到模糊的分类结果，或者说使分类结果模 糊化。
• 在模糊化的分类结果中，一个样本将不再属于每 个确定的类别，而是以不同的程度属于各个类别， 这种结果与原来明确的分类结果相比有两个显著 的优点：一是在分类结果中可以反映出分类过程 中的不确定性，有利于用户根据结果进行决策乡 二是如果分类是多级的，即本系统的分类结果将 与其他系统分类结果一起作为下一级分类决策的 依据，则模糊化的分类结果通常更有利于下一级 分类，因为模糊化的分类结果比明确的分类结果 中包含更多的信息

11:44
24页
例：U＝{张三，李四，王五}， V＝{数学，英语，政治} 则关系R（选课）可表示为：
张三 李四 王五 数学 1 英语 1 政治 0
11:44
0 1 1
1 0 1
25页
（3）模糊关系 如关系R是U×V的一个模糊子集，则称R为 U×V的一个模糊关系，其隶属度函数为μR(x,y) 隶属度函数μR(x,y)表示x,y具有关系R的程度 模糊关系是笛卡儿乘积集的一个子集，是有约束 的 例： u为身高， v为体重 u= (1.4,1.5,1.6,1.7,1.8 ) （单位m） v = (40, 50, 60, 70, 80) （单位kg）
11:44
8页
Fuzzy set (figure from Earl Cox)
11:44
9页
（2）隶属度函数： 如果一个集合的特征函数μA(x)不是{0,1}二值 取值，而是在闭区间[0，1]中取值，则μA(x)是 表示一个对象x隶属于集合A的程度的函数， 称为隶属度函数。
当 xA 1, A x 0 A x 1, 当x在 一 定 程 度 上 属 于 A 0, 当 xA
11:44
26页
模糊关系“合乎标准”表示为：（具有关系R的程
度）
v 40
u R(u, v)
1.4 1.5 1.6 1.7 1 0.8 0.2 0
50 0.8 1 0.8 0.2
60 0.2 0.8 1 0.8
70 0 0.2 0.8 1
80 0 0 0.2 0.8
1.8
0
0
0.2
0.8
1
11:44
特征函数表达了元素x对集合A的隶属程度 可以用集合来表达各种概念的精确数学定义和各 种事物的性质

– 模糊集表示更接近于我们日常的理解。
16
• 模糊集合
– 模糊集通常可以用来表示某种人为的概念（比如上 面提到的“开水”），即用数学形式来表达人们的 语言变量，因此隶属度函数需要人为定义。 – 一些常见的单变量隶属度函数的形式包括斜台阶型 、三角型、梯型、高斯函数型等。
MATLAB Fuzzy Logic Toolbox: dsigmf gauss2mf gaussmf gbellmf pimf psigmf sigmf smf trapmf trimf zmf
25
几个概念： A ∈ F ( X ) 支集 sup p( A) = {x | A( x) > 0} 高度 hgt ( A) = sup A( x)
x∈X
1
核 ker( A) = {x | A( x) = 1} 正规模糊集：ker(A) ≠ φ 例如：
A = 0.3 / 1 + 0.7 / 2 + 1 / 3 + 1 / 4 + 0.3 / 5
a
E
f
b
e
d
c
19
S-型隶属度函数 (Zadeh,1975) 型隶属度函数
b=(a+c)/2;
20
∏-型隶属度函数 型隶属度函数
c=(a+a’)/2, b=(a+c)/2, b’=(c+a’)/2
21
2. 模糊集的集运算
它们的并A ∪ B、交A ∩ B分别定义为： 设A, B ∈ F ( X )， ( A ∪ B )( x) = max( A( x), B ( x)) = A( x) ∨ B ( x)
17
【模糊集基础知识 】
模糊集的例子。 例 论域E={1,2,3,4,5}，用模糊集表示“大”和“ 小”。 解：设A、B分别表示“大”与“小”的模糊集， µA ，µB分别为相应的隶属函数。 A={0, 0, 0.1, 0.6, 1} B={1, 0.5, 0.01, 0,0} 其中：µA(1)=0,µA(2)=0 ,µA(3)=0.1 ,µA(4)=0.6 ,µA(5)=1 µB(1)=1,µB(2)=0.5 ,µB(3)=0.01 ,µB(4)=0,µB(5)=0

8
典型应用
语音识别（例如：IBM ViaVoice系统） 表情分析、年龄、种族、性别分类 OCR: 车牌照、集装箱号码… 手写体识别：汉王 手势识别：基于视觉的，基于数据手套 人脸识别、指纹识别、虹膜识别… 军事目标识别 生物信息、医学图像 遥感、气象
9
模式识别方法
模板匹配 结构模式识别 句法模式识别 统计模式识别 模糊模式识别
机特征向量，用概率统计理论对其进行建模， 用统计决策理论划分特征空间来进行分类。
12
统计模式识别的一般过程
测试模式 预处理
分类
训练 预处理
训练模式
特征提 取/选择
分类
特征提 取/选择
学习分类规则 错误率检测
13
模糊模式识别
1965年Zadeh提出模糊集理论
是对传统集合理论的一种推广
传统：属于或者不属于 模糊：以一定的程度属于
这种技术具有实时性的特点，而且有可能扩展到多个姿 态的人脸检测。
18
人脸的特征表示方法
矩形特征（Harr-like特征）
矩形特征的值是所有白色矩形中点的亮度值的和减 去所有灰色矩形中点的亮度值的和，所得到的差
有4种类型的矩形特征
19
输入图像
积分图像
基于积分图像的 Haar-like特征计
7
模式分类 vs. 模式聚类
Classification Clustering
Category “A”
Categ
(Supervised Classification)
Clustering
(Unsupervised Classification)
“Good” features
“Bad” features

• 最小（大）生成树法—Minimun（Max） Spanning Tree Method
• K均值聚类法—K-means Clustering Method
• 模糊聚类法—Fuzzy clustering method • PCA投影分类法等等
60
主成分分析的数学 与几何意义示意图
61
16个脑组织试样进行分析，在色谱图中
uxy yt x 12
判别阈值可取两个类心在u方向上轴的投影连线的
中点作为阈值，即:
yt
m~1 m~2 2
49
50
（7） 计算m~ i。
m ~iN 1i j y(ji)N 1i j u x(ji)u m i
（8）
计算yt 。 yt
m~1 m~2 2
（9） 对未知模式x判定模式类。
uxy yt x 12
11
模式识别常用术语
• 特征抽提（Feature Extraction） • 训练集（Training Set） • 识别率（Recognition Rate） • 预测能力（Predictive Ability）
12
注意事项
训练集的数据一定要可靠。 训练集的样本数目要足够多，样本数m与模
式空间维数n 的比值至少应满足m/n≥3，最好 m/n≥10。 模式空间特征的选择是成败的关键，要选取与 样本分类有关的特征，如果不能包括与分类有 关的主要特征，模式识别就不会有好的效果。
4
什么是模式识别
• 模式识别包括两个阶段，即学习阶段和实现阶段， 前者是对样本进行特征选择，寻找分类的规律， 后者是根据分类规律对未知样本集进行分类和识 别。
• 广义的模式识别属计算机科学中智能模拟的研究 范畴，内容非常广泛，包括声音和语言识别、文 字识别、指纹识别、声纳信号和地震信号分析、 照片图片分析、化学模式识别等等。计算机模式 识别实现了部分脑力劳动自动化。