第9章随机数学模型2-PPT文档资料

考虑目标函数
1.2马氏 (P. C. Mahalanobis)距离判别法
d x ,x i m k i n x x k T S k 1 x x k ,S k c o v ( x k )
1.3海明Hamming距离判别法
两个合法代码对应位上编码不同的位数称为海明距离。
合理的距离
如果用dij表示第i个样品和第j个样品之间的距 离，那么对于一切i，j和k，dij应该满足如下 三个条件：

①dij≥0，当且仅当i=j时，dij=0 （非负性）

② dij＝dji （对称性）

③ dij≤dik＋dkj（三角不等式）
显然，欧氏距离满足以上三个条件。
欧氏距离的缺点
欧氏距离虽然简单，但也有明显的缺点。它 将样本的不同属性（即各指标或各变量）之 间的差别等同看待，这一点有时不能满足实 际要求。
9.7分类问题
一、引例
• 1981年生物学家格若根（W． Grogan）和维什（W．Wirth）发现了两类蚊子 (或飞蠓midges)．他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：
• 翼长 • 1.78 • 1.96 • 1.86 • 1.72 • 2.00 • 2.00 • 1.96 • 1.74
求解最优判别方向等价于求解带约束函数优化问题
aTYa max L(a) aT Sa s.t. a 1
2
可以证明：
a 为 矩 阵 S 1 Y 的 主 特 征 向 量
为了确保解的唯一性，不妨设 aT Sa 1，这样问题转化为，
在 aT Sa 1的条件下，求 a 使得 aTYa 式达到极大。
触角长 类别 1.14 Apf 1.18 Apf 1.20 Apf 1.24 Af 1.26 Apf 1.28 Apf 1.30 Apf 1.36 Af
• 翼长 触角长 类别
• 1.64 1.38 Af
• 1.82 1.38 Af
• 1.90 1.38 Af
• 1.70 1.40 Af
• 1.82 1.48 Af
假 设 已 知 k个 p维 类 别 xi， 其 均 值 向 量 为 xi, 第 i类 已 有 样 本 集 G i:xij,样 本 容 量 为 m i,
x 1 k i k 1 x i,S i k 1 S i i k 1x i j x i x i j x iT ,Y i k 1 m ix i xx i x T
• 哪一分类直线才是正确的呢？
• 因此如何来确定这个判别直线是一个值得研究的 问题．一般地讲，应该充分利用已知的数据信息 来确定判别直线．
数学模型
再如，如下的情形已经不能用分类直线的办法：
数学模型
1.距离判别法
1.1欧氏Euclidean distance距离判别 法
dx,xim kinxxk2
方差矩阵逆矩阵不存在，这种情况下，用欧式距离计算即可。

3）还有一种情况，满足了条件总体样本数大于样本的维数，但是协方差矩阵不可逆，
比如三个样本点（3，4），（5，6）和（7，8），这种情况是因为这三个样本在其所处的
二维空间平面内共线。这种情况下，也采用欧式距离计算。

4）在实际应用中“总体样本数大于样本的维数”这个条件是很容易满足的，而所有样
数学模型
分类结果：(1.24，1.80)，(1.28，1.84)属于Af类； (1.40，2.04）属于 Apf类．
图2 分类直线图
数学模型
•缺陷：根据什么原则确定分类直线？
• 若取A=(1.46,2.10), B=(1.1,1.6)不变，则分类直线 变为 y=1.39x+0.071
分类结果变为： (1.24,1.80)， (1.40,2.04) 属于Apf类； (1.28,1.84)属于Af类
• 得到的结果见图1
数 学 模 型
• 图1飞蠓的触角长和翼长
思路：作一直线将两类飞蠓分开
• 例如；取A＝（1.44，2.10）和 B＝(1.10，1.16)， 过A B两点作一条直线：
•
y＝ 1.47x - 0.017
• 其中X表示触角长；y表示翼长．
• 分类规则：设一个蚊子的数据为（x, y） • 如果y≥1.47x - 0.017，则判断蚊子属Apf类； • 如果y＜1.47x - 0.017；则判断蚊子属Af类．
马氏距离优缺点

1）马氏距离的计算是建立在总体样本的基础上的，这拿同样的两个样本，放入两个不同的总体中，最后计算得出
的两个样本间的马氏距离通常是不相同的，除非这两个总体的协方差矩阵碰巧相同；

2）在计算马氏距离过程中，要求总体样本数大于样本的维数，否则得到的总体样本协
2.Fisher判别法
Fisher~判别的基本思想是将k个总体的所有p维空间 的样本点投影到一维空间上，使投影后组与组之间 尽可能的分开，然后利用方差分析的方法推出判别 函数。为了简单起见，通常利用线性的判别函数 u(x)=aTx.
寻找一个最恰当的方向a，使在这个方向上，组间方 差与组内方差的商最大
本点出现3）中所描述的情况是很少出现的，所以在绝大多数情况下，马氏距离是可以顺利
计算的，但是马氏距离的计算不稳定，不稳定的来源是协方差矩阵，这也是马氏距离与欧式
距离的最大差异之处。
优点： 不受量纲的影响，两点之间的马氏距离与原始数据的测量单位无关； 由标准化数据和中心化数据(即原始数据与均值之差）计算出的二点之间的马氏距离相同。 马氏距离还可以排除变量之间的相关性的干扰。 缺点： 夸大了变化微小的变量的作用。
• 1.82 1.54 Af
数
• 2.08 1.56 Af
学
模
型
问：如果抓到三只新的蚊子，它们的触角长和 翼长分别为(l.24,1.80); (l.28，1.84)；（1.40， 2.04）．问它们应分别属于哪一个种类？
解法一：
• 把翼长作纵坐标，触角长作横坐标；那么每个 蚊子的翼长和触角决定了坐标平面的一个点.其 中 6个蚊子属于 APf类；用黑点“·”表示；9个 蚊子属 Af类；用小圆圈“。”表示．