Chapter 5
Estimation and
Learning2
Outline
■ Parametric Estimation
Maximum Likelihood Estimation Unbiased Estimates
Bayes Estimation
■ Non-Parametric Estimation
Histogram Estimation
Parzen Window Estimation A^Neares十・ Neighbour
EstimationEstimation
3
a. Parameter estimation - assume a known form for the p.d.f. and
estimate the necessary parameters (mean and variance for normal
b. Density estimation ・ estimate the non-parametric pdf Js from the
given samples.§5.1 Parametric Estimation
4
Maximum Likelihood method
• Parameters are viewed as unknown but fixed values
Bavesian method Learning or Maximum u Poerteriori Estimation.
• Parameters are random variables that have their distributions§5.1 Parametric Estimation
5
A conmion assumption ・ Gaussian e = (nQ
/ \ ' --------------------- " -------- ?
第四章 描述量选择及特征的组合优化
这一章要讨论的问题与前几章有所不同。前两章主要讨论模式识别的重要概念，如贝叶斯分类器、线性分类器与非线性分类器等。
在讨论这些设计分类器的方法时，提到有一个样本集，样本集中的样本用一个已经确定的向量来描述，这也就是说对要分类的样本怎样描述这个问题是已经确定的。
例如对苹果与梨的划分，我们使用尺寸、重量和颜色三种度量来描述。这种度量方法是已经确定好的。在这种条件下研究用线性分类器好还是非线性分类器好，以及这些分类器的其它设计问题。
这一章要讨论的问题是对已有的特征空间进行改造,着重于研究对样本究竟用什么样的度量方法更好。譬如上面提到的对苹果与梨用三种度量来描述。那么是否运用这三种度量是最有效的呢？譬如颜色这一个指标对区分红香蕉苹果与梨很有效。因为前者是红色，后者是黄色，用这个指标上的差异很容易将红香蕉苹果与梨区分开。但是如用颜色区分黄香蕉苹果与梨恐怕就会困难得多。换句话说在这种情况下，这个指标就不很有效了。
可见对分类器设计来说，使用什么样的特征描述事物，也就是说使用什么样的特征空间是个很重要的问题。这个问题称之为描述量的选择问题，意思是指保留哪些描述量，删除哪些描述量的问题。
但对特征进行删选并不是唯一的方法，这种方法也不一定很有效，因此本章还要研究其它方面，由于对特征空间进行改造目的在于提高其某方面的性能，因此又称特征的优化问题。
对特征空间的改造、优化、主要的目的是降维，即把维数高的特征空间改成维数低的特征空间，降维主要有两种途径：
一种是删选掉一些次要的特征，问题在于如何确定特征的重要性，以及如何删选。
另一种方法是使用变换的手段，在这里主要限定在线性变换的方法上，通过变换来实现降维，这两种方法的区分要弄清楚。
学习目的
1．了解特征空间的选择在设计模式识别系统，解决模式识别具体问题中是至关重要的。
2．了解描述量选择，特征组合优化的两种基本方法，一是对原特征空间进行删选，另一种是通过变换改造原特征空间。
1. 贝叶斯公式
2. 两分类最小错误率贝叶斯决策的四种形式（两个跟似然比有关系）
3. 最小风险贝叶斯决策
4. 两分类的最小风险贝叶斯决策，以及似然比的形式
5. 假阳性率、假阴性率、特异度、灵敏度
6. Neyman-Pearson准则是干嘛的
7. 两分类时错误率的表达式，以及平均错误率的定义
8. 推导Neyman-Pearson决策
9. Neyman-Pearson判决准则
10. 从单变量正态分布函数到多元正态分布函数（x从1维到d维）
11. 类条件概率密度为正态分布下的判别函数
12. 2Σ σiI下的判别函数（两种形式）、决策面方程
13. Σ Σi下的判别函数、决策面方程
14. 先验概率不等向什么方向移动
15. Σ Σij下的判别函数
16. 正态分布模式（协方差矩阵相等）下的对数似然比
17. 正态分布下，二分类先验概率相等，0-1损失函数，求错误率
18. 离散概率模型下的对数似然比
19. 推导离散概率模型下的判决函数
20. 极大似然估计的过程，PPT上P14的题目
21. 回顾正态分布的极大似然估计P16
22. 贝叶斯估计里面的条件风险和期望风险
23. 平方误差损失函数的条件下，θ的贝叶斯估计量是啥
24. 贝叶斯估计的一般步骤
25. 贝叶斯学习，N个样本与N-1个样本后验概率递推式
26. 单变量正态分布，已知方差，求均值的估计值P42
27. 了解期望最大算法（EM）P48
28. 隐马尔科夫模型里面的转移概率和发射概率
29. 估值问题的前向算法（求和）
30. 解码问题的思想，维特比方法的迭代式（找最大）
31. 概率密度函数在小区域内的估计
32. 最近邻法的错误率的范围
33. k-近邻法的思路
34. 近邻法的快速算法有哪两个
35. 顶建立结构计算法的过程
36. 剪辑近邻法的思想
37. parzen窗函数的性质以及常见parzen窗（核）函数
例5.2
function q=my8(a)
x=[0.182 0.143 0.192 0.167 0.200 0.357 0.143 0.389 0.444 0.333 0.143 0.318
0.227 0.214 0.231 0.222 0.233 0.286 0.214 0.389 0.444 0.286 0.214 0.273
0.273 0.286 0.270 0.278 0.267 0.214 0.286 0.191 0.112 0.238 0.286 0.227
0.318 0.357 0.307 0.333 0.300 0.143 0.357 0.031 0.000 0.143 0.357 0.182];
[m,n]=size(x);a1=max(x);b=min(x);
for i=1:m %归一化处理，其中第6、9个指标为越小越优
for j=1:n
if j==6||j==9,x1(i,j)=(a1(j)-x(i,j))/(a1(j)-b(j));else,x1(i,j)=(x(i,j)-b(j))/(a1(j)-b(j));end
end
end
for i=1:m %求z序列
z(i)=0;for j=1:n,z(i)=z(i)+a(j)*x1(i,j);end
end
s=std(z); %求SZ
for i=1:m %求r
for j=1:m,r(i,j)=abs(z(i)-z(j));end
end
r_max=max(max(r));R=r_max+n/2; %求窗口R
d=0;
for i=1:m %求DZ
for j=1:m;if R-r(i,j)>=0,d=d+(R-r(i,j));else,d=d;end;end
