Chapter 5
Estimation and
Learning2
Outline
■ Parametric Estimation
Maximum Likelihood Estimation Unbiased Estimates
Bayes Estimation
■ Non-Parametric Estimation
Histogram Estimation
Parzen Window Estimation A^Neares十・ Neighbour
EstimationEstimation
3
a. Parameter estimation - assume a known form for the p.d.f. and
estimate the necessary parameters (mean and variance for normal
b. Density estimation ・ estimate the non-parametric pdf Js from the
given samples.§5.1 Parametric Estimation
4
Maximum Likelihood method
• Parameters are viewed as unknown but fixed values
Bavesian method Learning or Maximum u Poerteriori Estimation.
• Parameters are random variables that have their distributions§5.1 Parametric Estimation
5
A conmion assumption ・ Gaussian e = (nQ
/ \ ' --------------------- " -------- ?
《模式识别》课程教学大纲
课程名称： 模式识别/Pattern Recognition
课程编号：Y08030D
开课单位：理学院
课程学时：36
课程学分：2
学生层次：硕士研究生
授课方式：讲授
适用专业：应用数学
课程性质：选修课
考试方式：考查
教学大纲撰写人：魏明果
预修课程：概率论，图象处理
一、 教学目标与要求
《模式识别》是以图象处理技术为基础，研究计算机识别物体的机理，该课程的学习将为计算机视觉以及人工智能等学科的学习打下基础。本课程主要介绍模式识别的基本概念、基本原理、典型方法、实用技术以及有关研究的新成果，其目的是使学生掌握模式识别的基本概念和基本原理，了解模式识别的具体应用、存在的问题和发展前景。
二、 课程主要内容：
（一）统计模式识别
（二）句法模式识别
（三）模糊模式识别
其中统计模式识别又分为：
（1） 用似然函数进行模式识别；
（2） 用距离函数机型模式识别；
（3） 特征选择；
句法模式识别又分为：
（1） 串文法的表达与分类；
（2） 句法识别；
（3） 文法推断。
课程的教学内容和基本要求
第1章 引论 2
1.1 模式识别概况
1.2 模式识别应用举例
1.3 模式识别方法
第2章 数学基础 2
2.1 多元正态
2.2 随机变量的线性变换
统计模式识别
第3章 用似然函数进行模式识别 8
3.1 几钟统计决策规则
3.2 错误率 3.3 参数估计
第4章 用距离函数进行模式识别 6
4.1最小距离分类法
4.2 相似性度量和集群规则
4.3 系统聚类
4.4 动态聚类
第5章 特征选择 6
5.1 维数问题和类内距离
5.2 聚类变换
5.3 K_L变换
5.4 分散度
句法模式识别
第6章 句法模式识别 20
6.1串文法的表达与分类
6.2 句法识别
6.3 文法推断
6.4 混合模式识别
模糊模式识别 6
第7章 模糊模式识别
《模式识别》教学大纲
一、课程基本信息
中文名称 模式识别 英文名称 Pattern Recognition
适用专业 信息工程、计算机科学与技术 先修课程 数据结构、数字信号处理、概率论与数理统计
课程类别 专业拓展课 修读性质 限选
学分/学时 2学分/34学时 考核方式 考查
二、教学目标
本课程教学目标：本课程是信息工程专业的一门专业拓展课。通过该课程的学习，学生能够掌握模式识别的基本理论和主要方法，并且能掌握在大量的模式样本中获取有用信息的原理和算法。通过课堂与课外练习，学会编写模式识别的算法程序，达到理论和实践相结合的目的，使学生了解模式识别的应用领域并能在解决实际问题时得到有效地运用，同时为开发研究新的模式识别的理论和方法打下基础。
三、教学内容及基本要求
第一章 绪论（4学时）
（一）教学目标
1. 了解人工智能与模式识别的发展历史与现状；
2. 掌握模式识别和模式的概念，模式的描述方法；
3. 熟悉模式识别系统的组成以及各部分的功能，掌握模式识别的过程。
（二）重点、难点
重点：模式识别和模式的概念，模式识别系统的组成以及各部分的功能；
难点：模式识别系统的组成以及各部分的功能。
（三）教学方法
本章以课堂教学为主，结合已经存在的资料来介绍该课程的核心内容。
（四）教学内容
1. 模式和模式识别；
2. 模式的分类；
3. 模式识别系统的基本构成；
4. 模式识别方法及其分类；
5. 模式识别举例。
第二章 统计模式识别中的几何方法（6学时）
（一）教学目标
1. 了解统计分类的基本思想；
2. 掌握模式的相似性度量和最小距离分类器；
3. 掌握线性与非线性可分情况下的几何分类法；
4. 了解非线性可分情况下的几何分类法与最优分类超平面。
（二）重点、难点 重点：模式的相似性度量和最小距离分类器，线性与非线性可分情况下的几何分类法；
难点：模式的相似性度量和最小距离分类器，非线性可分情况下的几何分类法与最优分类超平面。
1. 贝叶斯公式
2. 两分类最小错误率贝叶斯决策的四种形式（两个跟似然比有关系）
3. 最小风险贝叶斯决策
4. 两分类的最小风险贝叶斯决策，以及似然比的形式
5. 假阳性率、假阴性率、特异度、灵敏度
6. Neyman-Pearson准则是干嘛的
7. 两分类时错误率的表达式，以及平均错误率的定义
8. 推导Neyman-Pearson决策
9. Neyman-Pearson判决准则
10. 从单变量正态分布函数到多元正态分布函数（x从1维到d维）
11. 类条件概率密度为正态分布下的判别函数
12. 2Σ σiI下的判别函数（两种形式）、决策面方程
13. Σ Σi下的判别函数、决策面方程
14. 先验概率不等向什么方向移动
15. Σ Σij下的判别函数
16. 正态分布模式（协方差矩阵相等）下的对数似然比
17. 正态分布下，二分类先验概率相等，0-1损失函数，求错误率
18. 离散概率模型下的对数似然比
19. 推导离散概率模型下的判决函数
20. 极大似然估计的过程，PPT上P14的题目
21. 回顾正态分布的极大似然估计P16
22. 贝叶斯估计里面的条件风险和期望风险
23. 平方误差损失函数的条件下，θ的贝叶斯估计量是啥
24. 贝叶斯估计的一般步骤
25. 贝叶斯学习，N个样本与N-1个样本后验概率递推式
26. 单变量正态分布，已知方差，求均值的估计值P42
27. 了解期望最大算法（EM）P48
28. 隐马尔科夫模型里面的转移概率和发射概率
29. 估值问题的前向算法（求和）
30. 解码问题的思想，维特比方法的迭代式（找最大）
31. 概率密度函数在小区域内的估计
32. 最近邻法的错误率的范围
33. k-近邻法的思路
34. 近邻法的快速算法有哪两个
35. 顶建立结构计算法的过程
36. 剪辑近邻法的思想
37. parzen窗函数的性质以及常见parzen窗（核）函数
