第6章 句法模式识别习题解答
6.1 用链码法描述5～9五个数字。
解：用弗利曼链码表示，基元如解图6.1所示：
数字5~9的折线化和量化结果如解图6.2所示：
各数字的链码表示分别为：
“5”的链码表示为434446600765=x ； “6”的链码表示为3444456667012=x ； “7”的链码表示为00066666=x ； “8”的链码表示为21013457076543=x ； “9”的链码表示为5445432107666=x 。
1
7
解图6.1 弗利曼链码基元 解图6.2 数字5~9的折线化和量化结果
6.2 定义所需基本基元，用PDL 法描述印刷体英文大写斜体字母“H ”、“K ”和
“Z ”。 解：设基元为：
用PDL 法得到“H ”的链描述为)))))(~((((d d c d d x H ?+?+=；
“K ”的链描述为))((b a d d x K ??+=； “Z ”的链描述为))((c c g x Z ?-=。
6.3 设有文法),,,(S P V V G T N =，N V ，T V 和P 分别为
},,{B A S V N =，},{b a V T =
：P ①aB S →，②bA S →，③a A →，④aS A →
⑤bAA A →，⑥b B →，⑦bS B →，⑧aBB B → 写出三个属于)(G L 的句子。 解：
以上句子ab ，abba ，abab ，ba ，baab ，baba 均属于)(G L 。
6.4 设有文法),,,(S P V V G T N =，其中},,,{C B A S V N =，}1,0{=T V ，P 的各
生成式为
①A S 0→，②B S 1→，③C S 1→
b
c
a
d
e
abba abbA abS aB S ???? ① ⑦ ② ③
ab aB S ?? ① ⑥
ba bA S ??
② ③ abab abaB abS aB S ???? ① ⑦ ① ⑥
baab baaB baS bA S ???? ② ④ ① ⑥
baba babA baS bA S ????
② ④ ② ③
④A A 0→，⑤B A 1→，⑥1→A ⑦0→B ，⑧B B 0→，⑨C C 0→，⑩1→C
问00100=x 是否属于语言)(G L ？ 解：由
可知00100=x 属于语言)(G L 。
6.5 写出能产生图示树的扩展树文法，设基元a ，b 分别为“→”和“↓”，它
所描述的模式是什么？
解：1. 写出生成树的扩展树文法生成式集：
2. 检查非终止符的等价性。
a
$
b
a
b
b
a
b
001000010001000?????B B A A S
① ④ ⑤ ⑧ ⑦
⑴$A →1
4
A 2
A 3
⑵a A →2
⑶a A →3
⑸b A →5
9
A 6
A 5
⑷b A →4
⑿a A →12
(6)a A →6
A 7
A 8
⑺a A →7
⑻a A →8
⑼b A →9
A 10
⑽b A →10
A 11
⑾a A →11
A 12
查得1172A A A ≡≡。删除7A 和11A 及其后代生成式，其余生成式中的7A 和
11A 用2A 代替，合并后得到
3. 建立起始产生式。将⑴中的1A 用S 代替得到：
设推断的扩展树文法为),,,(S P r V G t ='，由以上推断得：
T N V V V =，},,,,,,,{10965432A A A A A A A S V N =，},,{b a $V T =
2)(=$r ，}0,1{)(=a r ，}1,2{)(=b r
P 的各生成式为
当基元a ，b 分别为“→”和“↓”时， 它所描述的模式如解图6.3所示：
a a
b b b b
a a
a a
a
$ $S →
4
A 2
⑸b A →5
9
A 6
A 5
⑷b A →4
(6)a A →6
A 2
⑼b A →9
A 10
⑽b A →10
A 2
⑴$A →1
4
A 2
A 3
⑵a A →2
⑶a A →3
⑸b A →5
9
A 6
A 5
⑷b A →4
(6)a A →6
A 2
⑼b A →9
A 10
⑽b A →10
A 2
⑴$S →
4
A 2
A 3
⑵a A →2
⑶a A →3
解图6.3 描述的模式
6.6 已知)(G L 的正样本集}0010,111,100,01{=+R ，试推断出余码文法c G 。 解：设余码文法为),,,(S P V V G T N c =。 (1) 由+R 得c G 的终止符集}1,0{=T V 。
(2) 求+R 的全部余码，组成非终止符集N V 。+R 的全部余码为
}0010,111,100,01{=+R D λ，}010,1{0=+R D ，}11,00{1=+R D
}{01λ=+R D ，}0{10=+R D ，}1{11=+R D ，}10{00=+R D }{100λ=+R D ，}{111λ=+R D ， }0{001=+R D ，}{0010λ=+R D
等号右边相同的合并，非空余码标以符号组成非终止符集N V ：
}0010,111,100,01{==+R D S λ，}010,1{01==+R D U ，}11,00{12==+R D U
}0{103==+R D U ，}1{114==+R D U ，}10{005==+R D U
所以},,,,,{54321U U U U U S V N =。 (3) 建立生成式集P 。
由10}010,1{U S D ==，有生成式10U S →； 由510}10{U U D ==，有生成式510U U →； 由320}0{U U D ==，有生成式320U U →； 由λ=30U D ，有生成式03→U ；
由21}11,00{U S D ==，有生成式21U S →； 由λ=11U D ，有生成式11→U ；
由421}1{U U D ==，有生成式421U U →； 由λ=41U D ，有生成式14→U ； 由351}0{U U D ==，有生成式351U U →； 所以余码文法),,,(S P V V G T N c =为
},,,,,{54321U U U U U S V N =，}1,0{=T V P ：10U S →，510U U →，320U U →，03→U 21U S →，11→U ，421U U →，14→U ，351U U →
6.7 设文法),,,(S P V V G T N =，其中},,{B A S V N =，}1,0{=T V ，P 的各生成式为
①1→S ，②1B S →，③B S →
④A B 1→，⑤A B B 1→，⑥0→A ，⑦0A A →
设待识别链1000=x ，试用填充树图法的顶下法分析x 是否属于)(G L ? 解：(1) 从S 开始考察P 中的①、②、③式：
若选①，则结果为x =1，排除；
若选②，导出的x 末位必为1，与题不符，排除； 选③式，如解图6.4(a)所示。
(2) 填充目标为B ，考察④、⑤均可填充，先试④，如解图6.4(b)所示。若不行，再返回用⑤式。
(3) 此时填充目标为A ，考察⑥、⑦。若选⑥，导出的x 为 2位，与题不符，排除。选⑦式，如解图6.4(c)所示。
(4) 类似地，得到图6.4所示各步结果，树叶为1000。 故x 属于)(G L 。
6.8 设上下文无关文法),,,(S P V V G T N =，},{C S V N =，}1,0{=T V ，P 中生成式的乔姆斯基范式为
CC S →，CS S →，1→S ，SC C →，CS C →，0→C
用CYK 分析法分析链01001=x 是否为该文法的合法句子。
解图6.4 填充树图过程 S
1
B
A
A
S
1
B
A
A
S
1
B
A
A
S
1
B
A
S B (a) (b) (c) (d) (e)
解：待识别链为5位，构造5行5列的三角形分析表，如解图6.5所示。
求表中元素ij t 的值：
(1) 令1=j ，求1i t ，51≤≤i 。 各子链为0，1，0，0，1。
对于01=a ，C t =11； 对于12=a ，S t =21； 对于03=a ，C t =31； 对于04=a ，C t =41。 对于15=a ，S t =41。
(2) 令2=j ，求2i t ，41≤≤i 。各子链为01，10，00，01。
对于0121=a a ，因有CS S →和CS C →，0→C ，1→S ，故S C t ,12=； 对于1032=a a ，有SC C →，1→S ，0→C ，故C t =22。 对于0043=a a ，有CC S →，0→C ，0→C ，故S t =32。
对于0154=a a ，有CS S →和CS C →，0→C ，1→S ，故S C t ,42=； (3) 令3=j ，求3i t ，31≤≤i 。各子链为010，100，001。
对于010321=a a a ，因有CC S →，
0→C ，10*?C ；和SC C →，01*
?S ， 0→C 。故S C t ,13=。
类似地有S t =23，S C t ,33=，S C t ,14=，S C t ,24=，S C t ,15=。填表结果如解图6.6所示。
解图6.5 分析表
t 14 t 13
t 12 t 11
t 23
t 22 t 21
t 32 t 31
t 41
t 15 t 51
t 42 t 33
t 24
因为S 在15t 中，所以)(G L x ∈。
6.9 已知正则文法),,,(S P V V G T N =，其中},{B S V N =，},{b a V T =，P 的各生成式为
aB S →，aB B →，bS B →，a B →
构成对应的有限态自动机，画出自动机的状态转换图。
解：设有限态自动机),,,,(0∑=F q Q A δ，由A 与G 的对应关系得
∑==},{b a V
T
},,{F B S F V Q N ==
S q =0
δ：由aB S →，有B a S =),(δ；
由aB B →，a B →有},{),(F B a B =δ；
由bS B →，有S b B =),(δ。
故有限态自动机),,,,(0∑=F q Q A δ为
∑=},{b a ，},,{F B S Q =，S q
=0
δ：B a S =),(δ，},{),(F B a B =δ，S b B =),(δ
解图6.6 CYK 分析表填表结果 C,S C,S C
S C S
S C
C
C,S S
C,S C,S C,S C,S 解图 6.7 自动机的状态转换图
6.10 已知有限态自动机),,,,(0∑=F q Q A δ，其中
∑=}1,0{，},,,{3
2
1
q q q q Q =，}{3
q
F =
A 的状态转换图如图6.15所示，求A 对应的正则文法G 。
解：设正则文法为),,,(S P V V G T N =，由G 与A 的对应关系得：
},,,{3210q q q q Q V N ==；
∑==}1,0{T V ；
0q S =；
根据状态转换图有：
P ：因}{)0,(20q q =δ，有200q q →； 因}{)1,(10q q =δ，有101q q →；
因}{)0,(31q q =δ，有310q q →；而F q ∈3，故01→q ； 因}{)1,(01q q =δ，有011q q →； 因}{)0,(02q q =δ，有020q q →；
因}{)1,(32q q =δ，有321q q →；而F q ∈3，故12→q ； 因}{)0,(13q q =δ，有130q q →； 因}{)1,(23q q =δ，有231q q →。
由此得正则文法),,,(S P V V G T N =为
},,,{3210q q q q Q V N ==，∑==}1,0{T V ，0q S =
图6.15 状态转换图
P ：200q q →，101q q →，01→q ，011q q →
020q q →，12→q ，130q q →，231q q →
6.11 已知上下文无关文法),,,(S P V V G T N =，其中
},{A S V N =，},,,{d c b a V T =
P 的各生成式为
cA S →，aAb A →，d A →
写出文法G 的格雷巴赫范式，构成相应的下推自动机。 解：文法),,,(S P V V G T N =的格雷巴赫范式为：
},,{B A S V N =，},,,{d c b a V T =
P ：cA S →，aAB A →，d A →，b B → 设相应的下推自动机为),,,,,,(00∑=F Z q ΓQ A p δ，其中
∑==},,,{d c b a V
T
，}{0q Q =
},,{B A S V ΓN ==，S Z =0，φ=F
转换规则δ：
因P 中有cA S →，故),(),,(00A q S c q =δ
因P 中有aAB A →，故),(),,(00AB q A a q =δ 因P 中有d A →，故),(),,(00λδq A d q = 因P 中有b B →，故),(),,(00λδq B b q = 即下推自动机),,,,,,(00∑=F Z q ΓQ A p δ为：
∑=},,,{d c b a ，}{0
q
Q =，},,{B A S Γ=，S Z =0，φ=F
P ：),(),,(00A q S c q =δ，),(),,(00AB q A a q =δ
),(),,(00λδq A d q =，),(),,(00λδq B b q =
《模式识别导论》教学大纲 （课程编号08824380 学分-学时 2-40） 东南大学自动化学院 一．课程的性质与目的 本课程是自动化专业高年级本科生一门专业选修课，是研究计算机模式识别的基本理论和方法、应用。本课程的教学目的是，通过对模式识别的基本理论和方法、运用实例的学习，使学生掌握模式识别的基本知识，培养学生利用模式识别方法、运用技能解决本专业及相关领域实际问题的能力。 二．课程内容的教学要求 1.掌握模式识别的概念、发展和应用，模式识别的研究方法； 2.掌握统计模式识别中Bayes决策理论的基本原理及运用； 3.掌握统计模式识别中线性判别函数的基本理论及运用； 4.熟悉概率总体估计中的参数估计方法和非参数技术估计方法； 5.掌握近邻法则和集群； 6.掌握模式特征的抽取和选择； 7.了解人工神经网络在模式识别中的应用； 8.熟悉模式识别的聚类算法。 三．能力培养要求 1.分析能力的培养：主要是对相似性度量方法、特征提取和选择方法、各种识别方法特点进行分析的能力的培养，同时也要注意培养针对具体应用选择合适的识别方法的能力的培养。 2.计算能力的培养：要求学生通过本课程的学习，具备对线性判决函数、似然比、Bayes 风险进行计算或确定计算步骤的能力和对计算结果的正确性进行判断或校核的能力；具有使用计算机进行模式识别分析和计算的能力。 3.自学能力的培养：通过本课程的教学，要培养和提高学生对所学知识进行整理、概括、消化吸收的能力，以及围绕课堂教学内容，阅读参考书籍和资料，自我扩充知识领域的能力。 4.表达能力的培养：主要是通过作业，清晰、整洁地表达自己解决问题的思路和步骤的能力。 5.创新能力的培养：培养学生独立思考、深入钻研问题的习惯，和对问题提出多种解决方案、选择不同计算方法，以及对计算进行简化和举一反三的能力。
7.朴素贝叶斯方法的条件独立假设是( P(x| 3 i) =P(x1, x2,…,xn | co i) 第一章绪论 1 ?什么是模式？具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的 2?模式识别的定义？ 让计算机来判断事物。 3?模式识别系统主要由哪些部分组成？ 数据获取一预处理一特征提取与选择一分类器设计 / 分类决策。 第二章贝叶斯决策理论 P ( W 2 ) / P ( W 1 ) _,贝V X 1. 最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后 验概率。根据后验概率大小进行决策分析。 2. 最小错误率贝叶斯分类器设计过程？ 答：根据训练数据求出先验概率 P ( W i ), > 类条件概率分布P ( X | W i ), i 1 , 2 利用贝叶斯公式得到后验概率 P (W i 1 x) 1 如果输入待测样本 X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3. 最小错误率贝叶斯决策规则有哪几种常用的表示形式? 决策规则的4- I-J 形工战< d x +) — max 爪'(vr I A *), MJ A * 匚 w. 如SI 卫(A *叫)厂)= 如果lg=上心lw) py %) 心li M/ JC ) = —1IL | /( A *)J = — hi JC | 讥.j + 111 | i r 2 ) > 尸(“空) I MJ 4 .贝叶斯决策为什么称为最小错误率贝叶斯决策？ 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了 (平均)错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5. 贝叶斯决策是 由先验概率和(类条件概率)概率，推导(后验概率)概率，然后利用这 个概率进行决策。 6. 利用乘法法则和全概率公式证明贝叶斯公式 p(AB) p(A|B)p(B) p(B|A)p(A) P (A 」B ) 答： m 所以推出贝叶斯公式 p(B) p(B|Aj)p(Aj) j 1 P(W i |x) P (x | W i ) P(W i ) 2 P(x | W j ) P (w j ) j 1 1 , 2 .信息__。 如果 I (x) P (X | W i ) P (W i ) P(X | W j )P(W j ) max />(A' | t ),则 时 P(B |A i )P(AJ P ( B ) P ( B | A i ) P ( A i ) 7M P ( B | A j ) P ( A j ) 2
一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择 和模式分类。 2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。 3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。 （1）（2） (3) (4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有（1）（2）（4）。 （1）({A, B}, {0, 1}, {A→01, A→ 0A1 , A→ 1A0 , B→BA , B→ 0}, A) （2）({A}, {0, 1}, {A→0, A→ 0A}, A) （3）({S}, {a, b}, {S → 00S, S → 11S, S → 00, S → 11}, S) （4）({A}, {0, 1}, {A→01, A→ 0A1, A→ 1A0}, A) 9、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类间距离门限、预定的 类别数目））。 10、欧式距离具有（ 1、2 ）；马式距离具有（1、2、3、4 ）。 （1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性 11、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的 正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。 12、感知器算法1。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。
2013模式识别练习题 一. 填空题 1、模式识别系统的基本构成单元包括：模式采集、特征的选择和提取和模式分类。 2、统计模式识别中描述模式的方法一般使用特征矢量；句法模式识别中模式描述方法一般有串、树、 网。 3、影响层次聚类算法结果的主要因素有计算模式距离的测度、聚类准则、类间距离阈值、预定的类别数目。 4、线性判别函数的正负和数值大小的几何意义是正负表示样本点位于判别界面法向量指向的正负半空间中， 绝对值正比于样本点与判别界面的距离。 5、感知器算法1 ，H-K算法 2 。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 6、在统计模式分类问题中，聂曼- 况；最小最大判别准则主要用于先验概率未知的情况。 7、“特征个数越多越有利于分类”这种说法正确吗？错误。 特征选择的主要目的是。一般在可 和（C n m>>n ）的条件下，可以使用分支定界法以减少计算量。 8、散度J ij越大，说明ωi类模式与ωj类模式的分布差别越大； 当ωi类模式与ωj类模式的分布相同时，J ij= 0。 二、选择题 1、影响聚类算法结果的主要因素有（B、C、D ）。 A.已知类别的样本质量； B.分类准则； C.特征选取； D.模式相似性测度 2、模式识别中，马式距离较之于欧式距离的优点是（C、D）。 A.平移不变性； B.旋转不变性；C尺度不变性；D.考虑了模式的分布 3、影响基本K-均值算法的主要因素有(ABD）。 A.样本输入顺序； B.模式相似性测度； C.聚类准则； D.初始类中心的选取 4、位势函数法的积累势函数K(x)的作用相当于Bayes判决中的（B D）。
第6章 句法模式识别习题解答 6.1 用链码法描述5～9五个数字。 解：用弗利曼链码表示，基元如解图6.1所示： 数字5~9的折线化和量化结果如解图6.2所示： 各数字的链码表示分别为： “5”的链码表示为434446600765=x ； “6”的链码表示为3444456667012=x ； “7”的链码表示为00066666=x ； “8”的链码表示为21013457076543=x ； “9”的链码表示为5445432107666=x 。 1 7 解图6.1 弗利曼链码基元 解图6.2 数字5~9的折线化和量化结果
6.2 定义所需基本基元，用PDL 法描述印刷体英文大写斜体字母“H ”、“K ”和 “Z ”。 解：设基元为： 用PDL 法得到“H ”的链描述为)))))(~((((d d c d d x H ?+?+=； “K ”的链描述为))((b a d d x K ??+=； “Z ”的链描述为))((c c g x Z ?-=。 6.3 设有文法),,,(S P V V G T N =，N V ，T V 和P 分别为 },,{B A S V N =，},{b a V T = ：P ①aB S →，②bA S →，③a A →，④aS A → ⑤bAA A →，⑥b B →，⑦bS B →，⑧aBB B → 写出三个属于)(G L 的句子。 解： 以上句子ab ，abba ，abab ，ba ，baab ，baba 均属于)(G L 。 6.4 设有文法),,,(S P V V G T N =，其中},,,{C B A S V N =，}1,0{=T V ，P 的各 生成式为 ①A S 0→，②B S 1→，③C S 1→ b c a d e abba abbA abS aB S ???? ① ⑦ ② ③ ab aB S ?? ① ⑥ ba bA S ?? ② ③ abab abaB abS aB S ???? ① ⑦ ① ⑥ baab baaB baS bA S ???? ② ④ ① ⑥ baba babA baS bA S ???? ② ④ ② ③
模式识别导论习题集 1、设一幅256×256大小的图像，如表示成向量，其维数是多少？如按行串接成一维，则第3行第4个象素在向量表示中的序号。 解：其维数为2；序号为256×2＋4＝516 2、如标准数字1在5×7的方格中表示成如图所示的黑白图像，黑为1，白为0，现若有一数字1在5×7网格中向左错了一列。试用分别计算要与标准模板之间的欧氏距离、绝对值偏差、偏差的夹角表示，异己用“异或”计算两者差异。 解：把该图像的特征向量为5×7＝35维，其中标准模版的特征向量为： x =[0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0]T 待测样本的特征向量为： y =[0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 0 0 0]T ，绝对值偏差为351 |()|14i i i x y =-=∑， 夹角余弦为cos 0|||||||| T x y x y θ= =?，因此夹角为 90度。 3、哈明距离常用来计算二进制之间的相似度，如011与010的哈明距离为1，010与100距离为3。现用来计算7位LED 编码表示的个数字之间的相似度，试计算3与其它数字中的哪个数字的哈明距离最小。 解：是“9”，距离为1
4、对一个染色体分别用一下两种方法描述： (1)计算其面积、周长、面积/周长、面积与其外接矩形面积之比可以得到一些特征描述，如何利用这四个值？属于特征向量法，还是结构表示法？ (2)按其轮廓线的形状分成几种类型，表示成a 、b 、c 等如图表示，如何利用这些量？属哪种描述方法？ (3)设想其他结构描述方法。 解： （1）这是一种特征描述方法，其中面积周长可以体现染色体大小，面积周长比值越小，说明染色体越粗，面积占外接矩形的比例也体现了染色体的粗细。把这四个值组成一个维数为4的特征向量，该特征向量可以描述染色体的一些重要特征，可以按照特征向量匹配方法计算样本间的相似度。可以区分染色体和其它圆形、椭圆细胞结构。 （2）a 形曲线表示水平方向的凹陷，b 形表示竖直方向的凹陷，c 形指两个凹陷之间的突起，把这些值从左上角开始，按顺时针方向绕一圈，可以得到一个序列描述染色体的边界。它可以很好的体现染色体的形状，用于区分X 和Y 染色体很合适。这是结构表示法。 （3）可以先提取待识别形状的骨架，在图中用蓝色表示，然后，用树形表示骨架图像。 5. 设在一维特征空间中两类样本服从正态分布，1σ=2σ=1，μ1=0，μ2=3，两类先验概率之比e P P =)(/)(21ωω，试求按基于最小错误率贝叶斯决策原则的决策分界面的x 值。 解：按照公式（2－84），分界面上的点应满足：
模式识别 复习题 1. 简单描述模式识别系统的基本构成（典型过程）？ 2. 什么是监督模式识别（学习）？什么是非监督模式识别（学习）？ 对一副道路图像，希望把道路部分划分出来，可以采用以下两种方法： (1). 在该图像中分别在道路部分与非道路部分画出一个窗口，把在这两个窗口中的象素数据作为训练集，用某种判别准则求得分类器参数，再用该分类器对整幅图进行分类。 (2)．将整幅图的每个象素的属性记录在一张数据表中，然后用某种方法将这些数据按它们的自然分布状况划分成两类。因此每个象素就分别得到相应的类别号，从而实现了道路图像的分割。 试问以上两种方法哪一种是监督学习，哪个是非监督学习？ 3. 给出一个模式识别的例子。 4. 应用贝叶斯决策的条件是什么？列出几种常用的贝叶斯决策规 则，并简单说明其规则. 5. 分别写出在以下两种情况：（1）12(|)(|)P x P x ωω=；（2）12()() P P ωω=下的最小错误率贝叶斯决策规则。 6. （教材P17 例2.1） 7. （教材P20 例2.2），并说明一下最小风险贝叶斯决策和最小错误 率贝叶斯决策的关系。 8. 设在一维特征空间中有两类服从正态分布的样本， 12122,1,3,σσμμ====两类先验概率之比12(),() P e P ωω= 试确定按照最小错误率贝叶斯决策规则的决策分界面的x 值。
9. 设12{,,...,}N x x x =X 为来自点二项分布的样本集，即 1(,),0,1,01,1x x f x P P Q x P Q P -==≤≤=-，试求参数P 的最大似然估 计量?P 。 10. 假设损失函数为二次函数2??(,)()P P P P λ=-，P 的先验密度为均匀分布，即()1,01f P P =≤≤。在这样的假设条件下，求上题中的贝叶 斯估计量?P 。 11. 设12{,,...,}N x x x =X 为来自(|)p x θ的随机样本，其中0x θ≤≤时， 1 (|)p x θθ=，否则为0。证明θ的最大似然估计是max k k x 。 12. 考虑一维正态分布的参数估计。设样本（一维）12,,...,N x x x 都是由 独立的抽样试验采集的，且概率密度函数服从正态分布，其均值μ和方差2σ未知。求均值和方差的最大似然估计。 13. 设一维样本12{,,...,}N x x x =X 是取自正态分布2(,)N μσ的样本集，其中 均值μ为未知的参数，方差2σ已知。未知参数μ是随机变量，它的先验分布也是正态分布200(,)N μσ，200,μσ为已知。求μ的贝叶斯估计 ?μ 。 14. 什么是概率密度函数的参数估计和非参数估计？分别列去两种 参数估计方法和非参数估计方法。 15. 最大似然估计和Parzen 窗法的基本原理？
科技学院 火电厂自动化专题论述报告 名称：《模式识别专题》 院系：动力工程系 班级：自动化12 学号： 学生姓名： 指导教师： 成绩： 日期：2016年1月15日
一、前言 模式识别（英语：Pattern Recognition），就是通过计算机用数学技术方法来研究模式的自动处理和判读。我们把环境与客体统称为“模式”。随着计算机技术的发展，人类有可能研究复杂的信息处理过程。信息处理过程的一个重要形式是生命体对环境及客体的识别。对人类来说，特别重要的是对光学信息（通过视觉器官来获得）和声学信息（通过听觉器官来获得）的识别。这是模式识别的两个重要方面。市场上可见到的代表性产品有光学字符识别、语音识别系统。 模式识别是人类的一项基本智能，在日常生活中，人们经常在进行“模式识别”。随 着20世纪40年代计算机的出现以及50年代人工智能的兴起，人们当然也希望能用计算机来代替或扩展人类的部分脑力劳动。(计算机)模式识别在20世纪60年代初迅速发展并成为一门新学科。 模式识别是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进 行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分 二、正文 1、模式识别定义 人们在观察事物或现象的时候，常常要寻找它与其他事物或现象的不同之处，并根据 一定的目的把各个相似的但又不完全相同的事物或现象组成一类。字符识别就是一个典型的例子。例如数字“4”可以有各种写法，但都属于同一类别。更为重要的是，即使对于某种写法的“4”，以前虽未见过，也能把它分到“4”所属的这一类别。人脑的这种思维能力就构成了“模式”的概念。在上述例子中，模式和集合的概念是分未弄的，只要认识这个集合中的有限数量的事物或现象，就可以识别属于这个集合的任意多的事物或现象。为了强调从一些个别的事物或现象推断出事物或现象的总体，我们把这样一些个别的事物或现象叫作各个模式。也有的学者认为应该把整个的类别叫作模去，这样的“模式”是一种抽象化的概念，如“房屋”等都是“模式”，而把具体的对象，如人民大会堂，叫作“房屋”这类模式中的一个样本。这种名词上的不同含义是容易从上下文中弄淸楚的。 2、发展简史 早期的模式识别研究着重在数学方法上。20世纪50年代末，F．罗森布拉特提出了一种简化的模拟人脑进行识别的数学模型——感知器，初步实现了通过给定类别的各个样本对识别系统进行训练，使系统在学习完毕后具有对其他未知类别的模式进行正确分类的能力。1957年，周绍康提出用统计决策理论方法求解模式识别问题，促进了从50年代末开始的模式识别研究工作的迅速发展。1962年，R．纳拉西曼提出了一种基于基元关系的句法识别方法。付京孙(K．S． Fu）在笮的理论及应用两方^行了系统的卓有成效的研究，并于1974
第一章 绪论 1.什么是模式？具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的___信息__。 2.模式识别的定义？让计算机来判断事物。 3.模式识别系统主要由哪些部分组成？数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。 第二章 贝叶斯决策理论 1.最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后验概率。根据后验概率大小进行决策分析。 2.最小错误率贝叶斯分类器设计过程？ 答：根据训练数据求出先验概率 类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式？ 答 ： ???∈>=<2 1 1221_,)(/)(_)|() |()(w w x w p w p w x p w x p x l 则如果∑==2 1 ) ()|() ()|()|(j j j i i i w P w x P w P w x P x w P 2 ,1),(=i w P i 2 ,1),|(=i w x p i ∑== 21 ) ()|() ()|()|(j j j i i i w P w x P w P w x P x w P
4.贝叶斯决策为什么称为最小错误率贝叶斯决策？ 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。 6.利用乘法法则和全概率公式证明贝叶斯公式 答： ∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1 ) ()|()() ()|()()|()(所以推出贝叶斯公式 7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi)） 8.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？ 答：假设各属性独立，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi) 后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi) 类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。 ∑== = M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1 ) ()| () ()|() () ()|()|(
1.简述模式的概念及其直观特性，模式识别的分类，有哪几种方法。（6’） 答（1）：什么是模式？广义地说，存在于时间和空间中可观察的物体，如果我们可以区别它们是否相同或是否相似，都可以称之为模式。 模式所指的不是事物本身，而是从事物获得的信息，因此，模式往往表现为具有时间和空间分布的信息。 模式的直观特性：可观察性；可区分性；相似性。 答（2）：模式识别的分类： 假说的两种获得方法（模式识别进行学习的两种方法）： ●监督学习、概念驱动或归纳假说； ●非监督学习、数据驱动或演绎假说。 模式分类的主要方法： ●数据聚类：用某种相似性度量的方法将原始数据组织成有意义的和有用的各种数据 集。是一种非监督学习的方法，解决方案是数据驱动的。 ●统计分类：基于概率统计模型得到各类别的特征向量的分布，以取得分类的方法。 特征向量分布的获得是基于一个类别已知的训练样本集。是一种监督分类的方法， 分类器是概念驱动的。 ●结构模式识别：该方法通过考虑识别对象的各部分之间的联系来达到识别分类的目 的。（句法模式识别） ●神经网络：由一系列互相联系的、相同的单元（神经元）组成。相互间的联系可以 在不同的神经元之间传递增强或抑制信号。增强或抑制是通过调整神经元相互间联 系的权重系数来（weight）实现。神经网络可以实现监督和非监督学习条件下的分 类。 2.什么是神经网络？有什么主要特点？选择神经网络模式应该考虑什么因素？ （8’） 答（1）：所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处 理系统（计算机）。由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 人工神经网络的两种操作过程：训练学习、正常操作（回忆操作）。 答（2）：人工神经网络的特点： ●固有的并行结构和并行处理； ●知识的分布存储； ●有较强的容错性； ●有一定的自适应性； 人工神经网络的局限性： ●人工神经网络不适于高精度的计算； ●人工神经网络不适于做类似顺序计数的工作； ●人工神经网络的学习和训练往往是一个艰难的过程； ●人工神经网络必须克服时间域顺序处理方面的困难； ●硬件限制； ●正确的训练数据的收集。 答（3）：选取人工神经网络模型，要基于应用的要求和人工神经网络模型的能力间的 匹配，主要考虑因素包括：
《模式识别导论》课程教学大纲 一、课程基本信息 课程编号：04010290 课程中文名称：模式识别导论 课程英文名称：Introduction of Pattern Recognition 课程性质：专业任意选修课 考核方式：考查 开课专业：自动化、探测制导与控制技术 开课学期：7 总学时：24 （其中理论24学时，实验0学时） 总学分：1.5 二、课程目的和任务 通过本课程的学习，使学生了解当前模式识别理论的发展现状，初步掌握模式识别的基本方法，使学生对模式、模式识别等基本概念有明确地认识，具有实用统计模式识别完成模式分类的能力。 三、教学基本要求（含素质教育与创新能力培养的要求） 1、掌握模式、模式识别的含义； 2、掌握基于Bayes决策理论的模式分类方法； 3、掌握线性分类的基本方法； 4、掌握近邻法； 5、了解聚类分析的基本方法； 6、了解特征提取的基本方法。 四、教学内容与学时分配 第一章绪论（2学时） 模式和模式识别；模式识别的发展和应用；模式识别的研究方法。 第二章Bayes决策理论（4学时）
最小错误率的Bayes决策；最小风险的Bayes决策；Bayes分类器和判别函数；正态分布模式的Bayes分类器；均值向量和协方差矩阵的估计。 第三章线性判决函数（4学时） 线性判决函数和决策面；最小距离分类器；感知机准则函数；平方误差准则函数；多类模式的线性分类器。 第四章非线性判决函数（4学时） 分段线性判别函数；近邻法；K－近邻法；快速近邻法。 第五章聚类分析（4学时） 模式相似性测度和聚类准则；分级聚类法；C—均值算法。 第六章特征提取（6学时） 类别可分性准则；特征选择；基于距离的特征提取；基于K-L变换的特征提取。五、教学方法及手段（含现代化教学手段） 课堂讲授、专题讨论。 六、实验（或）上机内容 无 七、前续课程、后续课程 前续课程：概率论与数理统计、线性代数 后续课程：无 八、教材及主要参考资料 教材： [1] 黄凤岗，宋克欧. 模式识别[M]. 哈尔滨：哈尔滨工程大学出版社，1998. 主要参考资料： [1] 杨光正等. 模式识别[M].合肥：中国科技大学出版社，2000. [2] 边肇祺，张学工. 模式识别[M].北京：清华大学出版社，2000. 撰写人签字：院（系）教学院长（主任）签字：
第十讲 句法模式识别 一、 基本概念 1、结构模式识别： 有一些模式识别任务，不能在特征空间中用统计模式识别的方法得到解决。 汉字的识别：汉字有偏旁部首、笔划构成 字符的识别：字符的字体不影响识别 语言的识别：语言由音节、字、词构成 图像识别：画面分割，目标识别 生物识别：基因序列，染色体结构，心电图分类 定义： 以结构基元为基础，利用模式的结构信息完成分类的过程，称为“结构模式识别”。 其中“基元”指构成模式结构信息的基本单元，本身不包含有意义的结构信息。 基元的选取与应用有关： 文字：笔划或偏旁部首作为基元 语音：音素作为基元 心电图：收缩波和扩张波作为基元 图形：边缘线段、角点都可作为基元 讨论： 结构模式识别是与统计模式识别完全不同的一大类模式识别问题，一个基于结构信息，一个基于特征值 结构模式识别不仅能完成分类，还可以得到每个模式的结构性质 结构模式识别的依据是模式间结构上的“相似性”，这种相似度的度量不能用一般特征空间中的距离来表示 结构模式识别可以采用句法方法、拓扑分析方法、图论方法等多种方法 基元提取和分类器训练上的困难使得结构模式识别方法仍未成熟 结构模式识别系统的模式信息通常来源于图像、音频等多媒体信息源 2、句法模式识别 （1）句法模式识别的定义： 句法模式识别是利用模式的结构信息，以形式语言理论为基础来进行结构模 a c c b b b d d d c c c b b b d d a b c d 轮廓基元
式识别的方法。 傅京荪（1930-1985） 美国工程院院士、Purdue大学讲座教授、台湾 中央研究院院士，国际模式识别协会(International Association for Pattern Recognition:IAPR)创始人和 首任主席，上世纪60年代提出句法模式识别。 （2）句法和文法： 句法 句法来源于语言学，是指由字（词）构成句子的方式，也就是一个 句子组成的规则。 句法具有递归性，可以重复组合使用，用简单的规则可以表达复杂 的结构。 可以用句法来表达结构模式识别中基元间的结构关系。 文法 文法是指一类相似的句子的共同句法规则。 可以用文法来表示一类样本的共同特点。 对某个具体的句子进行句法分析，判别与某类的文法是否相似，可 以实现模式识别。 （3）形式语言： 形式语言是自然语言的抽象，是用一组明确的数学规则描述的语言，是语言的“数学化”，它由按一定规律构成的句子或符号串的有限或无限的集合组成。 乔姆斯基（Noam Chomsky, 1928--） 美国语言学家，麻省理工学院語言学与哲学 系荣誉退休教授，曾任该系主任，并任该校认 知科学研究中心主任。1957年出版了《句法结 构》一书，提出了形式语言理论，其最初目的 是为了研究人类语言抽象和通用的结构规则，后 来在计算机编程语言、自动机理论、模式识别等 方面都得到了广泛的验证和应用。在1980年到1 992年，乔姆斯基是被文献引用数最多的健在学 者，并是有史以来被引用数第八多的学者。 3、句法模式识别系统的组成
模式识别导论基础实验(2) 实验二 1、利用matlab程序完成课本P38页中，学生身高体重数据的均值、方差以及相关系数的计算。设学生身高体重数据为data=[1.71.75 1.651.801.781.601.551.601.651.70;65706065706045455055] (1)计算身高与体重的均值向量 (2)计算身高与体重的方差向量 (3)计算身高与体重的协方差矩阵 (4)计算身高与体重的相关系数矩阵 (5)利用PCA主成分分析的方法，计算出由身高体重构成的二维特征空间的特征值和特征向量，并指出哪个特征向量的方向是第一主分量方向（提示，可借鉴期中测试中的PCA代码和步骤，按照标准化、求协方差矩阵、PCA主成分分解的顺序依次完成） 2、找到上题中身高最矮的那位同学的编号，计算在身高和体重所构成的二维特征空间中，该同学与均值数据之间的各项距离（此题的第(2)、(3)问要求利用matlab和Octave两种软件分别使用不同的语句编程，并分别截图分析） (1)找到10位同学中身高最矮的那位同学的编号 (2)计算该同学与均值数据之间的欧式距离（matlab和Octave） (3)计算该同学与均值数据之间的马氏距离（matlab和Octave） (4)计算该同学与均值数据之间的夹角余弦距离
3、假设手写数字的每类样品均服从正态分布，请按照课本“基于最小错误率的贝叶斯分类实现”（P79页4.6节）中的介绍，完成下列内容： (1)利用教材所提供的手写数字分类软件（该软件在matlab2010版本下可用），在数字输入区手写一个数字1，通过matlab程序读取该数字的编码信息并以列向量形式保存在变量a中； (2)针对用户手写的数字1，运行函数bayesleasterror(a')，验证实验结果与预期是否吻合； (3)熟悉P80-81页的“基于最小错误率贝叶斯分类”的实现步骤，假设每类样品均服从正态分布，写出判别函数h i(X)的表达式，要求在实验报告中写出关键matlab代码并添加注释。 4、理解课本P95-99页中奖惩算法在两类和多类情况下的表达式，仿照P96页的“实例说明”利用感知器算法对两类模式求判别函数。 (1)设该模式线性可分为两个类，每类中有两个样品，四个样品的具体分布情况为ω1：{(0,0)，(0,1)},ω2:{(1,0)，(1,1)},试写出样品的增广形式 (2)手工写出迭代的计算过程，并求出最后的判别函数结果 (3)用matlab代码实现上述计算过程（此步骤不做要求，作为思考题由同学们自己完成，可以不写在实验报告中）
1、PCA和LDA的区别？ PCA是一种无监督的映射方法，LDA是一种有监督的映射方法。PCA只是将整组数据映射到最方便表示这组数据的坐标轴上，映射时没有利用任何数据部的分类信息。因此，虽然做了PCA后，整组数据在表示上更加方便（降低了维数并将信息损失降到了最低），但在分类上也许会变得更加困难；LDA在增加了分类信息之后，将输入映射到了另外一个坐标轴上，有了这样一个映射，数据之间就变得更易区分了（在低纬上就可以区分，减少了很大的运算量），它的目标是使得类别的点距离越近越好，类别间的点越远越好。 2、最大似然估计和贝叶斯方法的区别？p(x|X)是概率密度函数，X是给定的训练样本的集合，在哪种情况下，贝叶斯估计接近最大似然估计？ 最大似然估计把待估的参数看做是确定性的量，只是其取值未知。利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值(模型已知，参数未知）。贝叶斯估计则是把待估计的参数看成是符合某种先验概率分布的随机变量。对样本进行观测的过程，把先验概率密度转化为后验概率密度，利用样本的信息修正了对参数的初始估计值。 当训练样本数量趋于无穷的时候，贝叶斯方法将接近最大似然估计。如果有非常多的训练样本，使得p(x|X)形成一个非常显著的尖峰，而先验概率p(x)又是均匀分布，此时两者的本质是相同的。 3、为什么模拟退火能够逃脱局部极小值？ 在解空间随机搜索，遇到较优解就接受，遇到较差解就按一定的概率决定是否接受，这个概率随时间的变化而降低。实际上模拟退火算法也是贪心算法，只不过它在这个基础上增加了随机因素。这个随机因素就是：以一定的概率来接受一个比单前解要差的解。通过这个随机因素使得算法有可能跳出这个局部最优解。 4、最小错误率和最小贝叶斯风险之间的关系？ 基于最小风险的贝叶斯决策就是基于最小错误率的贝叶斯决策，换言之，可以把基于最小错误率决策看做是基于最小风险决策的一个特例，基于最小风险决策本质上就是对基于最小错误率公式的加权处理。 5、SOM的主要功能是什么？怎么实现的？是winner-all-take-all 策略吗？ SOM是一种可以用于聚类的神经网络模型。 自组织映射（SOM）或自组织特征映射（SOFM）是一种使用非监督式学习来产生训练样本的输入空间的一个低维（通常是二维）离散化的表示的人工神经网络（ANN）。自组织映射与其他人工神经网络的不同之处在于它使用一个邻近函数来保持输入控件的拓扑性质。SOM网络中, 某个输出结点能对某一类模式作出特别的反应以代表该模式类, 输出层上相邻的结点能对实际模式分布中相近的模式类作出特别的反映,当某类数据模式输入时, 对某一输出结点产生最大刺激( 获胜结点) , 同时对获胜结点周围的一些结点产生较大刺激。在训练的过程中, 不断对获胜结点的连接权值作调整, 同时对获胜结点的邻域结点的连接权值作调整; 随着训练的进行, 这个邻域围不断缩小, 直到最后, 只对获胜结点进行细微的连接权值调整。 不是winner-all-take-all 策略。获胜结点产生刺激，其周围的结点也会产生一定程度的兴奋。 6、期望算法需要哪两步？请列出可能的公式并做必要的解释。 E-Step和M-Step。E-Step叫做期望化步骤，M-Step为最大化步骤。 整体算法的步骤如下所示： 1、初始化分布参数。 2、(E-Step)计算期望E，利用对隐藏变量的现有估计值，计算其最大似然估计值，以此实现期望化的过程。 3、(M-Step)最大化在E-步骤上的最大似然估计值来计算参数的值
《模式识别》试题库 一、基本概念题 1.1 模式识别的三大核心问题是： 、 。 1.2、模式分布为团状时，选用 聚类算法较好。 1.3 欧式距离具有 。 马式距离具有 。 （1）平移不变性 （2）旋转不变性 （3）尺度缩放不变性 （4）不受量纲影响的特性 1.4 描述模式相似的测度有： 。 （1）距离测度 （2）模糊测度 （3）相似测度 （4）匹配测度 1.5 利用两类方法处理多类问题的技术途径有：（1） ；（2） ； （3） 。其中最常用的是第 个技术途径。 1.6 判别函数的正负和数值大小在分类中的意义是： ， 。 1.7 感知器算法 。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。 1.8 积累位势函数法的判别界面一般为 。 （1）线性界面；（2）非线性界面。 1.9 基于距离的类别可分性判据有： 。 （1）1[]w B Tr S S - （2） B W S S （3）B W B S S S + 1.10 作为统计判别问题的模式分类，在（ ）情况下，可使用聂曼-皮尔逊判决准则。
1.11 确定性模式非线形分类的势函数法中，位势函数K(x,x k )与积累位势函数K(x)的关系为（ ）。 1.12 用作确定性模式非线形分类的势函数法，通常，两个n 维向量x 和x k 的函数K(x,x k )若同时满足下列三个条件，都可作为势函数。 ①（ ）； ②（ ）； ③ K(x,x k )是光滑函数，且是x 和x k 之间距离的单调下降函数。 1.13 散度J ij 越大，说明ωi 类模式与ωj 类模式的分布（ ）。当ωi 类模式与ωj 类模式的分布相同时，J ij =（ ）。 1.14 若用Parzen 窗法估计模式的类概率密度函数，窗口尺寸h1过小可能产生的问题是（ ），h1过大可能产生的问题是（ ）。 1.15 信息熵可以作为一种可分性判据的原因 是： 。 1.16作为统计判别问题的模式分类，在（ ）条件下，最小损失判决规则与最小错误判决规则是等价的。 1.17 随机变量l(x )=p(x |ω1)/p(x |ω2)，l(x )又称似然比，则 E {l(x )|ω2}=（ ）。在最小误判概率准则下，对数似然比Bayes 判决规则为（ ）。 1.18 影响类概率密度估计质量的最重要因素是 （ ）。
第一章 绪论 1.什么是模式？具体事物所具有的信息。 模式所指的不是事物本身，而是我们从事物中获得的___信息__。 2.模式识别的定义？让计算机来判断事物。 3.模式识别系统主要由哪些部分组成？数据获取—预处理—特征提取与选择—分类器设计/ 分类决策。 第二章 贝叶斯决策理论 1.最小错误率贝叶斯决策过程？ 答：已知先验概率，类条件概率。利用贝叶斯公式 得到后验概率。根据后验概率大小进行决策分析。 2.最小错误率贝叶斯分类器设计过程？ 答：根据训练数据求出先验概率 类条件概率分布 利用贝叶斯公式得到后验概率 如果输入待测样本X ，计算X 的后验概率根据后验概率大小进行分类决策分析。 3.最小错误率贝叶斯决策规则有哪几种常用的表示形式？ 答： 4.贝叶斯决策为什么称为最小错误率贝叶斯决策？ 答：最小错误率Bayes 决策使得每个观测值下的条件错误率最小因而保证了（平均）错误率 最小。Bayes 决策是最优决策：即，能使决策错误率最小。 5.贝叶斯决策是由先验概率和（类条件概率）概率，推导（后验概率）概率，然后利用这个概率进行决策。 6.利用乘法法则和全概率公式证明贝叶斯公式 答：∑====m j Aj p Aj B p B p A p A B p B p B A p AB p 1) ()|()() ()|()()|()(所以推出贝叶斯公式 7.朴素贝叶斯方法的条件独立假设是（P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi)） 8.怎样利用朴素贝叶斯方法获得各个属性的类条件概率分布？ 答：假设各属性独立，P(x| ωi) =P(x1, x2, …, xn | ωi) = P(x1| ωi) P(x2| ωi)… P(xn| ωi) 后验概率：P(ωi|x) = P(ωi) P(x1| ωi) P(x2| ωi)… P(xn| ωi) 类别清晰的直接分类算，如果是数据连续的，假设属性服从正态分布，算出每个类的均值方差，最后得到类条件概率分布。 均值：∑==m i xi m x mean 11)( 方差：2)^(11)var(1∑=--=m i x xi m x 9.计算属性Marital Status 的类条件概率分布 给表格计算，婚姻状况几个类别和分类几个就求出多少个类条件概率。 ???∈>=<2 11221_,)(/)(_)|()|()(w w x w p w p w x p w x p x l 则如果∑==21 )()|()()|()|(j j j i i i w P w x P w P w x P x w P 2,1),(=i w P i 2,1),|(=i w x p i ∑==2 1)()|()()|()|(j j j i i i w P w x P w P w x P x w P ∑=== M j j j i i i i i A P A B P A P A B P B P A P A B P B A P 1) ()| ()()|()()()|()|(
一、判断题（共10个题） 请写清楚题号，在答卷纸上填写√或×，不要直接在本页回答。 特别说明：本部分题目的得分规则为：答对一个题，得2分；不答（即放弃回答）的题，本题得0分；答错一个题，得-2分（即反扣2分）。本道大题得负分的，从其他大题扣除。所以，判断题的回答，建议慎重对待。 1. 基于最小错误率的贝叶斯概率是 损失函数0-1的 基于最小风险贝叶斯概率的特例 2. 监督参数估计是（太多记不住）。。。 3. 单隐层神经网络在经过足够训练后，不管节点多少，总能找到全局最优解。 4. 决策树可以生成规则集，且生成的规则集是可以解释的。 5. SVM 向量机在样本数据少、非线性的情况下有优势。 6. Bagging 是一种串行学习框架。 7. 泛化能力指的是在训练集中体现的特点。 8. Self_Trainning 是一种半监督的方法。 9. 决策树属性选择是依照信息增益比。 10. 2006年以前，多隐层神经网络因为缺乏良好的算法，限制了深度学习的发展。 二、计算题 设在某个局部地区细胞识别中正常和异常两类的先验概率分别为： 正常状态： 异常状态： 现有一待识别的细胞，其观察值为x ，从类条件概率密度分布曲线上查得 2ω 1ω9.0)(1=ωP 1 .0)(2=ωP
试使用贝叶斯决策对该细胞x 进行分类（要求给出具体计算过程及计算结果） 解： 利用贝叶斯公式，分别计算出 及 的后验概率 根据贝叶斯决策规则，有 所以合理的决策规则是把x 归类于正常状态。 三、简答题 1、应用贝叶斯决策需要满足的三个前提条件是什么？ （1）分类的类别数；（2）先验概率；（3）各类的类条件概率密度。 2、试简述您对先验概率和后验概率理解 先验概率：预先已知的或者可以估计的模式识别系统位于某种类型的概率。根据大数定 律，当训练集包含充足的独立同分布样本时，先验概率就可以通过各类样本出现的频率4 .0)|(,2.0)|(21==ωωx p x p 182 .0)|(1)|(818.01.04.09.02.09.02.0)()|()()|()|(1221111=-==?+??==∑=x P x P p x p p x p x P j j j ωωωωωωω182 .0)|(818.0)|(21=>=x P x P ωω1ω2 ω