目录
实验一纹理特征提取 (2)
一、实验目的 (2)
二、实验软件 (2)
三、算法原理 (2)
3.1灰度共生矩阵 (2)
四、实验结果 (4)
4.1 实验代码 (4)
4.2 结果分析 (6)
实验二贝叶斯决策理论 (7)
一、实验目的 (7)
二、实验软件 (7)
三、算法原理 (7)
实验三线性判别函数 (14)
一、实验目的 (14)
二、实验软件 (14)
三、算法原理 (14)
实验一 纹理特征提取
一、 实验目的
通过编程计算灰度共生矩阵来实现纹理特征的提取方法。
二、 实验软件
Matlab
三、 算法原理
1.3.1 灰度共生矩阵
灰度共生矩阵是像素距离和角度的矩阵函数，它通过计算图像中一定距离和一定方向的两点灰度之间的相关性，来反映图像在方向、间隔、变化幅度及快慢上的综合信息。
取图像(N ×N)中任意一点 （x ，y ）及偏离它的另一点 （x+a ，y+b ），设该点对的灰度值为 （g1，g2）。令点（x ，y ） 在整个画面上移动，则会得到各种 （g1，g2）值，设灰度值的级数为 k ，则（g1，g2） 的组合共有 k 的平方种。对于整个画面，统计出每一种 （g1，g2）值出现的次数，然后排列成一个方阵，再用（g1，g2） 出现的总次数将它们归一化为出现的概率P （g1，g2） ，这样的方阵称为灰度共生矩阵。距离差分值（a ，b ） 取不同的数值组合，可以得到不同情况下的联合概率矩阵。（a ，b ） 取值要根据纹理周期分布的特性来选择，对于较细的纹理，选取（1，0）、（1，1）、（2，0）等小的差分值。当 a=1，b=0时，像素对是水平的，即0度扫描；当a=0，b=1 时，像素对是垂直的，即90度扫描；当 a=1，b=1时，像素对是右对角线的，即45度扫描；当 a=-1，b=1时，像素对是左对角线，即135度扫描。这样，两个象素灰度级同时发生的概率，就将 （x ，y ）的空间坐标转化为“灰度对” （g1，g2）的描述，形成了灰度共生矩阵。
实验中对灰度共生矩阵进行了如下的归一化：
2
(1)0=90(1,2)
(12)R (1)=45=135
N N P g g P g g R N θθθθ-=?=
?-?或，， =或 3.1 基于灰度共生矩阵的纹理特征
（1）能量：是灰度共生矩阵元素值的平方和，所以也称能量，反映了图像灰度分布均匀程度和纹理粗细度。如果共生矩阵的所有值均相等，则ASM 值小；相反， 如果其中一些值大而其它值小，则ASM 值大。当共生矩阵中元素集中分布时，此
时ASM 值大。ASM 值大表明一种较均一和规则变化的纹理模式。
（2）对比度：反映了图像的清晰度和纹理沟纹深浅的程度。纹理沟纹越深，其对比度越大，视觉效果越清晰；反之，对比度小，则沟纹浅，效果模糊。灰度差即对比度大的象素对越多，这个值越大。灰度公生矩阵中远离对角线的元素值越大，CON 越大。
[]11
200
(),n n d i j CON i j P i j --===-∑∑
（3）相关：它度量空间灰度共生矩阵元素在行或列方向上的相似程度，因此，相关值大小反映了图像中局部灰度相关性。当矩阵元素值均匀相等时，相关值就大； 相反，如果矩阵像元值相差很大则相关值小。如果图像中有水平方向纹理，则水平方向矩阵的COR 大于其余矩阵的COR 值。
[](,)/d x y x y i
j
COR ijP i j μμδδ=-∑∑
（4）熵：是图像所具有的信息量的度量，纹理信息也属于图像的信息，是一个随机性的度量，当共生矩阵中所有元素有最大的随机性、空间共生矩阵中所有值几乎相等时，共生矩阵中元素分散分布时，熵较大。它表示了图像中纹理的非均匀程度或复杂程度。
(,)log(,)d i
j
ENT P i j i j =-∑∑
（5）角二阶矩(Second order angular moment )：主对角方向元素值。
11
200
([,])n n d i j ASM P i j --===∑∑
（6）方差：
2()[,]d i
j
SD i P i j μ=-∑∑
四、实验结果
1.4.1 实验代码
for i=1:GrayLayers
for j=1:GrayLayers
%角二阶矩
SeAngH=SeAngH+(pMatrixH(i,j))^2;
SeAngRD=SeAngRD+(pMatrixRD(i,j))^2;
SeAngV=SeAngV+(pMatrixV(i,j))^2;
SeAngLD=SeAngLD+(pMatrixLD(i,j))^2;
%对比度
ContrastH=ContrastH+(i-j)^2*pMatrixH(i,j);
ContrastRD=ContrastRD+(i-j)^2*pMatrixRD(i,j);
ContrastV=ContrastV+(i-j)^2*pMatrixV(i,j);
ContrastLD=ContrastLD+(i-j)^2*pMatrixLD(i,j);
%反差分矩
InDifH=InDifH+pMatrixH(i,j)/(1+(i-j)^2);
InDifRD=InDifRD+pMatrixRD(i,j)/(1+(i-j)^2);
InDifV=InDifV+pMatrixV(i,j)/(1+(i-j)^2);
InDifLD=InDifLD+pMatrixLD(i,j)/(1+(i-j)^2);
%EntPx 熵
EntPxH(1,i+j-1)=EntPxH(1,i+j-1)-pMatrixH(i,j);
EntPxRD(1,i+j-1)=EntPxRD(1,i+j-1)-pMatrixRD(i,j); EntPxV(1,i+j-1)=EntPxV(1,i+j-1)-pMatrixV(i,j);
EntPxLD(1,i+j-1)=EntPxLD(1,i+j-1)-pMatrixLD(i,j); end
end
%EntH 熵
mEnt=2:1:2*GrayLayers;
EntH=sum(mEnt.*EntPxH);
EntRD=sum(mEnt.*EntPxRD);
EntV=sum(mEnt.*EntPxV);
EntLD=sum(mEnt.*EntPxLD);
%相关
i=1:1:GrayLayers;
uxH=sum(i.*sumRowH);
uxRD=sum(i.*sumRowRD);
uxV=sum(i.*sumRowV);
uxLD=sum(i.*sumRowLD);
sumColH=sum(pMatrixH,2); sumColH=sumColH'; sumColRD=sum(pMatrixRD,2); sumColRD=sumColRD'; sumColV=sum(pMatrixV,2); sumColV=sumColV'; sumColLD=sum(pMatrixLD,2); sumColLD=sumColLD';
uyH=sum(i.*sumColH);
uyRD=sum(i.*sumColRD);
uyV=sum(i.*sumColV);
uyLD=sum(i.*sumColLD);
iH=(i-uxH).^2;
iRD=(i-uxRD).^2;
iV=(i-uxV).^2;
iLD=(i-uxLD).^2;
sigmaxH=sum(iH.*sumRowH); sigmaxRD=sum(iH.*sumRowRD); sigmaxV=sum(iH.*sumRowV); sigmaxLD=sum(iH.*sumRowLD); jH=(i-uyH).^2;
jRD=(i-uyRD).^2;
jV=(i-uyV).^2;
jLD=(i-uyLD).^2;
sigmayH=sum(jH.*sumColH); sigmayRD=sum(jH.*sumColRD); sigmayV=sum(jH.*sumColV); sigmayLD=sum(jH.*sumColLD); CorH=0;
CorRD=0;
CorV=0;
CorLD=0;
for i=1:GrayLayers
for j=1:GrayLayers
CorH=CorH+i*j*pMatrixH(i,j);
CorRD=CorRD+i*j*pMatrixRD(i,j);
CorV=CorV+i*j*pMatrixV(i,j);
CorLD=CorLD+i*j*pMatrixLD(i,j);
end
end
CorH=(CorH-uxH-uyH)/sigmaxH/sigmayH;
CorRD=(CorRD-uxRD-uyRD)/sigmaxRD/sigmayRD;
CorV=(CorV-uxV-uyV)/sigmaxV/sigmayV;
CorLD=(CorLD-uxLD-uyLD)/sigmaxLD/sigmayLD;
1.4.2 结果展示
本实验使用的图片如图1.1。取原始织物图像尺寸为256×256,生成灰度共生矩阵的最佳像素距离为1,经直方图均衡化后,最佳灰度等级为8。
图1.1
图1.1 0°45°90°135°
角二阶矩0.0517 0.0679 0.0480 0.0480
对比度 1.378 1.2230 1.9535 1.9535
相关性 4.7056 4.7086 4.7100 4.7151
反差分矩0.6527 0.7260 0.6166 0.6166 熵125.5938 125.5726 125.5749 125.5749
实验二 贝叶斯决策理论
一、 实验目的
在下列条件下，求待定样本x=(2,0)T 的类别，画出分界线，编程。 1、二类协方差相等，2、二类协方差不等。
图2.1 实验条件
二、 实验软件
Matlab
三、 算法原理
2.3.1 贝叶斯决策理论与方法基本概念
给定一个m 模式类 12(,...)m ωωω的分类任务以及各类在这n 维特征空间的统计分布, 要区分出待识别样本 属于这m 类样本中的哪一类问题。假设一个待识别的样本用n 个属性观察值描述，称之为n 个特征，从而组成一个n 维的特征向量，而这n 维征向量所有可能的取值范围则组成了一个n 维的特征空间。特征空间的统计分布。
(1) i ω , i =1,2,…,m 的先验概率： ()m P ω
(2) 类条件概率密度函数：(|)i P x ω （可解释为当类别i ω 已知的情况下，样本x 的概率分布密度函数）
(3) 后验概率：生成m 个条件后验概率(|)i P x ω ， =1，2，…，m 。也就是对于一个特征向量 x ，每一个条件后验概率 (|)i P x ω都代表未知样本属于某一特定
类 i ω的概率。
2.3.2 基于最小错误率的贝叶斯判别方法 (1)两类情况
两类情况是多类情况的基础，多类情况往往是用多个两类情况解决的。 ① 用i ω,i =1, 2表示样本x （一般用列向量表示）所属的类别。
② 假设先验概率()P ω1,()P ω2已知。(这个假设是合理的，因为如果先验概率未
知，可以从训练特征向量中估算出来，即如果N 是训练样本总数，其中有
,N N 12个样本分别属于2,1ωω，则相应的先验概率：
()/P N N ω≈11,2
()/P N N ω≈2)
③ 假设（类）条件概率密度函数
(|),i p ωx i =1，2已知，用来描述每一类中特
征向量的分布情况。如果类条件概率密度函数未知，则可以从可用的训练数据中估计出来。 (2)贝叶斯判别方法
贝叶斯分类规则描述为：
如果2(|)(|)P ωP ω>1x x ,则x ∈1ω
如果2(|)(|)P ωP ω<1x x ,则x ∈2ω
贝叶斯分类规则就是看x ∈ω1的可能性大，还是x ∈2ω的可能性大。(|)i P ωx ，
i =1,2解释为当样本x 出现时，后验概率(|)P ω1x 和(|)P ω2x 的大小从而判别为属于1ω或属于2ω类。 3、贝叶斯公式：
()()
(|)=
()
i i i p |P P p ωωωx x x
其中，()p x 是x 的概率密度函数（全概率密度），它等于所有可能的类概率密度函数乘以相应的先验概率之和。
()(|)()i i i p p P ωω==∑2
1
x x
因为()p x 对于所有的类都是一样的,可视为常数因子，它并不影响结果，不考虑。故可采用下面的写法比较后验概率的大小：
1122(|)()(|)()p P p P ωωωω>
<
x x
则有 1
2
x ωω?∈??
四、 实验结果
2.4.1 实验代码 (1)两类
X1=[1,1;1,0;2,-1]; X2=[-1,1;-1,0;-2,-1]; C1=cov(X1);%计算协方差 C2=cov(X2);
U1=mean(X1',2);%计算列向量均值 U2=mean(X2',2);
W1=-0.5*(inv(C1));%d*d 矩阵 W2=-0.5*(inv(C2));
w1=(inv(C1))*U1;%d 维向量 w2=(inv(C2))*U2;
w10=-0.5*U1'* (inv(C1))*U1-0.5*log(det(C1)); w20=-0.5*U2'* (inv(C2))*U2-0.5*log(det(C2));
syms x1 x2;
x=[x1;x2];
X=x'*(W1-W2)*x+(w1-w2)'*x+(w10-w20);%决策面方程
value1=subs(X,{x1,x2},[2 0]) ; %把待定样本点[2 0]带入函数X figure;
ezplot(X);
hold on;
plot(X1(:,1),X1(:,2),'bo'); %绘制样本点所在位置
plot(X2(:,1),X2(:,2),'ks') ;
plot(2,0,'r.');
%2类协方差相同时
C=C1+C2;%协方差之和
w=(inv(C))*(U1-U2);
x0=0.5*(U1-U2);
X=w'*(x-x0);
value2=subs(X,{x1,x2},[2 0]);
figure;
ezplot(X);
hold on;
plot(X1(:,1),X1(:,2),'bo'); %绘制样本点所在位置
plot(X2(:,1),X2(:,2),'ks') ;
plot(2,0,'r.');
(2)三类贝叶斯决策
X1=[0,0;2,1;1,0];
X2=[-1,1;-2,0;-2,-1];
X3=[0,-2;0,-1;1,-2];
C1=cov(X1);%协方差
C2=cov(X2);
C3=cov(X3);
inC1=inv(C1);%协方差的倒数
inC2=inv(C2);
inC3=inv(C3);
U1=mean(X1',2);%列向量求和
U2=mean(X2',2);
U3=mean(X3',2);
W1=-0.5*inC1;
W2=-0.5*inC2;
W3=-0.5*inC3;
w1=inC1*U1;
w2=inC1*U2;
w3=inC1*U3;
w10=-0.5*U1'* (inC1)*U1-0.5*log(det(C1));
w20=-0.5*U2'* (inC2)*U1-0.5*log(det(C2));
w30=-0.5*U3'* (inC3)*U1-0.5*log(det(C3));
syms x1 x2 real;
x=[x1;x2];
X12=x'*(W1-W2)*x+(w1-w2)'*x+(w10-w20);%分界线函数X13=x'*(W1-W3)*x+(w1-w3)'*x+(w10-w30);
X23=x'*(W2-W3)*x+(w2-w3)'*x+(w20-w30);
XX1=x'*W1*x+w1'*x+w10;%判别函数
XX2=x'*W2*x+w2'*x+w20;
XX3=x'*W3*x+w3'*x+w30;
v1=subs(XX1,{x1,x2},[-2,2]);
v2=subs(XX2,{x1,x2},[-2,2]);
v3=subs(XX3,{x1,x2},[-2,2]);
figure;
hold on;
h=ezplot(X12);
set(h,'color','r');
h=ezplot(X13);
set(h,'color','b');
h=ezplot(X23);
set(h,'color','g');
plot(X1(:,1),X1(:,2),'ko');
plot(X2(:,1),X2(:,2),'ks');
plot(X3(:,1),X3(:,2),'kp');
plot(-2,2,'rp');
%三类协方差相同时
C=C1+C2+C3;%协方差之和
inC=inv(C);
W1=-0.5*inC;
W2=W1;
W3=W1;
w1=inC*U1;
w2=inC*U2;
w3=inC*U3;
w10=-0.5*U1'* (inC)*U1-0.5*log(det(C));
w20=-0.5*U2'* (inC)*U1-0.5*log(det(C));
w30=-0.5*U3'* (inC)*U1-0.5*log(det(C));
syms x1 x2 real;
x=[x1;x2];
X12=x'*(W1-W2)*x+(w1-w2)'*x+(w10-w20);%分界线函数X13=x'*(W1-W3)*x+(w1-w3)'*x+(w10-w30);
X23=x'*(W2-W3)*x+(w2-w3)'*x+(w20-w30);
XX1=x'*W1*x+w1'*x+w10;%判别函数
XX2=x'*W2*x+w2'*x+w20;
XX3=x'*W3*x+w3'*x+w30;
v1=subs(XX1,{x1,x2},[-2,2]);
v2=subs(XX2,{x1,x2},[-2,2]);
v3=subs(XX3,{x1,x2},[-2,2]);
figure;
hold on;
h=ezplot(X12);
set(h,'color','r');
h=ezplot(X13);
set(h,'color','b');
h=ezplot(X23);
set(h,'color','g');
plot(X1(:,1),X1(:,2),'ko');
plot(X2(:,1),X2(:,2),'ks');
plot(X3(:,1),X3(:,2),'kp');
plot(-2,2,'rp');
2.4.2 结果展示
实验结果如图所示，由图可知通过贝叶斯分类可以很好的划出分类界面，并根据训练样本判断出待定样本所属分类。
图2.1 两类贝叶斯决策
图2.2 三类贝叶斯决策
实验三 线性判别函数
一、 实验目的
随机产生两类二维样本，编写程序用Fisher 线性判别函数和感知器准则函数对其进行分类。
二、 实验软件
Matlab
三、算法原理
3.3.1 线性判别函数的基本概念 (1)一般表达式
0()T g x W x ω=+
式中X 是d 维特征向量，又称样本向量，W 称为权向量：
0ω是一个常数，是一个阈值权。
(2)两类情况下的决策规则 令 11220()g X x x ωωω=++
如果 12()0,X ()0,X ()0,X g x g x g x ωω>∈?
?
<∈??=?
则决策则决策可将任意分到某一类，或拒绝
如图所示，
1122012()28
()0()0()0
g x x x x x AB g x g x g x ωωω=++=+-=><：正则：负则：
图3.1 两类线性分类示意图
1212p 0000()()()0()0,,X X H r X H ()
r=,,()T p T T
p g x g x g X W W X X X X W
w w g X r W W W W
W W W X r r r W
W W
ω=-=-==+
=+++=决策面方程：式中：在上的投影向量，
：到的垂直距离，
：方向上的单位向量。
g(X)=W
图3.2 线性判别函数
3.2.2 fisher 线性判别函数 (1)基本原理
一般情况下，我们总可以找到某个方向，使得这个方向的直线上，样本的投影能分开的最好，而Fisher 法所要解决的基本问题就是找到这条最好的、最易于分类的投影线。
先从d 维空间到一维空间的一维数学变换方法。假设有一集合X 包含N 个d 维样本N x x x ,...,,21，其中1N 个属于1ω类的样本记为子集1X ，2N 个属于2ω类的样本记为2X 。若对N x 的分量做线性组合可得标量
n T n x w y =，i N n ,...,2,1=
这样便得到N 个一维样本n y 组成的集合，并可分为两个子集1Y 和2Y 。w 的绝对值是无关紧要的，它仅使n y 乘上一个比例因子，重要的是选择w 的方向，从而转化为寻找最好的投影方向*w ，是样本分开。 (2)基本方法
先定义几个基本参量： （1）各类样本均值向量i m
2,1,1==
∑∈i x N
m i
X x i
（2）样本类内离散度矩阵i S 和总类内离散度矩阵ωS
2,1,)
)((=--=
∑∈i m x m x S i
X x T
i
i
i
21S S S +=ω
（3）样本类间离散度矩阵b S
T b m m m m S ))((2121--=
我们希望投影后，在低维空间里个样本尽可能的分开些，即希望两类均值
)(21m m -越大越好，同时希望各类样本内部尽量密集，即i S 越小越好。因此，我
们定义Fisher 准则函数为
2
12
21)()(S S m m w J F +-=
但)(w J F 不显含w ，因此必须设法将)(w J F 变成w 的显函数。 由式子
i T X x i
T X x T i
Y y i
i m w x N w x w N y N m i
i
i
===
=
∑
∑∑∈∈∈)1(
11
w S w w m m m m w m w m w m m b T T T T T =--=-=-))(()()(2121221221 w S w w m x m x w m w x w m y S i T T i i T Y y i T T Y y i i i
i
=--=-=-=∑∑∈∈))(()()(22
从而得到
w
S w w
S w w J T
b T F ω=)(， 采用Lagrange 乘子法求解它的极大值*w
)(),(c w S w w S w w L T b T --=ωλλ
对其求偏导，得0**=-w S w S b ωλ，即
**w S w S b ωλ=
从而我们很容易得到
*21211
*1*)(,)()(w m m R R m m S w S S w T b -=-==--其中ωωλ
)(211
*m m S R
w -=
-ωλ
忽略比例因子λ/R ，得
)(211
*m m S w -=-ω
这就是我们Fisher 准则函数)(w J F 取极大值时的解。 3.2.3 感知器准则
1.假设已知一组容量为N 的样本集1y ，2y ，…，N y ，其中N y 为d 维增广样本向量，分别来自1ω和2ω类。如果有一个线性机器能把每个样本正确分类，即存在一个权向量a ，使得对于任何1ω∈y ，都有y a T >0，而对一任何2ω∈y ，都有y a T <0，则称这组样本集线性可分；否则称线性不可分。若线性可分，则必存在一个权向量a ，能将每个样本正确分类。
2.基本方法：
由上面原理可知，样本集1y ，2y ，…，N y 是线性可分，则必存在某个权向
量a ，使得 ??
???∈<∈>21
y ,0y ,0ωωj j T i i T
y a y a 对一切对一切
如果我们在来自2ω类的样本j y 前面加上一个负号，即令j y =—j y ，其中2ω∈j y ，则也有y a T >0。因此，我们令
???∈∈='21y ,-y ,ωωj j
i i n y y y 对一切对一切
那么，我们就可以不管样本原来的类型标志，只要找到一个对全部样本n y '都满足y a T >0，N n ,,3,2,1??=的权向量a 就行了。此过程称为样本的规范化，n y '成为规范化增广样本向量，后面我们用y 来表示它。
我们的目的是找到一个解向量*a ，使得
N n y a n T ,...,2,1,0=>
为此我们首先考虑处理线性可分问题的算法。先构造这样一个准则函数 )()(∑∈-=k
y T p y a a J γ
式中k γ是被权向量a 错分类的样本集合。错分类时有0≤y a T ，或0≥-y a T 因此()a J p 总是大于等于0,。下一步便是求解使0≤y a T 达到极小值时的解向量
*a 。这里我们采用梯度下降法。首先对a 求梯度，这是一个纯量函数对向量的求
导问题，不难看出
∑∈-=
??=
?k
y p p y a
a J a J γ)()()(
梯度下降法的迭代公式为J a a k a k ?-=+ρ)()1(，将上式代入得
∑∈+=+k
y k y k a k a γρ)()1(
这样，经过有限次修改，一定能找到一个解向量*a 。其中任意给定权向量)1(a 。
四、实验结果
3.4.1 实验代码 N1=10; N2=8; m1=1;n1=50; m2=50;n2=100;
%X1=m1+(n1-m1)*rand(2,N1);%产生随机数1~C
%X2=m2+(n2-m2)*rand(2,N2);
X1=[m1+(n1-m1)*rand(1,N1);m2+(n2-m2)*rand(1,N1)]; X2=[m2+(n2-m2)*rand(1,N2);m1+(n1-m1)*rand(1,N2)]; M1=mean(X1,2);%计算行向量均值
M2=mean(X2,2);
S1=zeros(2,2);
S2=zeros(2,2);
for i=1:N1
J=X1(:,i)-M1;
S1=S1+J*J';
end;
for i=1:N2
J=X2(:,i)-M2;
S2=S2+J*J';
end;
Sw=S1+S2;
invSw=inv(Sw);
W=invSw*(M1-M2);
m1=W'*M1;
m2=W'*M2;
y0=(m1-m2)/2;
syms x1 x2;
x=[x1;x2];
Y=W'*x;%判别函数
figure(1);
hold on;
plot(X1(1,:),X1(2,:),'bo');
plot(X2(1,:),X2(2,:),'ks');
ezplot(Y);
%感知器准则
A=zeros(3,1);
Pk=1;
P1=Pk*ones(1,N1);
P2=Pk*ones(1,N2);
Xw1=[P1;X1];
Xw2=[P2;X2];
Xw12=[Xw1,-Xw2;];%产生第一类和第二类样本向量的规范化增广样本向量集Xw12
Y=zeros(1,size(Xw12,2));
k=0;%迭代次数
while any(Y<=0)
for i=1:size(Y,2)
Y(i)=A'*Xw12(:,i);
end
A=A+(sum(Xw12(:,find(Y<=0))'))';
k=k+1;
end;
figure(2);
hold on;
plot(X1(1,:),X1(2,:),'bo');
plot(X2(1,:),X2(2,:),'ks');
xmin=min(min(X1(1,:)),min(X2(1,:)));
xmax=max(max(X1(1,:)),max(X2(1,:)));
%ymin=min(min(X1(2,:)),min(X2(2,:)));
%ymax=max(max(X1(2,:)),max(X2(2,:)));
xindex=xmin-1:(xmax-xmin)/100:xmax+1;
yindex=-A(2)*xindex/A(3)-A(1)/A(3);
plot(xindex,yindex);
%syms x1 x2;
%x=[1,x1,x2];
%Y=A'*x';
%figure(2);
%hold on;
%plot(X1(1,:),X1(2,:),'bo');
贝叶斯公式的经验之谈 一、综述 在日常生活中，我们会遇到许多由因求果的问题，也会遇到许多由果溯因的问题。比如某种传染疾病已经出现．寻找传染源；机械发生了故障，寻找故障源就是典型的南果溯因问题等。在一定条件下，这类由果溯因问题可通过贝叶斯公式来求解。以下从几个的例子来说明贝叶斯公式的应用。 文【1】主要应用贝叶斯公式的简单情形，从“疾病诊断”，“说谎了吗”，“企业资质评判”，“诉讼”四个方面讨论其具体应用。文【2】用市场预测的实例，介绍了贝叶斯公式在市场预测中的应用。贝叶斯市场预测能对信息的价值是否需要采集新的信息做出科学的判断。文【3】、文【4】介绍贝叶斯过滤技术的工作原理及技术原理，讨论了邮件过滤模块，通过分析研究该模块中垃圾邮件关键词的统计概率分布，提出了基于贝叶斯概率模型的邮件过滤算法，并对该算法的合理性和复杂度进行了分析。可以根据垃圾邮件内容的特征，建立贝叶斯概率模型，计算出一封邮件是垃圾邮件的概率，从而判断其是否为垃圾邮件。文【5】基于贝叶斯公式中概率统计的重要性与在日常生活中应用的广泛性，概述了贝叶斯统计的基本思想及其与其他统计学派的争论，并对作为贝叶斯统计基石的贝叶斯公式进行了归纳。 二．内容 1.疾病诊断. 资料显示, 某项艾滋病血液检测的灵敏度( 即真有病的人检查为阳性) 为95%, 而对没有得病的人，种检测的准确率( 即没有病的人检查为阴性) 为99%. 美国是一个艾滋病比较流行的国家, 估计大约有千分之一的人患有这种病. 为了能有效地控制、减缓艾滋病的传播, 几年前有人建议对申请新婚登记的新婚夫妇进行这种血液检查. 该计划提出后, 征询专家意见, 遭到专家的强烈反对, 计划
模式类别的可分性判据 在讨论特征选择和特征压缩之前，我们先要确定一个选择和提取的原则。对一个原始特征来说，特征选择的方案很多，从N 维特征种 选择出M 个特征共有()!!! M N N C M N M = -中选法，其中哪一种方案最佳， 则需要有一个原则来进行指导。同样，特征的压缩实际上是要找到M 个N 元函数，N 元函数的数量是不可数的，这也要有一个原则来指导找出M 个最佳的N 元函数。 我们进行特征选择和特征提取的最终目的还是要进行识别，因此应该是以对识别最有利原则，这样的原则我们称为是类别的可分性判据。用这样的可分性判据可以度量当前特征维数下类别样本的可分性。可分性越大，对识别越有利，可分性越小，对识别越不利。 人们对的特征的可分性判据研究很多，然而到目前为止还没有取得一个完全满意的结果，没有哪一个判据能够完全度量出类别的可分性。下面介绍几种常用的判据，我们需要根据实际问题，从中选择出一种。 一般来说，我们希望可分性判据满足以下几个条件： 1. 与识别的错误率由直接的联系，当判据取最大值时，识别的错误率最小； 2. 当特征独立时有可加性，即： ()()121 ,,,N ij N ij k k J x x x J x ==∑
ij J 是第i 类和第j 类的可分性判据，ij J 越大，两类的可分程度 越大，()12,,,N x x x 为N 维特征； 3. 应具有某种距离的特点： 0ij J >，当i j ≠时； 0 ij J =，当i j =时； ij ji J J =； 4. 单调性，加入新的特征后，判据不减小： ()()12121,,,,,,,ij N ij N N J x x x J x x x x +≤ 。 但是遗憾的是现在所经常使用的各种判据很难满足上述全部条件，只能满足一个或几个条件。 基于矩阵形式的可分性判据 1. 类内散度矩阵 设有M 个类别，1,,M ΩΩ ，i Ω类样本集()()(){}12,,,i i i i N X X X ，i Ω类 的散度矩阵定义为： () ()() ( )()() ( ) 1 1i N T i i i i i w k k k i S N == --∑X m X m 总的类内散度矩阵为： ()() ()() () ()() () () 1 1 1 1 i N M M T i i i i i w i w i k k i i k i S P S P N ==== Ω= Ω--∑∑∑X m X m 2. 类间散度矩阵 第i 个类别和第j 个类别之间的散度矩阵定义为： () () () ( )() () ( ) T ij i j i j B S =--m m m m 总的类间散度矩阵可以定义为：
中国中文信息学会第七次全国会员代表大会 暨学会成立30周年学术会议 语音识别发展现状与展望中科院自动化研究所徐波 2011年12月4日
报告提纲 ?语音识别技术现状及态势?语音识别技术的行业应用?语音识别技术研究方向?结论与展望
2010年始语音识别重新成为产业热点?移动互联网的兴起成为ASR最重要的应用环境。在Google引领下，互联网、通信公司纷纷把语音识别作为重要研究方向 –Android系统内嵌语音识别技术，Google语音 翻译等； –iPhone4S 上的Siri软件； –百度、腾讯、盛大、华为等都进军语音识别领 域； –我国语音技术领军企业讯飞2010年推出语音云识别、讯飞口讯 –已有的QQ2011版语音输入等等
成熟度分析-技术成熟度曲线 ?美国市场调查咨询公司Gartner于2011年7月发布《2011新兴技术成熟度曲线》报告：
成熟度分析-新兴技术优先矩阵?Gartner评出了2011年具有变革作用的技术，包括语音识别、语音翻译、自然语言问答等。其中语音翻译和自然语言问答有望在5-10年内获得大幅利用，而语音识别有望在2-5年内获得大幅利用；
三十年语音识别技术发展 ---特征提取与知识方面?MFCC，PLP，CMS，RASTA，VTLN；?HLDA, fMPE，neural net-based features ?前端优化 –融入更多特征信息(MLP、TrapNN、Bottle Neck Features等） ?特征很大特点有些是跟模型的训练算法相匹配?大规模FSN图表示，把各种知识源集中在一起–bigram vs. 4-gram, within word dependencies vs. cross-word
模式识别研究进展 刘成林，谭铁牛 中国科学院自动化研究所 模式识别国家重点实验室 北京中关村东路95号 摘要 自20世纪60年代以来，模式识别的理论与方法研究及在工程中的实际应用取得了很大的进展。本文先简要回顾模式识别领域的发展历史和主要方法的演变，然后围绕模式分类这个模式识别的核心问题，就概率密度估计、特征选择和变换、分类器设计几个方面介绍近年来理论和方法研究的主要进展，最后简要分析将来的发展趋势。 1. 前言 模式识别(Pattern Recognition)是对感知信号（图像、视频、声音等）进行分析，对其中的物体对象或行为进行判别和解释的过程。模式识别能力普遍存在于人和动物的认知系统，是人和动物获取外部环境知识，并与环境进行交互的重要基础。我们现在所说的模式识别一般是指用机器实现模式识别过程，是人工智能领域的一个重要分支。早期的模式识别研究是与人工智能和机器学习密不可分的，如Rosenblatt的感知机[1]和Nilsson的学习机[2]就与这三个领域密切相关。后来，由于人工智能更关心符号信息和知识的推理，而模式识别更关心感知信息的处理，二者逐渐分离形成了不同的研究领域。介于模式识别和人工智能之间的机器学习在20世纪80年代以前也偏重于符号学习，后来人工神经网络重新受到重视，统计学习逐渐成为主流，与模式识别中的学习问题渐趋重合，重新拉近了模式识别与人工智能的距离。模式识别与机器学习的方法也被广泛用于感知信号以外的数据分析问题（如文本分析、商业数据分析、基因表达数据分析等），形成了数据挖掘领域。 模式分类是模式识别的主要任务和核心研究内容。分类器设计是在训练样本集合上进行优化（如使每一类样本的表达误差最小或使不同类别样本的分类误差最小）的过程，也就是一个机器学习过程。由于模式识别的对象是存在于感知信号中的物体和现象，它研究的内容还包括信号/图像/视频的处理、分割、形状和运动分析等，以及面向应用（如文字识别、语音识别、生物认证、医学图像分析、遥感图像分析等）的方法和系统研究。 本文简要回顾模式识别领域的发展历史和主要方法的演变，介绍模式识别理论方法研究的最新进展并分析未来的发展趋势。由于Jain等人的综述[3]已经全面介绍了2000年以前模式分类方面的进展，本文侧重于2000年以后的研究进展。
单位代码：005 分类号：o1 西安创新学院本科毕业论文设计 题目：全概率公式和贝叶斯公式 专业名称：数学与应用数学 学生姓名：行一舟 学生学号：0703044138 指导教师：程值军 毕业时间：二0一一年六月
全概率公式和贝叶斯公式 摘要:对全概率公式和贝叶斯公式,探讨了寻找完备事件组的两个常用方法,和一些实际的应用.全概率公式是概率论中的一个重要的公式,它提供了计算复杂事件概率的一条有效的途径,使一个复杂事件的概率计算问题化繁就简.而贝叶斯公式则是在乘法公式和全概率公式的基础上得到的一个著名的公式. 关键词:全概率公式;贝叶斯公式;完备事件组
The Full Probability Formula and Bayes Formula Abstract：To the full probability formula and bayes formula for complete,discusses the two commonly used methods of events,and some practical applications.Full probability formula is one of the important full probability formula of calculation,it provides an effective complex events of the way the full probability of a complex events,full probability calculation problem change numerous will Jane.And the bayes formula is in full probability formula multiplication formula and the basis of a famous formula obtained. Key words：Full probability formula;Bayes formula;Complete event group;
模式识别特征选择与提取 中国矿业大学计算机科学与技术学院电子信息科学系 班级：信科11-1班，学号：08113545，姓名：褚钰博 联系方法（QQ或手机）：390345438，e-mail:390345438@https://www.doczj.com/doc/8b5669520.html, 日期：2014 年06月10日 摘要 实际问题中常常需要维数约简，如人脸识别、图像检索等。而特征选择和特征提取是两种最常用的维数约简方法。特征选择是从某些事物中提取出本质性的功能、应用、优势等，而特征提取是对特征空间进行变换，将原始特征空间映射到低维空间中。 本文是对主成分分析和线性判别分析。 关键词：特征选择，特征提取，主成分分析，线性判别分析 1.引言 模式识别的主要任务是利用从样本中提取的特征，并将样本划分为相应的模式类别，获得好的分类性能。而分类方法与分类器设计，都是在d（变量统一用斜体）维特征空间已经确定的前提下进行的。因此讨论的分类器设计问题是一个选择什么准则、使用什么方法,将已确定的d维特征空间划分成决策域的问题。对分类器设计方法的研究固然重要，但如何确定合适的特征空间是设计模式识别系统另一个十分重要，甚至更为关键的问题。如果所选用的特征空间能使同类物体分布具有紧致性，即各类样本能分布在该特征空间中彼此分割开的区域内，这就为分类器设计成功提供良好的基础。反之，如果不同类别的样本在该特征空间中混杂在一起，再好的设计方法也无法提高分类器的准确性。本文要讨论的问题就是特征空间如何设计的问题。 基于主成分分析的特征选择算法的思想是建立在这样的基础上的：主成分分析方法将原始特征通过线性变换映射到新的低维空间时，获得的主成分是去了新的物理意义，难以理解，并且主成分是所有原始特征的线性组合。所以将主成分分析与特征选择相结合，设计多种相似性度量准则，通过找到与主成分相关的关键特征或者删除冗余、不相关以及没有意义的特征，将主成分又重新映射到原始空间，来理解成主成分的实际意义。 基于线性判别分析的高维特征选择将单个特征的Fisher准则与其他特征选择算法相结合，分层消除不相关特征与冗余特征。不相关特征滤波器按照每个特征的Fisher评价值进行特征排序，来去除噪音和不相关特征。通过对高维数据特征关联性的分析，冗余特征滤波器选用冗余度量方法和基于相关性的快速过滤器算法。分别在不同情境下进行数据分类实验，验证其性能。
贝叶斯公式应用案例 贝叶斯公式的定义是： 若事件B1 ,B2 , …,Bn 是样本空间Ψ的一个划分, P(B i)>0 (i =1 ,2 , …, n ),A 是任一事件且P(A)>0 , 则有 P(B|A)= P(B j )P(A| B j ) / P(A) (j =1 ,2 , …, n ) 其中, P(A)可由全概率公式得到.即 n P(A)=∑P(B i)P(A|B i) i =1 在我们平时工作中，对于贝叶斯公式的实际运用在零件质量检测中有所体现。 假设某零件的次品率为0.1%，而现有的检测手段灵敏度为95%（即发现零件确实为次品的概率为95%），将好零件误判为次品零件的概率为1%。此时假如对零件进行随机抽样检查，检测结果显示该零件为次品。对我们来说，我们所要求的实际有用的检测结果，应当是仪器在检测次品后显示该零件为次品的几率。 现在让我们用贝叶斯公式分析一下该情况。 假设，A=【检查为次品】，B=【零件为次品】，即我们需要求得的概率为P(B|A) 则实际次品的概率P(B)=0.1%, 已知零件为次品的前提下显示该零件为次品的概率P(A|B)= 95%, P(B)=1-0.001=0.999 所以，P(A)=0.001X0.95+0.999X0.01=0.01094 P(B|A)=P(B)P(A|B)/P(A)=0.1%*95%/0.01094=0.0868 即仪器实际辨别出该次品并且实际显示该零件为次品的概率仅为8.68%。 这个数字看来非常荒谬且不切合实际，因为这样的结果告诉我们现有对于次品零件的检测手段极其不靠谱，误判的概率极大。 仔细分析，主要原因是由于实际零件的次品率很低，即实际送来的零件中绝大部分都是没有质量问题的，也就是说，1000个零件中，只有1个零件是次品，但是在检测中我们可以看到，仪器显示这1000个零件中存在着10.94个次品（1000*0.01094），结果相差了10倍。所以，这就告诉我们，在实际生产制造过程中，当一个零件被检测出是次品后，必须要通过再一次的复检，才能大概率确定该零件为次品。 假设，两次检测的准确率相同，令 A=【零件为次品】B=【第一次检测为次品】C=【第二次检测为次品】 则为了确定零件为次品，我们所需要的是P(A|BC)
语音信号特征的提取 摘要 随着计算机技术的发展，语音交互已经成为人机交互的必要手段,语音特征参数的精确度直接影响着语音合成的音质和语音识别的准确率。因此语音信号参数提取是语音信号处理研究中一项非常有意义的工作。 本文采用Matlab软件提取语音信号特征参数，首先对语音信号进行数字化处理，其次，进行预处理，包括预加重、加窗和分帧，本文讨论了预处理中各种参数的选择，以使信号特征提取更加准确。第三，讨论了各种时域特征参数的算法，包括短时能量、短时过零率等。 关键词：语音信号, 特征参数, 提取, Matlab 目录 第一章绪论 1.1语音信号特征提取概况 1.1.1研究意义 语音处理技术广泛应用于语音通信系统、声控电话交换、数据查询、计算机控制、工业控制等领域，带有语音功能的计算机也将很快成为大众化产品，语音将可能取代键盘和鼠标成为计算机的主要输入手段，为用户界面带来一次飞跃。 语音信号特征的提取是语音信号处理的前提和基础，只有分析出可表示语音信号本质特征的参数，才有可能利用这些参数进行高效的语音通信和准确的语音识别，才能建立语音合成的语音库。因此语音信号参数提取是语音信号处理研究中一项非常有意义的工作。 1.1.2 发展现状 语音信号处理是一门综合性的学科，包括计算机科学、语音学、语言学、声学和数学等诸多领域的内容。它的发展过程中，有过两次飞跃。第一次飞跃是1907年电子管的发明和1920年无线电广播的出现，电子管放大器使很微弱的声
音也可以放大和定量测量，从而使电声学和语言声学的一些研究成果扩展到通信和广播部门；第二次飞跃是在20世纪70年代初，电子计算机和数字信号处理的发展使声音信号特别是语音信号，可以通过模数转换器（A/D）采样和量化转换为数字信号，这样就可以用数字计算方法对语音信号进行处理和加工，提高了语音信号处理的准确性和高效性。 语音信号处理在现代信息科学中的地位举足轻重，但它仍有些基础的理论问题和技术问题有待解决，这些难题如听觉器官的物理模型和数学表示及语音增强的技术理论等，目前还有待发展。 1.2 本课题研究内容 本文主要介绍语音信号处理的理论及Matlab的相关内容，然后从Matlab仿真角度验证了录音、预处理、提取语音信号时域特征参数，主要讨论了预处理中各种参数的选择，以使信号特征提取更加准确。再次讨论了各种时域特征参数的算法，包括短时能量、短时过零率等，介绍了各环节的不同软件实现方法。最后对基于Matlab的语音信号特征参数提取进行总结。 第二章Matlab简介 MATLAB是国际上仿真领域最权威、最实用的计算机工具。它是MathWork 公司于1984年推出，它以强大的科学计算与可视化功能、简单易用、开放式可扩展环境，特别是所附带的30多种面向不同领域的工具箱支持，使得它在许多科学领域中成为计算机辅助设计和分析、算法研究和应用开发的基本工具和首选平台。 2.1 发展概况 Matlab是Matrix Laboratory(矩阵实验室的缩写)，最初由美国Cleve Moler 博士在70年代末讲授矩阵理论和数据分析等课程时编写的软件包Linpack与Eispack组成，旨在使应用人员免去大量经常重复的矩阵运算和基本数学运算等繁琐的编程工作。1984年成立的Math Works公司正式把Matlab推向市场，并从事Matlab的研究和开发。1990年，该公司推出了以框图为基础的控制系统仿真工具Simulink，它方便了系统的研究与开发，使控制工程师可以直接构造系统框图进行仿真，并提供了控制系统中常用的各种环节的模块库。1993年，Math Works 公司推出的Matlab4.0版在原来的基础上又作了较大改进，并推出了Windows版，
一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择 和模式分类。 2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。 3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。 （1）（2） (3) (4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有（1）（2）（4）。 （1）({A, B}, {0, 1}, {A→01, A→ 0A1 , A→ 1A0 , B→BA , B→ 0}, A) （2）({A}, {0, 1}, {A→0, A→ 0A}, A) （3）({S}, {a, b}, {S → 00S, S → 11S, S → 00, S → 11}, S) （4）({A}, {0, 1}, {A→01, A→ 0A1, A→ 1A0}, A) 9、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类间距离门限、预定的 类别数目））。 10、欧式距离具有（ 1、2 ）；马式距离具有（1、2、3、4 ）。 （1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性 11、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的 正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。 12、感知器算法1。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。
语音识别技术综述 The summarization of speech recognition 张永双 苏州大学 摘要 本文回顾了语音识别技术的发展历史，综述了语音识别系统的结构、分类及基本方法，分析了语音识别技术面临的问题及发展方向。 关键词：语音识别；特征；匹配 Abstact This article review the courses of speech recognition technology progress ,summarize the structure,classifications and basic methods of speech recognition system and analyze the direction and the issues which speech recognition technology development may confront with. Key words: speech recognition;character;matching 引言 语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。语音识别是一门交叉学科，所涉及的领域有信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等，甚至还涉及到人的体态语言（如人民在说话时的表情手势等行为动作可帮助对方理解）。其应用领域也非常广，例如相对于键盘输入方法的语音输入系统、可用于工业控制的语音控制系统及服务领域的智能对话查询系统，在信息高度化的今天，语音识别技术及其应用已成为信息社会不可或缺的重要组成部分。 1.语音识别技术的发展历史 语音识别技术的研究开始二十世纪50年代。1952年，AT&Tbell实验室的Davis等人成功研制出了世界上第一个能识别十个英文数字发音的实验系统：Audry系统。
特征提取 SIFT算法提取步骤 SIFT算法提取特征点的主要步骤： （1）检测尺度空间极值点 检测尺度空间极值的目的是确定特征点位置和所在尺度组。即先使用高斯过滤器对原始图像进行若干次连续滤波建立第一个尺度组，再把图形减小到原来的一半，进行同样的高斯滤波形成第二个尺度组。之后，重复操作直到图像小于某一个给定阀值为止。接下来对每个尺度组中的高斯图像进行差分，形成高斯差分尺度组（DoG尺度图像）。
图3-1 尺度空间的构造 在上面建立的DoG尺度空间金字塔中，为了检测到DoG空间的最大值和最小值，DoG尺度空间中中间层(最底层和最顶层除外)的每个像素点需要跟同一层的相邻8个像素点以及它上一层和下一层的9个相邻像素点总共26个相邻像素点进行比较，以确保在尺度空间和二维图像空间都检测到局部极值，如图3-2所示 图3-2 DoG空间局部极值检测 在图3-2中，标记为叉号的像素若比相邻26个像素的DoG值都大或都小，则该点将作为一个局部极值点。被检测工件的高斯滤波图像如图3-3所示。
图3-3 原始图像和部分高斯滤波图像 （2）精确定位极值点 由于DoG值对噪声和边缘较敏感，因此，在上面DoG尺度空间中检测到局部极值点还要经过进一步的检验才能精确定位为特征点。一般通过二阶Taylor 展开式计算极值点的偏移量，获得亚像素定位精度，同时通过阈值设置剔除差异小的点。最终保留下来的点称为特征点，特征点的检测是在尺度空间中进行的，特征点保持为尺度不变量。各层图像特征点如图3-4所示。
图3-4 各层图像的特征点 （3）为每个关键点指定方向参数 σ—尺度空间坐标 O —组(octave)数 S —组内层数 在上述尺度空间中，O 和S ，σ的关系如下： ()[][]2,...,0,1,...,02 ,0+∈-∈=+S s O o s o S s o σσ (3-10)
管理决策分析 贝叶斯决策分析文献综述 单位：数信学院管理07 小组成员：0711200209 王双 0711200215 韦海霞 0711200217 覃慧 完成日期：2010年5月31日
有关贝叶斯决策方法文献综述 0． 引言 决策分析就是应用管理决策理论，对管理决策问题，抽象出系统模型，提出一套解决方法，指导决策主体作出理想的决策。由于市场环境中存在着许多不确定因素 ,使决策者的决策带有某种程度的风险。而要做出理想的抉择，在决策的过程中不仅要意识到风险的存在，还必须增加决策的可靠性。在风险决策中，给出了很多如何确定信息的价值以及如何提高风险决策可靠性的方法。根据不同的风险情况，要采取不同的风险决策分析的方法。贝叶斯决策分析就是其中的一种。 1．贝叶斯决策分析的思想及步骤 从信息价值的经济效用的角度，讨论贝叶斯公式在风险决策中的应用。首先根据期望值原则，以先验概率为基础，找到最优方案及其期望损益值和风险系数，然后用决策信息修正先验分布，得到状态变量的后验分布，并用后验分布概率计算各方案的期望损益值,找出最满意方案,并计算其风险系数（这里计算的风险系数应比仅有先验条件下计算的风险系数要小)，最后求出掌握了全部决策信息值的期望损益值。用全部决策信息值的期望损益值减去没有考虑决策信息时的期望收益，就得到了决策信息的价值。 步骤如下： （1）已知可供选择的方案，方案的各状态概率，及各方案在各状态下的收益值。 （2）计算方案的期望收益值，按照期望收益值选择方案。 （3）计算方案的期望损益标准差和风险系数。运用方案的风险系数来测度其风险度，即得到每个方案每一单位期望收益的离散程度指标。该指标越大，决策风险就越大。期望损益标准差公式： ∑=-= n 12A )()(i i Ai x P EMA CP δ 风险系数： )() (1i i u E u D V =δ （4）利用贝叶斯公式对各种状态的概率进行修正。先算出各个状态下的后验概率，计算掌握了决策信息后的最满意方案的期望收益值和风险系数，最后算出信息的价值。 2． 贝叶斯决策分析的应用领域 2.1 港口规划等问题 港口吞吐量()i s 与其预测出现的现象()j z 为相互独立的事件。事件,i j s z 发生的概率分别是()i P s 、()j P z 。在事件j z 发生的条件下，事件i s 发生的概率为(/)i j P s z 。运用贝叶斯公式进行事件的原因分析和决策。根据贝叶斯定理可求得
贝叶斯定理及应用 中央民族大学 孙媛
一贝叶斯定理 一、贝叶斯定理 贝叶斯定理（Bayes‘ theorem）由英国数学家托马斯贝叶斯（Thomas Bayes） ·Thomas Bayes 在1763年发表的一篇论文中，首先提出了这个定理。用来描述两个条件概率之间的这个定理 关系，比如P(A|B) 和P(B|A)。
一、贝叶斯定理 一贝叶斯定理 所谓的贝叶斯定理源于他生前为解决一个“逆概”问题写的一篇文章，而这篇文章是在他死后才由他的一位朋友发表出来的。 在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，如假设袋子里面有N 个白球，M 个黑球，你伸手进去摸一如“假设袋子里面有N个白球M个黑球你伸手进去摸一把，摸出黑球的概率是多大”。而一个自然而然的问题是反过来：“如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测。这个问题，就是所谓的逆向概率问题。 样的推测”。这个问题就是所谓的逆向概率问题。
一、贝叶斯定理 一贝叶斯定理 ←实际上就是计算"条件概率"的公式。 p y， ←所谓"条件概率"（Conditional probability），就是指在事件B发生的情况下，事件A发生的概率，用P(A|B)来表示。 的先验概率之所以称为先验是因为它不考虑任何←P(A)是A的先验概率，之所以称为先验是因为它不考虑任何B 的因素。 ←P(A|B)是在B发生时A发生的条件概率，称作A的后验概率。←P(B)是B的先验概率。 ←P(B|A)是在A发生时B发生的条件概率，称作B的后验概率。
语音识别改进方法及难点分析 ——《模式识别》结课小论文 学院：化工与环境学院 学号：2120151177 姓名：杜妮
摘要：随着计算机技术的不断发展，人工智能程度也越来越高，作为人工智能的一部分——模式识别也在模型和算法上愈发成熟。本文根据近105年文献，分析最新声音识别的方法和应用。 关键字：模式识别声音识别方法应用 随着人工智能的迅速发展，语音识别的技术越来越成为国内外研究机构的焦点。人们致力于能使机器能够听懂人类的话语指令，并希望通过语音实现对机器的控制。语音识别的研究发展将在不远的将来极大地方便人们的生活。 语音识别大致的流程包括：特征提取、声学模型训练、语音模型训练以及识别搜索算法。作为一项人机交互的关键技术，语音识别在过去的几十年里取得了飞速的发展，人们在研究和探索过程中针对语音识别的各部流程进行了各种各样的尝试和改造，以期发现更好的方法来完成语音识别流程中的各步骤，以此来促进在不同环境下语音识别的效率和准确率。本文通过查阅近10年国内外文献，分析目前语音识别流程中的技术进展和趋势，并在文章最后给出几项语音识别在日常生活中的应用案例，从而分析语音识别之后的市场走势和实际利用价值。 一、语音识别的改进方法 (一)特征提取模块改进 特征提取就是从语音信号中提取出语音的特征序列。提取的语音特征应该能完全、准确地表达语音信号，特征提取的目的是提取语音信号中能代表语音特征的信息，减少语音识别时所要处理的数据量。语音信号的特征分析是语音信号处理的前提和基础，只有分析出可以代表语音信号本质特征的参数，才能对这些参数进行高效的语音通信，语音合成，和语音识别等处理，并且语音合成的好坏，语音识别率的高低，也都取决于语音特征提取的准确性和鲁棒性。目前，针对特定应用的中小词汇量、特定人的语音识别技术发展已较为成熟，已经能够满足通常应用的要求，并逐步投入了实用。而非特定人、大词汇量、连续语音识别仍是
2.1图像模式识别的方法 图像模式识别的方法很多，从图像模式识别提取的特征对象来看，图像识别方法可分为以下几种：基于形状特征的识别技术、基于色彩特征的识别技术以及基于纹理特征的识别技术。其中，基于形状特征的识别方法，其关键是找到图像中对象形状及对此进行描述，形成可视特征矢量，以完成不同图像的分类，常用来表示形状的变量有形状的周长、面积、圆形度、离心率等。基于色彩特征的识别技术主要针对彩色图像，通过色彩直方图具有的简单且随图像的大小、旋转变换不敏感等特点进行分类识别。基于纹理特征的识别方法是通过对图像中非常具有结构规律的特征加以分析或者则是对图像中的色彩强度的分布信息进行统计来完成。 从模式特征选择及判别决策方法的不同可将图像模式识别方法大致归纳为两类:统计模式(决策理论)识别方法和句法(结构)模式识别方法。此外，近些年随着对模式识别技术研究的进一步深入，模糊模式识别方法和神经网络模式识别方法也开始得到广泛的应用。在此将这四种方法进行一下说明。 2.1.1句法模式识别 对于较复杂的模式，如采用统计模式识别的方法，所面临的一个困难就是特征提取的问题，它所要求的特征量十分巨大，要把某一个复杂模式准确分类很困难，从而很自然地就想到这样的一种设计，即努力地把一个复杂模式分化为若干
较简单子模式的组合，而子模式又分为若干基元，通过对基元的识别，进而识别子模式，最终识别该复杂模式。正如英文句子由一些短语，短语又由单词，单词又由字母构成一样。用一组模式基元和它们的组成来描述模式的结构的语言，称为模式描述语言。支配基元组成模式的规则称为文法。当每个基元被识别后，利用句法分析就可以作出整个的模式识别。即以这个句子是否符合某特定文法，以判别它是否属于某一类别。这就是句法模式识别的基本思想。 句法模式识别系统主要由预处理、基元提取、句法分析和文法推断等几部分组成。由预处理分割的模式，经基元提取形成描述模式的基元串（即字符串）。句法分析根据文法推理所推断的文法，判决有序字符串所描述的模式类别，得到判决结果。问题在于句法分析所依据的文法。不同的模式类对应着不同的文法，描述不同的目标。为了得到于模式类相适应的文法，类似于统计模式识别的训练过程，必须事先采集足够多的训练模式样本，经基元提取，把相应的文法推断出来。实际应用还有一定的困难。 2.1.2统计模式识别 统计模式识别是目前最成熟也是应用最广泛的方法，它主要利用贝叶斯决策规则解决最优分类器问题。统计决策理论的基本思想就是在不同的模式类中建立一个决策边界，利用决策函数把一个给定的模式归入相应的模式类中。统计模式识别的基本模型如图2，该模型主要包括两种操作模型：训练和分类，其中训练主要利用己有样本完成对决策边界的划分，并采取了一定的学习机制以保证基于样本的划分是最优的;而分类主要对输入的模式利用其特征和训练得来的决策函数而把模式划分到相应模式类中。 统计模式识别方法以数学上的决策理论为基础建立统计模式识别模型。其基本模型是:对被研究图像进行大量统计分析，找出规律性的认识，并选取出反映图像本质的特征进行分类识别。统计模式识别系统可分为两种运行模式:训练和分类。训练模式中，预处理模块负责将感兴趣的特征从背景中分割出来、去除噪声以及进行其它操作;特征选取模块主要负责找到合适的特征来表示输入模式;分类器负责训练分割特征空间。在分类模式中，被训练好的分类器将输入模式根据测量的特征分配到某个指定的类。统计模式识别组成如图2所示。
全概率公式、贝叶斯公式推导过程 （1）条件概率公式 设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditional probability)为： P(A|B)=P(AB)/P(B) （2）乘法公式 1.由条件概率公式得： P(AB)=P(A|B)P(B)=P(B|A)P(A) 上式即为乘法公式； 2.乘法公式的推广：对于任何正整数n≥全概率公式、贝叶斯公式推导过程 （1）条件概率公式 设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditional probability)为： P(A|B)=P(AB)/P(B) （2）乘法公式 1.由条件概率公式得： P(AB)=P(A|B)P(B)=P(B|A)P(A) 上式即为乘法公式； 2.乘法公式的推广：对于任何正整数n≥2，当P(A1A2...A n-1) > 0 时，有： P(A1A2...A n-1A n)=P(A1)P(A2|A1)P(A3|A1A2)...P(A n|A1A2...A n-1) （3）全概率公式 1. 如果事件组B1，B2，.... 满足 1.B1，B 2....两两互斥，即B i ∩ B j = ?，i≠j ，i,j=1，2，....，且P(B i)>0,i=1,2,....; 2.B1∪B2∪....=Ω ，则称事件组B1,B2,...是样本空间Ω的一个划分 设 B1,B2,...是样本空间Ω的一个划分，A为任一事件，则： 上式即为全概率公式（formula of total probability) 2.全概率公式的意义在于，当直接计算P(A)较为困难,而P(B i),P(A|B i) (i=1,2,...)的计算较为简单时，可以利用全概率公式计算P(A)。思想就是，将事件A分解成几个小事件，通过求小事件的概率，然后相加从而求得事件A的概率，而将事件A进行分割的时候，不是直接对A进行分割，而是先找到样本空间Ω的一个个划分B1,B2,...B n,这样事件A就被事
浅谈贝叶斯公式及其应用 摘要 贝叶斯公式是概率论中很重要的公式，在概率论的计算中起到很重要的作用。本文通过对贝叶斯公式进行分析研究，同时也探讨贝叶斯公式在医学、市场预测、信号估计、概率推理以及工厂产品检查等方面的一些实例，阐述了贝叶斯公式在医学、市场、信号估计、推理以及产品检查中的应用。为了解决更多的实际问题，我们对贝叶斯公式进行了推广，举例说明了推广后的公式在实际应用中所适用的概型比原来的公式更广。从而使我们更好地了解到贝叶斯公式存在于我们生活的各个方面、贝叶斯公式在我们的日常生活中非常重要。 关键词：贝叶斯公式应用概率推广
第一章引言 贝叶斯公式是概率论中重要的公式，主要用于计算比较复杂事件的概率,它实质上是加法公式和乘法公式的综合运用。贝叶斯公式出现于17世纪，从发现到现在，已经深入到科学与社会的许多个方面。它是在观察到事件B已发生的条件下，寻找导致B发生的每个原因的概率.贝叶斯公式在实际中生活中有广泛的应用，它可以帮助人们确定某结果（事件B）发生的最可能原因。 目前，社会在飞速发展，市场竞争日趋激烈，决策者必须综合考察已往的信息及现状从而作出综合判断，决策概率分析越来越显示其重要性。其中贝叶斯公式主要用于处理先验概率与后验概率，是进行决策的重要工具。 贝叶斯公式可以用来解决医学、市场预测、信号估计、概率推理以及产品检查等一系列不确定的问题。本文首先分析了贝叶斯公式的概念，再用贝叶斯公式来解决实际中的一些问题。然后将贝叶斯公式推广，举例说明推广后的贝叶斯公式在实际应用中所适用的概型。
第二章 叶斯公式的定义及其应用 2.1贝叶斯公式的定义 给出了事件B 随着两两互斥的事件12,,...,n A A A 中某一个出现而出现的概率。如果反 过来知道事件B 已出现，但不知道它由于12,,...,n A A A 中那一个事件出现而与之同时出现， 这样，便产生了在事件B 已经出现出现的条件下，求事件(1,2,...)i A i n =出现的条件概率的问题，解决这类问题有如下公式： 2.1.1定义 设12,...,n B B B 为Ω 的一个分割，即12,...,n B B B 互不相容，且 1n i i B ==Ω，如果 P( A ) > 0 ，()0i P B = (1,2,...,)i n = ,则1()(/) (/),1,2,...,()(/)i i i n j j j P B P A B P B A i n P B P A B ===∑。 证明 由条件概率的定义（所谓条件概率，它是指在某事件B 发生的条件下，求另一事件A 的概率，记为(/)P A B ） ()(/)() i i P AB P B A P A = 对上式的分子用乘法公式、分母用全概率公式, ()()(/)i i i P AB P B P A B = 1()()(/)n i i j P A P B P A B ==∑ 1()(/) (/),1,2,...,()(/)i i i n j j j P B P A B P B A i n P B P A B ===∑ 结论的证。
模式识别及其在图像处理中的应用 摘要：随着计算机和人工智能技术的发展，模式识别在图像处理中的应用日益广泛。综述了模式识别在图像处理中特征提取、主要的识别方法（统计决策法、句法识别、模糊识别、神经网络）及其存在的问题，并且对近年来模式识别的新进展——支持向量机与仿生模式识别做了分析和总结，最后讨论了模式识别亟待解决的问题并对其发展进行了展望。 关键词：模式识别；图像处理；特征提取；识别方法
模式识别诞生于20世纪20年代，随着计算机的出现和人工智能的发展，模式识别在60年代初迅速发展成一门学科。它所研究的理论和方法在很多学科和领域中得到广泛的重视，推动了人工智能系统的发展，扩大了计算机应用的可能性。图像处理就是模式识别方法的一个重要领域，目前广泛应用的文字识别（ MNO）就是模式识别在图像处理中的一个典型应用。 1.模式识别的基本框架 模式识别在不同的文献中给出的定义不同。一般认为，模式是通过对具体的事物进行观测所得到的具有时间与空间分布的信息，模式所属的类别或同一类中模式的总体称为模式类，其中个别具体的模式往往称为样本。模式识别就是研究通过计算机自动地（或者人为进行少量干预）将待识别的模式分配到各个模式类中的技术。模式识别的基本框架如图1所示。 根据有无标准样本，模式识别可分为监督识别方法和非监督识别方法。监督识别方法是在已知训练样本所属类别的条件下设计分类器，通过该分类器对待识样本进行识别的方法。如图1，标准样本集中的样本经过预处理、选择与提取特征后设计分类器，分类器的性能与样本集的大小、分布等有关。待检样本经过预处理、选择与提取特征后进入分类器，得到分类结果或识别结果。非监督模式识别方法是在没有样本所属类别信息的情况下直接根据某种规则进行分类决策。应用于图像处理中的模式识别方法大多为有监督模式识别法，例如人脸检测、车牌识别等。无监督的模式识别方法主要用于图像分割、图像压缩、遥感图像的识别等。
全概率公式与贝叶斯公式解题归纳 来源：文都教育 在数学一、数学三的概率论与数理统计部分，需要用到全概率公式及其贝叶斯公式来解题. 这类题目首先要区分清楚是“由因导果”，还是“由果索因”，因为全概率公式是计算由若干“原因”引起的复杂事件概率的公式，而贝叶斯公式是用来计算复杂事件已发生的条件下，某一“原因”发生的条件概率. 它们的定义如下： 全概率公式：设n B B B ,,,21 为样本空间Ω的一个划分，如果()0,i P B > 1,2,,i n =L ，则对任一事件A 有 )|()()(1 i n i i B A P B P A P ∑==. 贝叶斯公式 ：设n ,B ,,B B 21 是样本空间Ω的一个划分，则 .,,2,1,)|()() |()()|(1n i B A P B P B A P B P A B P n j j j i i i ==∑= 例1 从数字1, 2, 3, 4中任取一个数，记为X ，再从1，…，X 中任取一个数，记为Y ，则(2)P Y == . 解 由离散型随机变量的概率分布有： (1)(2)(3)(4)14P X P X P X P X ========. 由题意，得 (21)0,(22)12,P Y X P Y X ====== (23)13,(24)14P Y X P Y X ======,则根据全概率公式得到
(2)(1)(21)(2)(22)P Y P X P Y X P X P Y X =====+=== (3)(23)(4)(24)P X P Y X P X P Y X +===+=== 111113(0).423448 =?+++= 例2 12件产品中有4件次品，在先取1件的情况下，任取2件产品皆为正品，求先取1件为次品的概率. 解 令A={先取的1件为次品}，则,A A 为完备事件组，12(),(),33 P A P A = =令B={后取的2件皆为正品}，则2821128(),55C P B A C ==2721121(),55C P B A C == 由贝叶斯公式得 128()()()2355().128221()()()()()5 355355 P A P B A P AB P A B P B P A P B A P A P B A ?====+?+? 若随机试验可以看成分两个阶段进行，且第一阶段的各试验结果具体结果怎样未知，那么：（1）如果要求的是第二阶段某一个结果发生的概率，则用全概率公式；（2）如果第二个阶段的某一个结果是已知的，要求的是此结果为第一阶段某一个结果所引起的概率，一般用贝叶斯公式，类似于求条件概率. 熟记这个特征，在遇到相关的题目时，可以准确地选择方法进行计算，保证解题的正确高效.