概率混合模型

概率混合模型(1)
概率混合模型可以简单的理解为有多个（甚至是无数个）独立概率模型的凸组合（Convex Combination ），由于概率混合模型使用多个独立的概率分布，它可以描述一个复杂的数据分布，无论数据分布的结构如何复杂，总可以通过增加成分的方式来描述数据分布的局部特性，因此概率混合模型成为最有效的密度工具以及最常用的聚类工具之一。

广义的混合模型的一般表达式如下：
∑==K
k k k x w x 1
)(f )(f (1)
其中)(f x 为具有K 个独立成分的混合模型，）（x k f 表示第k 个成分，k w 表示第k 个成分的权重，且K k w k ,...,10=>，，由归一化条件，即
11
=∑
=K k k w 。

当混合模型中的成分是独立的概率分布时，我们可以称之为概率混合模型。

把)(f x 换成)(P x ，式(1)重写为下式
∑==K
k k k x w x 1
)(P )(P (2)
k w 除了表示权重外，这里可以认为是)(P k x 的先验概率。

如果)(P k x 是
带参数的概率模型，可以用)|(P k x Θ或)(P k
x θ代替)(P k x ，k Θ表示第k 个
成分的参数或参数集，{}K 1,...,ΘΘ为混合模型的参数集合。

用数学语言来描述概率混合模型的抽样过程。

先用{}K c c C ,...,1=表示异质性数据集{}N x x ,...,X 1=的隐含类别属性集合，用{}K w w ,...,1表示K 个类别的先验概率，第k 个类别的概率分布为()k c G ，则异质性数据集
的产生由两部分构成：
(1)在K 个类别中抽样一次的多项式分布),...,,1(1K K w w Mult (2)第k 个类别的概率分布()k c G 用数学表达为：
),...,,1(~,...,|11K K K n w w Mult w w y (3)
)(~|k k n n c G c y x = (4)
使用概率混合密度基于观测到的数据集{}N x x ,...,X 1=进行聚类和密度估计，实质就是样本生成过程的逆过程。

概率混合模型样本生成的两个步骤：首先，从K 个可能类别中按一定的分布抽出y ，即选取类标签；然后对于该标签中成分按一定的概率分布抽出样本x 。

样本可以分成可观测部分x 和不可观测的隐藏标签y ，y 属于隐含类别集合C 。

令x,y 的联合概率分布为P(x,y)，则x 的边缘分布
∑∑∑===Θ=====K
k k k K
k k k K
k k x P w c P c y x P c y x P x P 1
11)
|()
()|()
,()( (5)
将第k 个类别的概率分布密度函数参数k Θ代入，同时用k w 代替()k c P 表示第k 个成分在整个混合模型中所占的权重。

式(5)即是式(2)。

下面介绍一下高斯(正态)分布，高斯分布一般表示为),(∑μN ，其概率密度函数为
()
()()⎪⎭⎫ ⎝⎛-∑--∑=
∑-T μμπμx x x D 1
2
1
2
21ex p 21
),|(P (6) 其参数集为()∑=Θ,μ。

假设高斯混合模型有K 个成分，则高斯混合模型可以定义为
()
()()∑
=-T ⎪⎭⎫ ⎝⎛-∑--∑=K
k k k k D
k
x x w x 11
2
1
2
21ex p 2)(P μμπ (7) 极大似然估计是数学模型模拟数据集的常用方法，最优参数由下式得到：
{}{}
{}{}{}{}
{}{})
,(max arg )
|(log max arg )
,|(log max arg ˆ,ˆ*,11
,1,k k w N
n K
k k n k w N
n k k n
w k
k
w L x P w w x P w
k k k k k
k Θ=Θ=Θ=ΘΘ==Θ=Θ∑∑∑ (8)
求此函数的最大值，可化为求目标函数偏导的跟求得，即
{}{}()0,*=Θ∂Θ∂k k k w L (9) {}{}()0,*=∂Θ∂k
k k w w L (10)
期望最大化算法提供一种迭代计算途径用于使用观测到的数据来估计不可观测的数据。

假设我们所需要估算数据集{}N z z Z ,...,1=的概率分布。

我们只能观测到它的一部分，用{}N x x ,...,X 1=表示可观测部分的集合，{}N y y ,...,Y 1=表示隐含部分的集合，且[]n n n y x z +=，n=1,2,...N 。

当隐含变量为连续变量时，可观测部分X 概率分布可表示为
()dZ Z P X X Z ⎰
Θ=Θ)
()|(|P (11)
当隐含变量为离散变量时，可观测部分X 概率分布可表示为
()∑Θ=
Θ)
()|(|P X Z Z P X (12)
其中Z(X)表示满足X(Z)=X 的Z 的取值。

本文只考虑隐含变量为离散的情况。

由模型参数为Θ极大似然估计为
∑Θ=Θ=Θ
Θ
Θ)
()|(log max arg )|(log max arg ˆX Z Z P X P (13)
由于没有完整的数据Z 用于计算∑Θ)
()|(log X Z Z P ，我们对于隐含变量的
认识只能来源在给定参数数据和任意参数时它的后验概率),|(ΘX Y P ，我们可以转而计算关于隐含变量后验概率的期望，即()[]Θ|log E Y Z P ，为此，我们定义如下函数Q
[]
)|,(log )ˆ,|(ˆ,|)|(log )ˆ|(ΘΘ
=ΘΘ=ΘΘ∑Y X P X Y P X Z P E Q Y
Y
(14) 其中Θˆ表示当前给定的参数，Y 的分布由观测变量X 和当前参数Θ
ˆ唯一确定。

期望最大化算法的一般框架：
1.初始化模型参数Θ
ˆ； 2.循环下列两步直至Θ
ˆ不再变化： E 步骤：计算观测数据的后验概率),|(ΘX Y P ；
M 步骤：寻找新的Θ
ˆ使式(14)最大。

下面以高斯混合模型为例，用期望最大化算法求解极大似然估
计。

完整数据(X,Y)的极大似然估计
{}{}k n k n y k n N n K
k y k k k x P w w Y X P ..)|(),|,(11
Θ=Θ∏∏== (15)
两边取对数，并建立Q 函数
{}{}{}{}()
{}{}{}{}[
]
()(){}{}
[]
()()k
n k N
n K
k k k n k n Y N n K k k k k n k k n Y k
k k k Y k
k k k x P w w x y E w X x P w y E w X w Y X P E w w Q Θ+Θ=⎥⎦⎤⎢⎣⎡ΘΘ+=ΘΘ=ΘΘ=ΘΘ∑∑∑∑====|log log ˆ,ˆ,|ˆ,ˆ,||log log ˆ,ˆ,|),|,(log ˆ,ˆ|,)ˆ|(11.11.(16) 条件期望[]k k n k n Y w x y E Θˆ,ˆ,|.即为观测变量X 的后验概率[]k
k n k n w x y P Θˆ,ˆ,|.，根据贝叶斯定理及后验概率总和为1的约束条件得到：
[
]
(
)
(
)
∑=ΘΘ=ΘK
k k n k k
n k k
k n k
n x P w
x P w w x y 1.ˆ|ˆˆ|ˆˆ,ˆ,|P (17) 对Q 求偏导可求出k k k w ∑,,μ。

增量式混合模型是一种常见的在线学习模型，它能够用新颖的样本对当前的模型进行更新。

此文提出一种基于“一般到特定”的学习策略递归式混合模型。

假定有Z 个离线学习任务，每个学习任务都有一定的样本域，我们基于所有离线任务样本域中正样本的集合（可以人工筛选），学习一个关于待测类概率混合模型*Θ。

我们把基于离线学习任务中正样本集合得到的概率混合模型*Θ称作“一般模型”。

对于在线获得的特定样本域X ，必存在该样本的正样本+X 的子集+S X ，其在一般模型*Θ的
最大似然)|(*Θ+S X P 可以无限趋近于该样本域特定模型Θ
ˆ上的似然
)ˆ|(Θ+S X P ，所以把一般模型*Θ应用到特定样本域X 时，可以把X 中
的+S X 检测出来，检测出来的+S X 可以作为种子样本，通过一定的技术（针对不同的实际应用）从种子样本出发收集更多该特定域的潜在正样本用于对一般模型*Θ进行增量式更新。

更新后的模型再次用于检测同一特定样本域X 以收集更多的新颖样本用于对当前模型的增量式更新，如此递归，直至收敛。