高斯混合模型(GMM)参数优化及实现
- 格式：pdf
- 大小：161.27 KB
- 文档页数：10
文档推荐
-
改进混合高斯模型的运动目标检测算法页数:7
-
基于改进混合高斯模型的人群密度估计方法页数:4
-
基于改进的混合高斯模型的运动目标提取页数:4
-
一种改进的混合高斯背景模型页数:3
-
应用改进混合高斯模型的运动目标检测页数:4
下载文档原格式
合集下载
高斯混合模型中的参数估计与EM算法详解
高斯混合模型中的参数估计与EM算法详解高斯混合模型（Gaussian Mixture Model，GMM）是一种常用的概率统计模型，用于描述由多个高斯分布构成的数据集。
在实际应用中，参数估计是使用GMM的关键步骤之一，而期望最大化（Expectation Maximization，EM）算法是一种常用的参数估计方法。
本文将详细介绍GMM的参数估计方法与EM算法的原理。
首先，我们需要理解高斯混合模型。
GMM是由多个高斯分布组合而成的概率分布模型。
每个高斯分布称为一个分量，是由均值、方差和权重组成的。
其中，均值表示分量的中心位置，方差表示分量的散布程度，权重表示每个分量在整个数据集中的相对重要性。
在GMM中，参数估计的目标是通过已知的数据集，估计出每个分量的均值、方差和权重。
而EM算法是实现这一目标的一种迭代优化算法。
EM算法的基本思想是通过迭代更新，不断提高参数估计的准确性。
具体而言，EM算法包含两个主要步骤：E步和M步。
在E步中，我们根据当前估计的参数值，计算每个样本属于各个分量的概率。
这个过程可以通过贝叶斯公式计算得到。
具体地，对于每个样本，我们根据当前的均值、方差和权重计算它属于每个分量的概率，并将其归一化，以保证所有样本在各个分量上的概率和为1。
在M步中，我们利用已经计算得到的样本属于各个分量的概率，更新参数的值。
具体而言，我们首先计算每个分量所占的样本的比例，即权重的估计值。
然后，对于每个分量，我们根据样本的加权平均值和方差来估计其均值和方差。
这里的权重就是E步中计算得到的样本属于各个分量的概率。
通过反复执行E步和M步，可以逐渐提高参数估计的准确性，直到满足停止准则为止。
通常情况下，停止准则可以是迭代次数达到一定阈值，或是参数变化的绝对值小于某个设定的阈值。
在实际应用中，选择适当的初始参数值对于EM算法的收敛至关重要。
一种常用的初始化方法是使用K-means算法来得到初始的均值估计。
具体而言，我们先用K-means算法将数据集聚类成K个簇，然后使用每个簇的中心作为每个分量的初始均值。
高斯混合模型gmm 3sigma准则
高斯混合模型（Gaussian Mixture Model，GMM）是一种概率模型，常用于聚类分析和密度估计。
GMM在模式识别和机器学习领域有着广泛的应用，其中3sigma准则是一种常用的判别方法，用于确定数据点是否属于某一特定的类别或组。
1、GMM的基本原理GMM是一种灵活的聚类算法，它假设数据是由若干个高斯分布组成的混合体。
具体来说，GMM假设数据点是由多个高斯分布生成的，每个高斯分布对应一个聚类中心。
GMM的目标是通过调整高斯分布的参数来最大化数据的似然函数，从而完成聚类分析或密度估计的任务。
2、GMM的参数估计GMM的参数估计通常使用期望最大化（Expectation-Maximization，EM）算法来实现。
EM算法是一种迭代的优化方法，它通过反复地执行两个步骤来估计GMM的参数：E步骤（Expectation step）和M步骤（Maximization step）。
在E步骤中，计算每个数据点属于每个高斯分布的后验概率；在M步骤中，基于E步骤的结果，更新高斯分布的参数。
3、GMM的应用GMM可以用于聚类分析、异常检测和密度估计等任务。
在聚类分析中，GMM可以有效地识别数据中的不同聚类中心，并将数据点分配到各个聚类中心；在异常检测中，GMM可以通过计算数据点的概率密度来判断数据点是否异常；在密度估计中，GMM可以用于估计数据的概率密度函数。
4、3sigma准则3sigma准则是一种常用的判别方法，用于确定数据点是否属于某一特定的类别或组。
具体来说，3sigma准则假设数据符合正态分布，并利用正态分布的性质来判断数据的异常情况。
根据3sigma准则，大约68的数据位于平均值加减一个标准差的范围内，大约95的数据位于平均值加减两个标准差的范围内，大约99.7的数据位于平均值加减三个标准差的范围内。
如果某个数据点的取值超出了平均值加减三个标准差的范围，就可以认为这个数据点是异常的。
5、GMM与3sigma准则的结合在实际应用中，GMM和3sigma准则常常会结合使用。
r语言 gmm参数估计
r语言 gmm参数估计GMM（高斯混合模型）是一种用于概率密度函数建模的统计模型，它假设数据由多个高斯分布组成。
GMM参数估计是指通过已知数据样本，估计出GMM模型的参数，包括各个高斯分布的均值、方差和混合系数。
在R语言中，可以使用EM算法（期望最大化算法）来进行GMM 参数估计。
EM算法是一种迭代优化算法，它通过交替进行E步和M步来逐步优化模型参数。
我们需要准备好数据集。
假设我们有一个包含N个样本的数据集X，其中每个样本有D个特征。
我们可以将数据集表示为一个N行D 列的矩阵。
接下来，我们需要初始化GMM模型的参数。
我们可以随机选择一些样本作为初始的均值向量，并计算样本的协方差矩阵作为初始的方差参数。
混合系数可以初始化为均匀分布，即每个高斯分布的权重相等。
然后，我们可以使用EM算法来估计GMM模型的参数。
在E步中，我们计算每个样本属于每个高斯分布的后验概率。
具体而言，对于每个样本，我们计算其属于每个高斯分布的概率，并归一化得到后验概率。
这可以使用高斯分布的概率密度函数和混合系数来计算。
在M步中，我们使用E步计算得到的后验概率来更新模型的参数。
具体而言，我们使用后验概率加权平均的方式来更新均值和方差参数，并使用后验概率的和来更新混合系数。
接着，我们重复进行E步和M步，直到模型参数收敛或达到预定的迭代次数。
收敛可以通过判断模型参数的变化是否小于某个阈值来确定。
我们可以使用估计得到的模型参数来进行预测。
对于一个新的样本，我们可以计算其属于每个高斯分布的概率，并选择概率最大的高斯分布作为预测结果。
需要注意的是，GMM参数估计依赖于初始参数的选择，不同的初始参数可能会导致不同的结果。
因此，通常需要多次运行算法，选择最优的结果作为最终的估计值。
在R语言中，可以使用相关的包（如"mclust"包）来实现GMM参数估计。
这些包提供了方便的函数和工具来进行模型拟合和参数估计。
GMM参数估计是一种用于建模概率密度函数的统计方法，可以通过EM算法在R语言中进行实现。
高斯混合模型详解
高斯混合模型详解【原创实用版】目录1.高斯混合模型的基本概念2.高斯混合模型的组成部分3.高斯混合模型的推导过程4.高斯混合模型的应用实例5.总结正文一、高斯混合模型的基本概念高斯混合模型（Gaussian Mixture Model，简称 GMM）是一种概率模型，用于对由多个高斯分布组成的数据集进行建模。
它是一个多元高斯分布，由多个一元高斯分布组合而成，每个一元高斯分布表示数据集中的一个子集。
通过学习这些子集的参数，即均值、协方差矩阵和权重，高斯混合模型可以对数据集进行有效的建模。
二、高斯混合模型的组成部分高斯混合模型由以下三个部分组成：1.均值（Means）：每个高斯分布的均值向量，表示该分布的中心点。
2.协方差矩阵（Covariances）：每个高斯分布的协方差矩阵，表示该分布的形状。
3.权重（Weights）：每个高斯分布的权重，表示该分布在数据集中的重要性。
三、高斯混合模型的推导过程高斯混合模型的推导过程主要包括两个步骤：1.初始化：随机设置初始的均值、协方差矩阵和权重，这将影响优化过程的收敛速度。
2.优化：使用期望最大化（Expectation-Maximization，简称 EM）算法来优化模型参数。
EM 算法通过迭代更新均值、协方差矩阵和权重，使得模型对观测数据的似然函数最大化。
四、高斯混合模型的应用实例高斯混合模型在许多领域都有广泛的应用，例如：1.语音识别：高斯混合模型可以用来对语音信号进行建模，从而实现语音识别。
2.机器学习：高斯混合模型可以用来对数据集进行聚类，从而实现机器学习任务。
3.信号处理：高斯混合模型可以用来对信号进行建模，从而实现信号处理任务。
五、总结高斯混合模型是一种强大的概率模型，可以用来对复杂的数据集进行建模。
通过学习均值、协方差矩阵和权重，高斯混合模型可以有效地表示数据集中的潜在结构。
GMM
总结报告
2014.10.23
高斯混合模型（GMM）
高斯混合模型是一种半参数密度估计方法，具 备参数估计和半参数估计方法的所有优点，不 会受限于特定的概率密度函数形式。如果模型 中的组元足够多，就能够以任意的精度逼近任 意的连续分布，这是高斯混合模型最大的特征。
GMM
设有高维空间（维数为d）的点 {xi | i 1,2,3...} ， 若这些点的分布近似为椭球体，则可用单一高 N ( x; , ) 斯密度函数 ，来描述产生这些数据 的概率密度函数。 1 ( x ) ( x ) 1 2 N ( x; , ) e 1 / 2 (2 ) n / 2
GMM
p( x) wk p k ( x) wk N ( x; k , k )
k 1 k 1 M M
其中 M-模型的混合数； wk -混合模型的权重系数，且 wk 1 ； N ( x; k , k ) -第k个单一高斯概率密度函数 。
其中μ为此密度函数的中心点，即均值；∑ 为此密度函数的协方差矩阵；这些参数决定 了此密度函数的特性，如函数形状的中心点、 宽窄和走向。高斯混合模型的参数包括 wi ， 2 i 和 i ，其估计可采用最大期望 （expectation maximum，EM）算法。
1）无限制高斯混合模型 ：避免了确定混合 模型 数的问题； 2）最大期望值算法（EM算法）：最常用 3）数学猜想：模型数目在一定条件下不能中 为此密度函数的中心点，即均值；为此 密度函数的协方差矩阵；这些参数决定了此密
GMM
度函数的特性，如函数形状的中心点、宽窄 和走向。 但是，如果高维空间（维数为d）的点{xi | i 1,2,3...} 的分布不是椭球状，则不适合采用单一高斯 概率密度函数来描述这些点分布的概率密度 函数。此时可以使用的变通方法是采用若干 个单一高斯概率密度函数的加权平均来表示。 即高斯混合模型。高斯混合模型定义如下：
2014.10.23
高斯混合模型（GMM）
高斯混合模型是一种半参数密度估计方法，具 备参数估计和半参数估计方法的所有优点，不 会受限于特定的概率密度函数形式。如果模型 中的组元足够多，就能够以任意的精度逼近任 意的连续分布，这是高斯混合模型最大的特征。
GMM
设有高维空间（维数为d）的点 {xi | i 1,2,3...} ， 若这些点的分布近似为椭球体，则可用单一高 N ( x; , ) 斯密度函数 ，来描述产生这些数据 的概率密度函数。 1 ( x ) ( x ) 1 2 N ( x; , ) e 1 / 2 (2 ) n / 2
GMM
p( x) wk p k ( x) wk N ( x; k , k )
k 1 k 1 M M
其中 M-模型的混合数； wk -混合模型的权重系数，且 wk 1 ； N ( x; k , k ) -第k个单一高斯概率密度函数 。
其中μ为此密度函数的中心点，即均值；∑ 为此密度函数的协方差矩阵；这些参数决定 了此密度函数的特性，如函数形状的中心点、 宽窄和走向。高斯混合模型的参数包括 wi ， 2 i 和 i ，其估计可采用最大期望 （expectation maximum，EM）算法。
1）无限制高斯混合模型 ：避免了确定混合 模型 数的问题； 2）最大期望值算法（EM算法）：最常用 3）数学猜想：模型数目在一定条件下不能中 为此密度函数的中心点，即均值；为此 密度函数的协方差矩阵；这些参数决定了此密
GMM
度函数的特性，如函数形状的中心点、宽窄 和走向。 但是，如果高维空间（维数为d）的点{xi | i 1,2,3...} 的分布不是椭球状，则不适合采用单一高斯 概率密度函数来描述这些点分布的概率密度 函数。此时可以使用的变通方法是采用若干 个单一高斯概率密度函数的加权平均来表示。 即高斯混合模型。高斯混合模型定义如下：
机器学习技术中的高斯混合模型解析
机器学习技术中的高斯混合模型解析机器学习技术中的高斯混合模型 (Gaussian Mixture Model, GMM) 是一种常用的概率模型，被广泛应用于模式识别、聚类分析、异常检测等领域。
GMM通过将数据集表示为多个高斯分布的混合来对数据进行描述和建模，具有灵活性和强大的建模能力。
本文将对GMM进行详细解析，包括其基本概念、原理、参数估计方法以及应用案例。
首先，我们来了解一下GMM的基本概念。
GMM是一种概率模型，用于描述数据集中的观测值。
它假设数据集是由多个具有不同平均值和方差的高斯分布组成的。
每个高斯分布称为一个组件，而GMM中的每个组件与数据集中的一个子集相对应。
GMM的原理基于最大似然估计的思想。
给定一个数据集，我们希望找到一组参数，使得GMM能够最好地拟合数据。
这组参数包括每个组件的权重、均值、协方差矩阵。
GMM的目标是通过调整这些参数，使得生成观测数据的概率最大化。
参数估计是GMM中的一个重要步骤。
常用的参数估计方法包括期望最大化算法(Expectation-Maximization, EM)。
EM算法通过迭代的方式逐步优化参数的估计。
在E步 (Expectation Step) 中，根据当前参数的估计，计算每个观测值属于每个组件的概率。
在M步 (Maximization Step) 中，根据E步的结果，更新参数的估计。
重复执行E步和M步，直到参数收敛。
GMM在机器学习中有广泛的应用。
其中之一是模式识别，特别是人脸识别。
通过建模人脸图像数据集，可以使用GMM来学习每个人脸的特征分布，并通过比较两个人脸的概率来判断它们是否属于同一个人。
另一个应用是聚类分析，即将数据集分成多个簇。
GMM可以根据数据的分布情况，自动地识别数据集中的不同组成部分，并对其进行聚类。
除了模式识别和聚类分析，GMM还可用于异常检测。
通过将正常数据建模为GMM，我们可以使用观察数据的概率来判断其是否属于正常范围。
4.EM算法-高斯混合模型GMM详细代码实现
4.EM算法-⾼斯混合模型GMM详细代码实现1. 前⾔EM的前3篇博⽂分别从数学基础、EM通⽤算法原理、EM的⾼斯混合模型的⾓度介绍了EM算法。
按照惯例，本⽂要对EM算法进⾏更进⼀步的探究。
就是动⼿去实践她。
2. GMM实现我的实现逻辑基本按照中的⽅式实现。
需要全部可运⾏代码，请移步我的。
输⼊：观测数据x1,x2,x3,...,x N对输⼊数据进⾏归⼀化处理#数据预处理def scale_data(self):for d in range(self.D):max_ = self.X[:, d].max()min_ = self.X[:, d].min()self.X[:, d] = (self.X[:, d] - min_) / (max_ - min_)self.xj_mean = np.mean(self.X, axis=0)self.xj_s = np.sqrt(np.var(self.X, axis=0))输出：GMM的参数1. 初始化参数#初始化参数def init_params(self):self.mu = np.random.rand(self.K, self.D)self.cov = np.array([np.eye(self.D)] * self.K) * 0.1self.alpha = np.array([1.0 / self.K] * self.K)2. E步：根据当前模型，计算模型k对x i的影响γik=πk N(x|µk,Σk)∑K k=1πk N(x|µk,Σk)#e步，估计gammadef e_step(self, data):gamma_log_prob = np.mat(np.zeros((self.N, self.K)))for k in range(self.K):gamma_log_prob[:, k] = log_weight_prob(data, self.alpha[k], self.mu[k], self.cov[k]) log_prob_norm = logsumexp(gamma_log_prob, axis=1)log_gamma = gamma_log_prob - log_prob_norm[:, np.newaxis]return log_prob_norm, np.exp(log_gamma)3. M步：计算µk+1,Σ2k+1,πk+1。
gmm高斯模型推导
gmm高斯模型推导全文共四篇示例，供读者参考第一篇示例：GMM (Gaussian Mixture Model)高斯混合模型是一种常用的概率模型，用于对数据进行聚类和密度估计。
它假设数据是由若干个高斯分布组成的混合分布生成的，每个高斯分布对应一个聚类，每个数据点的生成过程由各个高斯分布按一定概率加权组成。
本文将从GMM 的基本理论出发，逐步推导GMM的EM算法，以及参数的估计和模型的选择。
GMM的基本理论包括数学描述和模型假设。
假设我们有N个数据点x_1, x_2, \cdots, x_N，每个数据点有D个维度。
GMM假设这些数据由K个高斯分布组成，每个高斯分布对应一个聚类，表示为\{ \pi_k, \mu_k, \Sigma_k \}_{k=1}^{K}，其中\pi_k是第k个高斯分布的混合系数，\mu_k是第k个高斯分布的均值向量，\Sigma_k 是第k个高斯分布的协方差矩阵。
GMM模型的概率密度函数定义如下：p(x) = \sum_{k=1}^{K} \pi_k \mathcal{N}(x|\mu_k, \Sigma_k)其中\mathcal{N}(x|\mu, \Sigma)表示多维高斯分布的概率密度函数。
每个高斯分布的参数需要满足以下条件：\mu_k \in \mathbb{R}^D, \Sigma_k \in \mathbb{R}^{D\times D}, \Sigma_k \succ 0接下来我们将推导GMM的EM算法。
EM算法是一种迭代优化算法，用于估计含有隐变量的概率模型的参数。
GMM中的隐变量是数据点的类别，即数据点属于哪一个高斯分布的概率最大。
EM算法的基本思路是通过迭代优化求解下面的似然函数极大化问题：具体来说，EM算法分为两步：E步和M步。
在E步中，我们计算数据点属于各个高斯分布的后验概率，即第n个数据点属于第k个高斯分布的概率：迭代E步和M步直到模型参数收敛，即对数似然函数的收敛差值小于一个给定的阈值。
高斯混合模型参数优化及实现
高斯混合模型参数优化及实现高斯混合模型（Gaussian Mixture Model，GMM）是一种常用的概率模型，它利用多个高斯分布函数的叠加来描述复杂的数据分布。
GMM的参数优化可以通过最大似然估计或期望最大化算法（Expectation-Maximization，EM）来实现。
首先, 我们来解释GMM的数学定义。
设观测数据为X={x1, x2, ..., xn}，每个观测数据xi都是一个d维向量。
GMM可以表示为：P(X，θ)=∑[j=1,m]P(Z=j，θ)P(Xi，Z=j,θ)=∑[j=1,m]πjN(Xi，μj,Σj)，Σj为协方差矩阵函数。
其中，θ表示GMM的所有参数，包括m个高斯分布的参数（πj,μj,Σj）。
下面是GMM参数优化的步骤：1.初始化参数：首先，需要初始化每个高斯分布的参数（πj,μj,Σj），可以随机选择或通过其他方法进行初始化。
2. E步骤（Expectation）：计算每个样本属于每个高斯分布的后验概率，即计算P(Z=j，Xi,θ)。
根据贝叶斯定理，可以使用以下公式计算后验概率：P(Z=j，Xi,θ)=πjN(Xi，μj,Σj)/∑[k=1,m]πkN(Xi，μk,Σk)3. M步骤（Maximization）：根据E步骤的计算结果，更新高斯分布的参数（πj, μj, Σj）。
具体更新方式如下：πj=∑[i=1,n]P(Z=j，Xi,θ)/nμj=∑[i=1,n]P(Z=j，Xi,θ)*Xi/∑[i=1,n]P(Z=j，Xi,θ)Σj=∑[i=1,n]P(Z=j，Xi,θ)*(Xi-μj)(Xi-μj)T/∑[i=1,n]P(Z=j，Xi,θ)4.重复执行E步骤和M步骤，直到参数收敛或达到预定的迭代次数。
5.利用优化后的参数对新的数据进行分类或生成新样本。
实现GMM可以使用现有的机器学习库，例如sklearn。
下面是一个简单的示例代码：```pythonimport numpy as npfrom sklearn.mixture import GaussianMixture#创建数据集X = np.random.rand(100, 2)#初始化GMM模型#拟合数据集gmm.fit(X)#预测新的数据点new_data = np.array([[0.5, 0.5], [0.8, 0.2]])labels = gmm.predict(new_data)#输出结果print("Labels:", labels)```总结：GMM是一种常用的概率模型，用于描述复杂的数据分布。
GMM_EM_混合高斯模型及其求解应用
E ( zik | ) =
k N( xi | k , k )
E-step
N( x | ,
j 1 j i j
K
1 N k E （zik） ( xi k )( xi k )T N k i 1
j
)
M-step
k
E(z
i 1
N
N
ik
)
N
i 1
f ( I xy ,t ) xy ,k ,t N ( I xy ,t , xy ,k ,t , xy ,k ,t ),
k 1 K
k 1
K
xy , k ,t
1
Ixy,t 表示t时刻图像I中的xy位置的像素特征。
模型主要步骤：
1，模型初始化； 2，背景描述； 3，前景判决； 4，模型更新。
N
（z ） ( x )( x ) E
ik
k
E(z
i 1
ik
)
N
N i 1
Nk N
N k E ( zik )
GMM参数学习
• 进一步解释
1 N k E ( zik ) xi N k i 1 1 N k E （zik） ( xi k )( xi k )T N k i 1
z
i 1 k 1
ik
{ln k ln N ( xi | k , k )}
1 Nk
N
1 k Nk 1 k Nk
N
zik xi
i 1 N
Nzi 1 Nhomakorabeaik
( xi k )( xi k )
T
k
z
i 1
N
k N( xi | k , k )
E-step
N( x | ,
j 1 j i j
K
1 N k E （zik） ( xi k )( xi k )T N k i 1
j
)
M-step
k
E(z
i 1
N
N
ik
)
N
i 1
f ( I xy ,t ) xy ,k ,t N ( I xy ,t , xy ,k ,t , xy ,k ,t ),
k 1 K
k 1
K
xy , k ,t
1
Ixy,t 表示t时刻图像I中的xy位置的像素特征。
模型主要步骤：
1，模型初始化； 2，背景描述； 3，前景判决； 4，模型更新。
N
（z ） ( x )( x ) E
ik
k
E(z
i 1
ik
)
N
N i 1
Nk N
N k E ( zik )
GMM参数学习
• 进一步解释
1 N k E ( zik ) xi N k i 1 1 N k E （zik） ( xi k )( xi k )T N k i 1
z
i 1 k 1
ik
{ln k ln N ( xi | k , k )}
1 Nk
N
1 k Nk 1 k Nk
N
zik xi
i 1 N
Nzi 1 Nhomakorabeaik
( xi k )( xi k )
T
k
z
i 1
N
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
β j = E (α j xi ; Θ) = α j N j ( xi ; Θ)
∑αl N l ( xi ; Θ)
l
M
， 1 ≤ i ≤ n ，1 ≤ j ≤ M
(6)
注意：写代码实现公式(6)时，对于每个 SGM 分别用公式(4)计算每个样本点 xi 在该模型下的概率密度 值 N j ( xi ; Θ) ，对于所有样本，得到一个 n *1 的向量，计算 M 次，得到 n * M 的矩阵，每一列为所有点在该 模型下的概率密度值（PDF） ；实现 ∑α l N l ( xi ; Θ) 时，需要针对每个点计算在各个 SGM 的概率值总和。公
j =1 M
(3)
上式即称为 GMM， ∑α j = 1 ，其中
j =1
M
N j ( x; μ j , Σ j ) =
1 1 exp − ( x − μ j )T Σ − j ( x − μ j ) 2 (2π ) Σ j 1
m
(4)
表示第 j 个 SGM 的 PDF。 令 θ j = (α j , μ j , Σ j ) ，GMM 共有 M 个 SGM 模型，现在，我们就需要通过样本集 X 来估计 GMM 的所有 参数： Θ = (θ1 ,⋅⋅⋅,θ M )T 。样本 X 的概率公式为：
西南交通大学，信息学院，xgong@
资料整理
高斯混合模型（GMM）参数优化及实现
龚 勋 （2010-11-13）
1 高斯混合模型概述
高斯密度函数估计是一种参数化模型。有单高斯模型（Single Gaussian Model, SGM）和高斯混合模型 （Gaussian mixture model，GMM）两类。类似于聚类，根据高斯概率密度函数（PDF，见公式 1）参数的 不同，每一个高斯模型可以看作一种类别，输入一个样本 x ，即可通过 PDF 计算其值，然后通过一个阈值 来判断该样本是否属于高斯模型。很明显，SGM 适合于仅有两类别问题的划分，而 GMM 由于具有多个 模型，划分更为精细，适用于多类别的划分，可以应用于复杂对象建模。 下面以视频前景分割应用场景为例，说明 SGM 与 GMM 在应用上的优劣比较： l SGM 需要进行初始化，如在进行视频背景分割时，这意味着如果人体在前几帧就出现在摄像头前， 人体将会被初始化为背景，而使模型无法使用； l SGM 只能进行微小性渐变，而不可突变。如户外亮度随时间的渐变是可以适应的，如果在明亮的室 内突然关灯，单高斯模型就会将整个室内全部判断为前景。又如，若在监控范围内开了一辆车，并在 摄像头下开始停留。由于与模型无法匹配，车会一直被视为前景。当车过很长时间离去时，由于车停 留点的亮度发生了很大的变化，因此已经无法与先前的背景模型相匹配； l SGM 无法适应背景有多个状态，如窗帘，风吹的树叶。单高斯模型无法表示这种情况，而使得前背 景检测混乱，而 GMM 能够很好地描述不同状态； l 相对于单高斯模型的自适应变化，混合高斯模型的自适应变化要健壮的多。它能解决单高斯模型很多 不能解决的问题。如无法解决同一样本点的多种状态，无法进行模型状态转化等。
N ( x / C) = 1 −1 exp[− ( x − μ)T ∑ ( x − μ)] 2 (2π ) ∑ 1
(2)
式(2)表明样本属于类别 C 的概率大小。 从而将任意测试样本 xi 输入式(2)， 均可以得到一个标量 N ( xi ; μ, ∑) ， 然后根据阈值 t 来确定该样本是否属于该类别。 ² 阈值 t 的确定：可以为经验值，也可以通过实验确定。另外也有一些策略可以参考：如文献[1]中采用 搜索策略：首先令 t ＝0.7，以 0.05 为步长一直减到 0.1 左右，选择使样本变化最小的那个阈值做为最 终 t 值，也就是意味着所选 t 值所构造的分类模型最稳定。 几何意义理解：根据单高斯分布 PDF 的含义我们可以知道，符合 SGM 分布的二维点在平面上应该近 似椭圆形；相应地，三维点在空间中则近似于椭球状
1.1 单高斯模型
多维高斯（正态）分布概率密度函数 PDF 定义如下：
N ( x; μ, ∑) = 1 −1 exp[ − ( x − μ)T ∑ ( x − μ)] 2 (2π ) ∑ 1
(1)
注意与一维高斯分布不同，其中 x 是维数为 d 的样本向量（列向量） ， μ 是模型期望， Σ 是模型方差。 对于单高斯模型，由于可以明确训练样本是否属于该高斯模型（如训练人脸肤色模型时，将人脸图像 肤色部分分割出来，形成训练集） ，故 μ 通常由训练样本均值代替， Σ 由样本方差代替。为了将高斯分布 用于模式分类，假设训练样本属于类别 C ，那么，式(1)可以改为如下形式：
l ( X Θ) = log ∏ ∑α j N j ( x; μ j , Σ j )
i =1 j =1
N
M
= ∑ log ∑ α j N j ( x; μ j , Σ j )
i =1 j =1
N
M
(5)
2
西南交通大学，信息学院，xgong@
资料整理
2 采用 EM 估计 GMM 的参数
N
βij βij xi
ቤተ መጻሕፍቲ ባይዱ
N
(7) (8)
更新均值： μ'j = ∑ i =n1
n
∑
β i =1 ij
n
Ø
更新方差矩阵： Σ 'j = ∑ i =1
βij ( xi − µ 'j )( xi − µ 'j )T
∑
n i =1
βij
(9)
注意，有些文献把方差矩阵当作对角阵处理，即认为 Σ j = diag (σ 2 ) ，故采用如下公式估计 σ 2 ：
²
1
西南交通大学，信息学院，xgong@
资料整理
1.2 高斯混合模型
高斯混合模型是单一高斯机率密度函数的延伸，由于 GMM 能够平滑地近似任意形状的密度分布， 因此近年来常被用在语音、图像识别等方面，得到不错的效果。 例：有一批观察数据 X = { x1 ,..., xn } ，数据个数为 n ，在 d 维空间中的分布不是椭球状（如图 1(a)） ，那 么就不适合以一个单一的高斯密度函数来描述这些数据点的机率密度函数。此时我们采用一个变通方案， 假设每个点均由一个单高斯分布生成（如图 1(b)，具体参数 μ j , Σ j 未知） ，而这一批数据共由 M （明确） 个单高斯模型生成，具体某个数据 xi 属于哪个单高斯模型未知，且每个单高斯模型在混合模型中占的比例
3 源码
3.1 单高斯模型
下面代码实现了 SGM，并实现了人脸肤色检测。其中图像处理、矩阵运算采用了 openCV 库函数 /***************************************************************************** Single Gaussian Model for skin color extraction Param: img -- input image to extract the face region skinImg -- result *****************************************************************************/ void CSkinColor::RunSGM(IplImage *img, IplImage **skinImg) { if (img == NULL) return -1; ////////////////////////////////////////////////////////////////////////// // 以下参数一组(117.4361,156.5599)来自源码 light2，与文章《王航宇:基于 YCbCr 高斯肤色模型的 // 人脸检测技术研究》相同，另一组来自源码“肤色检测正式版” （103.0056, 140.1309） double M[]={103.0056, 140.1309}/*{117.4361,156.5599}*/;//M 为肤色在 YCbCr 颜色空间的样本均值 (Cb, Cr)，经验值 double C[2][2]={{160.1301,12.1430},//C 为肤色相似度模型的协方差矩阵，同上为经验值 {12.1430,299.4574}};// 注：因为运算仅需要该矩阵的逆矩阵值，故该值没有使用，仅作参考 double invC[2][2]={0.0077 ,-0.0041,-0.0041 ,0.0047 };//Ct 为 C 的逆矩阵值，由 matlab 计算而得 ////////////////////////////////////////////////////////////////////////// IplImage* pImg = img; double CrMean=0,CbMean=0,YMean=0; // 1 颜色转换：BGR->YCrCb IplImage*imgYCrCb=cvCreateImage(cvGetSize(pImg),IPL_DEPTH_8U,3);// YCrCb 图像
通常采用 EM 算法（期望值最大，Expectation Maximum）根据(5)式对 GMM 参数进行估计。具体推导 过程在很多文献可以参阅，这里不详述，我们主要介绍采用 EM 估计 GMM 参数的方法。 描述估计高斯混合分布的 EM 算法（参考“!!EM 算法.ppt” ） ： ² 初始值：
方案 1：协方差矩阵 Σ j 0 设为单位矩阵；每个模型比例的先验概率： α j 0 = 1/ M ；均值 μ j 0 设为随机数； 方案 2：由 k 均值（k-mean）聚类算法对样本进行聚类，利用各类的均值作为 μ j 0 ，并计算 Σ j 0 ， α j 0 取各 类样本占样本总数的比例。 ² 算法流程： （1）估计步骤（E-step） ： 令 α j 的后验概率为：
∑αl N l ( xi ; Θ)
l
M
， 1 ≤ i ≤ n ，1 ≤ j ≤ M
(6)
注意：写代码实现公式(6)时，对于每个 SGM 分别用公式(4)计算每个样本点 xi 在该模型下的概率密度 值 N j ( xi ; Θ) ，对于所有样本，得到一个 n *1 的向量，计算 M 次，得到 n * M 的矩阵，每一列为所有点在该 模型下的概率密度值（PDF） ；实现 ∑α l N l ( xi ; Θ) 时，需要针对每个点计算在各个 SGM 的概率值总和。公
j =1 M
(3)
上式即称为 GMM， ∑α j = 1 ，其中
j =1
M
N j ( x; μ j , Σ j ) =
1 1 exp − ( x − μ j )T Σ − j ( x − μ j ) 2 (2π ) Σ j 1
m
(4)
表示第 j 个 SGM 的 PDF。 令 θ j = (α j , μ j , Σ j ) ，GMM 共有 M 个 SGM 模型，现在，我们就需要通过样本集 X 来估计 GMM 的所有 参数： Θ = (θ1 ,⋅⋅⋅,θ M )T 。样本 X 的概率公式为：
西南交通大学，信息学院，xgong@
资料整理
高斯混合模型（GMM）参数优化及实现
龚 勋 （2010-11-13）
1 高斯混合模型概述
高斯密度函数估计是一种参数化模型。有单高斯模型（Single Gaussian Model, SGM）和高斯混合模型 （Gaussian mixture model，GMM）两类。类似于聚类，根据高斯概率密度函数（PDF，见公式 1）参数的 不同，每一个高斯模型可以看作一种类别，输入一个样本 x ，即可通过 PDF 计算其值，然后通过一个阈值 来判断该样本是否属于高斯模型。很明显，SGM 适合于仅有两类别问题的划分，而 GMM 由于具有多个 模型，划分更为精细，适用于多类别的划分，可以应用于复杂对象建模。 下面以视频前景分割应用场景为例，说明 SGM 与 GMM 在应用上的优劣比较： l SGM 需要进行初始化，如在进行视频背景分割时，这意味着如果人体在前几帧就出现在摄像头前， 人体将会被初始化为背景，而使模型无法使用； l SGM 只能进行微小性渐变，而不可突变。如户外亮度随时间的渐变是可以适应的，如果在明亮的室 内突然关灯，单高斯模型就会将整个室内全部判断为前景。又如，若在监控范围内开了一辆车，并在 摄像头下开始停留。由于与模型无法匹配，车会一直被视为前景。当车过很长时间离去时，由于车停 留点的亮度发生了很大的变化，因此已经无法与先前的背景模型相匹配； l SGM 无法适应背景有多个状态，如窗帘，风吹的树叶。单高斯模型无法表示这种情况，而使得前背 景检测混乱，而 GMM 能够很好地描述不同状态； l 相对于单高斯模型的自适应变化，混合高斯模型的自适应变化要健壮的多。它能解决单高斯模型很多 不能解决的问题。如无法解决同一样本点的多种状态，无法进行模型状态转化等。
N ( x / C) = 1 −1 exp[− ( x − μ)T ∑ ( x − μ)] 2 (2π ) ∑ 1
(2)
式(2)表明样本属于类别 C 的概率大小。 从而将任意测试样本 xi 输入式(2)， 均可以得到一个标量 N ( xi ; μ, ∑) ， 然后根据阈值 t 来确定该样本是否属于该类别。 ² 阈值 t 的确定：可以为经验值，也可以通过实验确定。另外也有一些策略可以参考：如文献[1]中采用 搜索策略：首先令 t ＝0.7，以 0.05 为步长一直减到 0.1 左右，选择使样本变化最小的那个阈值做为最 终 t 值，也就是意味着所选 t 值所构造的分类模型最稳定。 几何意义理解：根据单高斯分布 PDF 的含义我们可以知道，符合 SGM 分布的二维点在平面上应该近 似椭圆形；相应地，三维点在空间中则近似于椭球状
1.1 单高斯模型
多维高斯（正态）分布概率密度函数 PDF 定义如下：
N ( x; μ, ∑) = 1 −1 exp[ − ( x − μ)T ∑ ( x − μ)] 2 (2π ) ∑ 1
(1)
注意与一维高斯分布不同，其中 x 是维数为 d 的样本向量（列向量） ， μ 是模型期望， Σ 是模型方差。 对于单高斯模型，由于可以明确训练样本是否属于该高斯模型（如训练人脸肤色模型时，将人脸图像 肤色部分分割出来，形成训练集） ，故 μ 通常由训练样本均值代替， Σ 由样本方差代替。为了将高斯分布 用于模式分类，假设训练样本属于类别 C ，那么，式(1)可以改为如下形式：
l ( X Θ) = log ∏ ∑α j N j ( x; μ j , Σ j )
i =1 j =1
N
M
= ∑ log ∑ α j N j ( x; μ j , Σ j )
i =1 j =1
N
M
(5)
2
西南交通大学，信息学院，xgong@
资料整理
2 采用 EM 估计 GMM 的参数
N
βij βij xi
ቤተ መጻሕፍቲ ባይዱ
N
(7) (8)
更新均值： μ'j = ∑ i =n1
n
∑
β i =1 ij
n
Ø
更新方差矩阵： Σ 'j = ∑ i =1
βij ( xi − µ 'j )( xi − µ 'j )T
∑
n i =1
βij
(9)
注意，有些文献把方差矩阵当作对角阵处理，即认为 Σ j = diag (σ 2 ) ，故采用如下公式估计 σ 2 ：
²
1
西南交通大学，信息学院，xgong@
资料整理
1.2 高斯混合模型
高斯混合模型是单一高斯机率密度函数的延伸，由于 GMM 能够平滑地近似任意形状的密度分布， 因此近年来常被用在语音、图像识别等方面，得到不错的效果。 例：有一批观察数据 X = { x1 ,..., xn } ，数据个数为 n ，在 d 维空间中的分布不是椭球状（如图 1(a)） ，那 么就不适合以一个单一的高斯密度函数来描述这些数据点的机率密度函数。此时我们采用一个变通方案， 假设每个点均由一个单高斯分布生成（如图 1(b)，具体参数 μ j , Σ j 未知） ，而这一批数据共由 M （明确） 个单高斯模型生成，具体某个数据 xi 属于哪个单高斯模型未知，且每个单高斯模型在混合模型中占的比例
3 源码
3.1 单高斯模型
下面代码实现了 SGM，并实现了人脸肤色检测。其中图像处理、矩阵运算采用了 openCV 库函数 /***************************************************************************** Single Gaussian Model for skin color extraction Param: img -- input image to extract the face region skinImg -- result *****************************************************************************/ void CSkinColor::RunSGM(IplImage *img, IplImage **skinImg) { if (img == NULL) return -1; ////////////////////////////////////////////////////////////////////////// // 以下参数一组(117.4361,156.5599)来自源码 light2，与文章《王航宇:基于 YCbCr 高斯肤色模型的 // 人脸检测技术研究》相同，另一组来自源码“肤色检测正式版” （103.0056, 140.1309） double M[]={103.0056, 140.1309}/*{117.4361,156.5599}*/;//M 为肤色在 YCbCr 颜色空间的样本均值 (Cb, Cr)，经验值 double C[2][2]={{160.1301,12.1430},//C 为肤色相似度模型的协方差矩阵，同上为经验值 {12.1430,299.4574}};// 注：因为运算仅需要该矩阵的逆矩阵值，故该值没有使用，仅作参考 double invC[2][2]={0.0077 ,-0.0041,-0.0041 ,0.0047 };//Ct 为 C 的逆矩阵值，由 matlab 计算而得 ////////////////////////////////////////////////////////////////////////// IplImage* pImg = img; double CrMean=0,CbMean=0,YMean=0; // 1 颜色转换：BGR->YCrCb IplImage*imgYCrCb=cvCreateImage(cvGetSize(pImg),IPL_DEPTH_8U,3);// YCrCb 图像
通常采用 EM 算法（期望值最大，Expectation Maximum）根据(5)式对 GMM 参数进行估计。具体推导 过程在很多文献可以参阅，这里不详述，我们主要介绍采用 EM 估计 GMM 参数的方法。 描述估计高斯混合分布的 EM 算法（参考“!!EM 算法.ppt” ） ： ² 初始值：
方案 1：协方差矩阵 Σ j 0 设为单位矩阵；每个模型比例的先验概率： α j 0 = 1/ M ；均值 μ j 0 设为随机数； 方案 2：由 k 均值（k-mean）聚类算法对样本进行聚类，利用各类的均值作为 μ j 0 ，并计算 Σ j 0 ， α j 0 取各 类样本占样本总数的比例。 ² 算法流程： （1）估计步骤（E-step） ： 令 α j 的后验概率为：