gmm算法理解

第２４卷　第Ｏ２期　计　算　机　仿　真　２００７年０２月　

文章编号：１００６—９３４８（２００７）０２—００６５一Ｏ４　

一种基于贪心ＥＭ算法学习ＧＭＭ的聚类算法　

王维彬　，钟润添　

（１．中围科学技术大学计箅机系，安徽合肥２３００２７；　

２．中国科学技术大学电子科学与技术系，安徽合肥２３００２７）　

摘要：传统的聚类算法如ｋ—ｍｅａｎｓ算法需要一些先验知识米确定初始参数，初始参数的选择通常会对聚类结果生产很大的　影响。提出一种新的基于模型的聚类算法，通过优化给定的数据和数学模型之间的适应性发现数据对模型的最好匹配。由于　

高斯混合模型可以看作是一种“软分配聚类”方法。该算法结合一种贪心的ＥＭ算法来学习高斯混合模型（ＧＭＭ），由贪心　

ＥＭ算法实现高斯混合模型结构和参数的自动学习。而不需要先验知识。这种聚类算法可以克服　一ｍｅａｎｓ等算法的缺点，实　验结果表明该算法具有更好的聚类效果。　关键词：聚类算法；贪心策略；期望最大化算法；高斯混合模型；模型学习　

中图分类号：ＴＰ１８１　文献标识码：Ａ　

Ａ　Ｃｌｕｓｔｅｒｉｎｇ　Ａｌｇｏｒｉｔｈｍ　Ｂａｓｅｄ　ｏｎ　Ｇｒｅｅｄｙ　ＥＭ　Ａｌｇｏｒｉｔｈｍ　Ｌｅａｒｎｉｎｇ　ＧＭＭ　

ＷＡＮＧ　Ｗｅｉ—ｂｉｎ　．ＺＨ０ＮＧ　Ｒａｎ—ｔｉａｎ　

（１．Ｄｅｐｔ．ｏｆ　Ｃｏｍｐｕｔｅｒ，Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ　ｏｆ　Ｃｈｉｎａ，Ｈｅｆｅｉ　Ａｎｈｕｉ　２３００２７，Ｃｈｉｎａ；　

２．Ｄｅｐｔ．ｏｆ　Ｅｌｅｃｔｒｏｎｉｃ　Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ　ｏｆ　Ｃｈｉｎａ，Ｈｅｆｅｉ　Ａｎｈｕｉ　２３００２７，Ｃｈｉｎａ）　

ＡＢＳＴＲＡＣＴ：Ｔｒａｄｉｔｉｏｎａｌ　ｃｌｕｓｔｅｒｉｎｇ　ａｌｇｏｒｉｔｈｍｓ　ｓｕｃｈ　ａｓ　ｋ—ｍｅａｎｓ　ａｌｇｏｒｉｔｈｍ　ｒｅｑｕｉｒｅ　ｓｏｍｅ　ｐｒｉｏｒ　ｋｎｏｗｌｅｄｇｅ　ｔｏ　

第２７卷　

Ｖ０１．２７　第１１期　

ＮＯ．１１　计算机工程与设计　

Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ｄｅｓｉｇｎ　２００６年６月　

Ｊｕｎｅ　２００６　

基于ＰＣＡ和ＧＭＭ　的图像分类算法　

肖政宏　，　王家廒　

（１．湖南文理学院计算机系，湖南常德４１５０００；２．清华大学智能技术与系统国家重点试验室，北京１０００８４）　

摘　要：讨论了目标图像类和非目标图像类的分类方法。按统计学原理，如果图像类属于目标图像类，则提取图像中目标图　像的特征，否则提取整幅图像的底层特征，基于主分量分析（ＰＣＡ）的图像特征降维方法和高斯混合模型（ＧＭＭ）分类器，提出　

了一种图像分类算法，该算法在标准的Ｃｏｒｅｌ图像库上进行了测试，并与其它基于ＧＭＭ的方法进行了比较，实验结果表明了　

提出算法的有效性。　

关键词：图像分类：目标图像；非目标图像；主分量分析；高斯混合模型　

中图法分类号：ＴＰ３９１．４１　文献标识码：Ａ　文章编号：１０００．７０２４（２００６）１１．１９５１．０３　

Ｉｍａｇｅ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｌｇｏｒｉｔｈｍ　ｂａｓｅｄ　ｏｎ　ＰＣＡ　ａｎｄ　ＧＭＭ　

ＸＩＡ０　Ｚｈｅｎｇ．ｈｏｎｇ　．　Ⅵ　ＮＧ　Ｊｉａ．ｘｉｎ　

（１．ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅｓ　ａｎｄＴｅｃｈｎｏｌｏｇｙ，ＨｕｎａｎＵｎｉｖｅｒｓｉｔｙｏｆＡｒｔｓａｎｄＳｃｉｅｎｃｅ，Ｃｈａｎｇｄｅ４１５０００，Ｃｈｉｎａ；　

２．Ｓｔａｔｅ　Ｋｅｙ　Ｌａｂ　ｏｆ　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｔｅｃｈｎｏｌｏｇｙ　ａｎｄ　Ｓｙｓｔｅｍｓ，Ｔｓｉｎｇｈｕａ　Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ　１０００８４，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｔｈｅｉｍａｇｅｃｌａｓｓｉｆｉｃａｔｉｏｎｍｅｔｈｏｄｏｆｏｂｊｅｃｔａｎｄｎｏｎ—ｏｂｊｅｃｔｉｓｄｉｓｃｕｓｓｅｄ．Ａｃｃｏｒｄｉｎｇｔｏｔｈｅｐｒｉｎｃｉｐｌｅｏｆｓｔａｔｉｓｔｉｃｓ，ｉｆｃｌａｓｓｉｆｉｃａｔｉｏｎ　

高斯模型就是用高斯概率密度函数（正态分布曲线）精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数（正态分布曲线）形成的模型。

对图像背景建立高斯模型的原理及过程：图像灰度直方图反映的是图像中某个灰度值出现的频次，也可以认为是图像灰度概率密度的估计。如果图像所包含的目标区域和背景区域相比比较大，且背景区域和目标区域在灰度上有一定的差异，那么该图像的灰度直方图呈现双峰-谷形状，其中一个峰对应于目标，另一个峰对应于背景的中心灰度。对于复杂的图像，尤其是医学图像，一般是多峰的。通过将直方图的多峰特性看作是多个高斯分布的叠加，可以解决图像的分割问题。

在智能监控系统中，对于运动目标的检测是中心内容，而在运动目标检测提取中，背景目标对于目标的识别和跟踪至关重要。而建模正是背景目标提取的一个重要环节。

我们首先要提起背景和前景的概念，前景是指在假设背景为静止的情况下，任何有意义的运动物体即为前景。建模的基本思想是从当前帧中提取前景，其目的是使背景更接近当前视频帧的背景。即利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景,但是由于光照突变以及其他外界环境的影响，一般的建模后的背景并非十分干净清晰，而高斯混合模型是是建模最为成功的方法之一。

混合高斯模型使用K（基本为3到5个）个高斯模型来表征图像中各个像素点的特征,在新一帧图像获得后更新混合高斯模型, 用当前图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点, 否则为前景点。 通观整个高斯模型，主要是有方差和均值两个参数决定，对均值和方差的学习，采取不同的学习机制,将直接影响到模型的稳定性、精确性和收敛性 。由于我们是对运动目标的背景提取建模，因此需要对高斯模型中方差和均值两个参数实时更新。为提高模型的学习能力,改进方法对均值和方差的更新采用不同的学习率;为提高在繁忙的场景下,大而慢的运动目标的检测效果,引入权值均值的概念,建立背景图像并实时更新,然后结合权值、权值均值和背景图像对像素点进行前景和背景的分类。

PID算法的理解及实现

关于理解PID控制算法最典型的一个例子就是一个漏水的水缸的问题。网上有很多讲解PID的帖子会讲到这个例子。这里我也把我自己对于PID的理解用这个例子阐述一遍。

有个漏水的水缸，而且漏水的速度还不是恒定的。然后我们还有个水桶，我们可以控制往水缸里面加水或者从水缸里面舀水出来。另外我们可以检测水平面。现在我们的目的就是要控制水平面稳定在我们想要的任何一个平面上。

注意我们使用PID需要在一个闭环系统里面。什么叫闭环系统，就是有输入有反馈，输入就是能输入一个量去影响和控制我们的系统，反馈就是我们要能知道我们最终控制的东西的状态。在这个漏水的水缸系统中，输入就是这个水桶，我们能通过水桶往水缸里面加水或者从水缸里面舀水出来来影响我们水缸的水平面，反馈的话也就是说我们要能测量水平面，知道水平面是多少。控制系统原理图如下： 我们来看看公式： 其中Kp为比例系数，Ti为积分时间常量，Td为积分时间常量。

比例控制理解

首先是比例控制。比例控制就好比是通过水桶往水缸加水或者从水缸舀水。假设我们需要把水平面稳定在A平面，而实际水平面在B平面，那么水平面差值Err=A-B，那这个时候我们需要往里面加水的量就是Kp*Err，Kp就是我们的比例控制系数。 如果A>B，Err为正，就往水缸里面加水；如果A<> 这里也许有人会有疑问，如果这里把比例控制系数Kp直接设置成1，然后加水的量直接为Err=A-B不就可以了。然而实际上很多系统是做不到这点的。比如温度控制系统，实际温度为10度，我要通过加热把温度提升到40度，这里难道我们能一次性准确的给系统加30度？显然这是做不到的。那么比例控制的最终结果是Err的值趋向于0。比例控制部分公式如下图：

微分控制理解

然后我们先看看微分控制。在我们的比例控制的作用下，Err是开始减小的（假设一开始预期水平面A大于实际水平面B，也就是说Err是一个正值），那么也就是说Err随时间是一条斜率小于0的曲线，那么在周期时间内，Err越大，微分的绝对值越大，那么也就对Err的减小速度是起到抑制的作用的，直到最后斜率为0微分才会停止作用。微分公式如下： 那么随着微分的影响，Err曲线的斜率最终是趋向于0的，如下图：