正态分布 课件

多元正态分布

、多元正态分布

1.多元正态分布的概率密度函数

多元是指样本以多个变量来描述，或具有多个属性，在此一般用d维特征向量表示，X＝[x1，…，xd]T。d维特征向量的正态分布用下式表示

(2-32)

其中μ是X的均值向量，也是d维，

μ＝E{X}＝[μ1，μ2，…，μd]T (2-33)

Σ是d×d维协方差矩阵，而Σ－1是Σ的逆矩阵，|Σ|是Σ的行列式

Σ＝E{(X－μ)(X－μ)T} (2-34)

Σ是非负矩阵，在此我们只考虑正定阵，即|Σ|＞0。

多元正态分布与单态量正态分布在形式上尽管不同，但有很多相似之处，实际上单变量正态分布只是维数为1的多元分布。当d=1时，Σ只是一个1×1的矩阵，也就是只有1个元素的矩阵，退化成一个数，|Σ|1/2也就是标准差σ，Σ－1也就是σ-2，而(X－μ)T(X－μ)也变成(X-μ)2，因此(2-32)也就演变成(2-29)。但是多元正态分布要比单变量时复杂得多，具有许多重要的特性，下面只就有关的特性加以简单叙述。 多元正态分布的概率密度函数中的元就是我们前面说得特征向量的分量数，也就是维数。为了方便我们着重讨论二维向量，是一个随机向量，其中每一个分量都是随机变量，服从正态分布。但是一个二维随机向量不仅要求考虑每个分量单独的分布，还要考虑两个随机变量之间的关系。下图的例子中的两个二元正态分布的各个分量是相同的，即它们的期望(μ1和μ2)方差σ1和σ2都相同，但这两个特征向量在空间的分布却不相同。从下图： 对右图来说，x1和x2有很大的相关性，而对左图来说，随机变量x1与x2之间的相关性很小。这可以从两者的区别看出来。对于右图可以看出一个随机变量的x1分量较小时，另一分量x2也必然较小。而当随机变量的x1较大时，则其相应的x2分量也较大。换句话说，如果x1分量小于其均值μ1,则其相应的分量x2也很可能小于它的均值μ2。因此当x1-μ12-μ2这两项相乘来看就有倾向化。对整个随机变量样本集取期望值，就会使有非零值。反过来看左图中的随机变量分布，就没有这种规律，一个随机变量x1分量小于其均值 ,并不对其相应分量x2与

如何使用强制正态分布法 如何使用强制正态分布法

“强制正态分布法”大多为企业在评估绩效结果时所采用。该方法就是按事物的“两头小、中间大”的正态分布规律，先确定好各等级在被评价员工总数所占的比例，然后按照每个员工绩效的优劣程度，强制列入其中的一定等级。GE前任首席执行官杰克·韦尔奇凭借该规律，绘制出了著名的“活力曲线”。按照业绩以及潜力，将员工分成

ABC三类，三类的比例为：

A类：20%；B类：70%；C类：10% 。

对A类这20%的员工，韦尔奇采用的是“奖励奖励再奖励”的方法，提高工资、股票期权以及职务晋升。A类员工所得到的奖励，可以达到B类的两至三倍；对于B类员工，也根据情况，确认其贡献，并提高工资。但是，对于C类员工，不仅没有奖励，还要从企业中淘汰出去。综观“强制分布法”，具有如下优点：

一、等级清晰、操作简便

等级划分清晰，不同的等级赋予不同的含义，区别显著；并且，只需要确定各层级比例，简单计算即可得出结果。

二、刺激性强

“强制分布法”常常与员工的奖惩联系在一起。对绩效“优秀”的重奖，绩效“较差”的重罚，强烈的正负激励同时运用，给人以强烈刺激。

三、强制区分

由于必须在员工中按比例区分出等级，会有效避免评估中过严或过松等一边倒的现象。

随着杰克·韦尔奇和他的GE成功，“强制分布法”得到了国内外越来越多企业的青睐。许多大企业纷纷采用此方法，按照不同的绩效等级，对员工进行奖惩。在实践中，一些企业也如GE一样取得了成效，但同时，也有为数不少的企业，尝到了失败的苦涩。

珠三角有一家音响器材厂，老板禀性敦厚，原本生意不错。为了使公司管理走向正规，开始了轰轰烈烈的考核。他们采用“强制分布法”，将考核结果分为四级，分别是：优异10%；优秀10%；一般75%；较差5% 。对考核“优异”的员工，工资上调20%；考核“优秀”的员工，工资上调5%；对考核“一般”的员工，不长工资，根据当月效益，给予一定的奖金（优异和优秀的员工也可同样获得）；对考核“较差”的员工，无任何奖励，并且限期改善绩效，否则只能淘汰。没有想到，考核开始了，该老板的烦恼也开始了。该老板遇到的问题有如下几个：

高斯与正态分布

1809年，高斯(Carl Friedrich Gauss，1777—1855)发表了其数学和天体力学的名著《绕日天体运动的理论》。在此书末尾，他写了一节有关“数据结合”（data combination）的问题，实际涉及的就是这个误差分布的确定问题。

他的做法与拉普拉斯相同。但在往下进行时，他提出了两个创新的想法。一是他不采取贝叶斯式的推理方式，测量误差是由诸多因素形成，每种因素影响都不大。按中心极限定理，其分布近似于正态分布是势所必然。其实，早在1780年左右，拉普拉斯就推广了狄莫佛的结果，得到了中心极限定理的比较一般的形式。可惜的是，他未能把这一成果用到确定误差分布的问题上来。高斯的第二点创新的想法是：他把问题倒过来，先承认算术平均是应取的估计，然后去找误差密度函数条件下才能成立，这就是正态分布。一种概率分布。正态分布是具有两个参数μ和σ2的连续型随机变量的分布，第一参数μ是遵从正态分布的随机变量的均值，第二个参数σ2是此随机变量的方差，所以正态分布记作N(μ，σ2 )。遵从正态分布的随机变量的概率规律为取μ邻近的值的概率大，而取离μ越远的值的概率越小；σ越小，分布越集中在μ附近，σ越大，分布越分散。正态分布的密度函数的特点是：关于μ对称，在μ处达到最大值，在正（负）无穷远处取值为0，在μ±σ处有拐点。它的形状是中间高两边低，图像是一条位于x轴上方的钟形曲线。当μ＝0，σ2＝1时，称为标准正态分布，记为N（0，1）。μ维随机向量具有类似的概率规律时，称此随机向量遵从多维正态分布。多元正态分布有很好的性质，例如，多元正态分布的边缘分布仍为正态分布，它经任何线性变换得到的随机向量仍为多维正态分布，特别它的线性组合为一元正态分布。

正态分布最早由A.棣莫弗在求二项分布的渐近公式中得到。C.F.高斯在研究测量误差时从另一个角度导出了它。P.S.拉普拉斯和高斯研究了它的性质。

彻底理解正态分布

每个试图进入强大的数据科学世界的人都会遇到正态分布。在这篇文章中，我将以一种非常清晰的方式解释它到底是什么，我们如何解释它，以及为什么它作为一个每个数据科学家都必须意识到的概念具有巨大的重要性。

什么是正态分布？

正态分布也被称为高斯分布或钟形曲线（因为它看起来像一个钟），这是统计学中最重要的概率分布，就像我们在大自然中经常看到的那样，它有点神奇。例如，身高、体重、血压、测量误差、智商得分等都服从正态分布。

还有一个跟它相关的，并且非常重要的概念，叫中心极限定理，这将在以后的文章中讨论。

现在，参考上面的图像，并了解一个正常变量的值是如何分布的。这是一个对称分布，其中大多数观测值聚集在具有最高发生概率的中心峰（均值/平均值）附近，并且当我们在两个方向上都偏离中心峰时，我们看到曲线尾部出现值的可能性越来越小。此图描绘了一个群体的智商水平，可以理解，智商水平非常低或智商水平很高的人很少见，并且大多数人都处于平均智商得分范围内。 我们周围的很多很多变量都可以用这个正态分布来描述。想想所有同事到达办公室所需要的时间，只有少数人会住在5分钟或2个多小时的距离内(尾部)。大多数人将在20分钟-70分钟的距离(即峰值附近的区域)。当你研究越来越多的正态分布的变量时，你会发现它无处不在。

正态分布的参数

正态分布总是以平均值为中心，而曲线的宽度则由标准差(SD)决定。

这是两个正态分布，x轴上的高度单位是英寸，y轴上是特定高度对应的人数。

1. 婴儿的平均身高为20英寸（50cm），标准差为0.6英寸（1.5cm）。

2. 成年人的平均分布为70英寸（175cm），标准差为4英寸（10cm）

了解正态分布标准差的意义在于，它遵循一个经验法则，即大约95%的测量值落在均值附近的+/- 2倍个标准差之间。

推论：95%的人口落在平均值+/- 2*SD之间

1. 95%的婴儿身高在20 +/- 1.2英寸之间