多元统计分析:第二章 多元正态分布及
- 格式:ppt
- 大小:765.00 KB
- 文档页数:83
思考与练习2.1 试述多元联合分布和边缘分布之间的关系。
2.2 设随机向量12(,)X X ′=X 服从二元正态分布,写出其联合分布密度函数和1X 、2X 各自的边缘密度函数。
2.3 已知随机向量12(,)X X ′=X 的联合分布密度函数为:()()()()()()()()()121122222,d c x a b a x c x a x c f x x b a d c −−+−−−−−2⎡⎤⎣⎦=−−其中,。
求:12,a x b c x d ≤≤≤≤⑴ 随机变量1X 和2X 各自的边缘密度函数、均值与方差。
⑵ 随机变量1X 和2X 的协方差和相关系数。
⑶ 判断1X 和2X 是否相互独立。
2.4 设随机向量12(,,,)p X X X ′=X L 服从正态分布,已知其协差阵为对角阵,证明ΣX 的分量是相互独立的随机变量。
2.5 从某企业全部职工中随机抽取一个容量为6的样本,该样本中各职工的目前工资、受教育年限、初始工资和工作经验资料如下表所示: 职工编号目前工资 (美元)受教育年限(年)初始工资 (美元)工作经验(月)11 2 3 4 5 6 57,000 40,200 21,450 21,900 45,000 28,350 15 16 12 8 15 8 27,000 18,750 12,000 13,200 21,000 12,000 144 36 381 190 138 26设职工总体的以上变量服从多元正态分布,根据样本资料求出均值向量和协差阵的最大似然估计。
2.6 均值向量和协差阵的最大似然估计量具有哪些优良性质? 2.7 试证多元正态总体的样本均值向量(,)p N μΣ1~(,p N nX μΣ)。
2.8 试证多元正态总体的样本协差阵S 为(,)p N μΣΣ的无偏估计。
2.9 设()1x 、()2x 、…、()n x 是从多元正态总体中独立抽取的一个随机样本,试求样本协差阵的分布。
第2章多元正态分布§2.1 多元分布§2.2 多元正态分布的定义及基本性质§2.3 正态分布的条件分布和独立性§2.4 矩阵正态分布§2.5 参数的极大似然估计§2.6 极大似然估计的性质13),21′=p ξξξ (ξ随机向量:pn ij ξξ×=)(随机矩阵:注:随机矩阵拉直后就是随机向量,二者都是由多个随机变量组成,只是摆放形势不同.4一、多元分布函数1212121122122.1.1 (,,,)()(,,,) ()(,,,)(,,,)(,,,)~.p p p p p pp ξξξξξξF x F x x x P ξx ξx ξx x x x x R F ξξ′===≤≤≤′=∈ 定义设是一随机向量,它的多元分布函数的联合分布函数定义为式中,记作512122112(1)(,,,)(1,2,,)(2)0(,,,)1(3)(,,,)(,,,)(,,,)0(4)(,,,)1p i p p p F x x x x i p F x x x F x x F x x F x x F =≤≤−∞=−∞==−∞=+∞+∞+∞= 是每个变量的单调非降右连续函数.多元分布函数的性质:71)( )2( ,0)( )1()(=∈∀≥⋅∫dx x f R x x f R f pR pp 当且仅当随机向量的分布密度,中某个能作为一个多元函数9二、边缘分布.)( 3.1.2)1(的边缘分布的分布称为个分量组成的随机向量的维随机向量,由它为若定义ξξξp q q p <10),,,,,,(),,,,,),,)111111)1()2()1(∞∞∞=∞≤∞≤≤≤=≤≤=≤⎟⎟⎠⎞⎜⎜⎝⎛=+ q p q q q q q u u F u ξu ξP u ξu ξP u ξP ξξξξξξ((((1)的分布函数为,则不妨假设11(1)(1212112111)(,,)(,,)q q u u u p p u u u p q p q P ξu f t t dt dt dt f t t dt dt dt dt ∞∞∞−∞−∞−∞−∞−∞−∞∞∞∞+−∞−∞−∞−∞−∞−∞≤=⎡⎤=⎢⎥⎣⎦∫∫∫∫∫∫∫∫∫∫∫∫ 若ξ有分布密度函数f (x ),则12p q p q q q dt dt t t x x f x x f ξ1111)1(),,,,,(),,(++∞∞−∞∞−∞∞−∫∫∫=的边缘分布密度为(1)13注:(1)有分布密度函数,则它的任何边缘分布也有分布密度函数;(2)若的任何边缘分布有分布密度函数,并不能推出有分布密度.ξξξ两个随机向量独立的充分必要条件:①联合分布函数等于边缘分布函数的乘积;②若随机向量为连续型的,联合分布密度等于边缘分布密度的乘积;③若随机向量为离散型,联合分布列等于边缘分布列的乘积;④联合特征函数等于边缘特征函数的乘积.1621).()(~),(~),(~,)4(t t t t ηηηξηξηξΦΦ+ΦΦξξ则量的随机向是相互独立且维数相同与若).()(),( ,)()(,,)5()2()1()2()1(t t t t t t q p ηξξΦΦ=Φ⇔ΦΦ⎟⎟⎠⎞⎜⎜⎝⎛Φ独立和则的特征函数和分别为和特征函数的表示维随机向量和分别为和若ηξηξηξηξη22(7) .p a ξξ′若为维随机向量,则它的分布由一切形如的分布所唯一决定).()exp()( ,),(~ )6(t A a t i t a A t ′Φ′=Φ+=Φξηξηξ则若ξ23).()exp()])([exp()exp()][exp()exp())]([exp()][exp()(t A a t i t A i E a t i A t i E a t i a A t i E t i E t ′Φ′=′′′=′′=+′=′=Φξηξξξη证明:(6)24.,3,,),()][exp()1( 1)][exp()( )7(:的分布它决定了知由性质的特征函数恰好是的函数把它看成得取的特征函数为证明ξξξξa a a i E t a it E t a a a Φ=′=Φ=′=Φ′′′ξξξξ25五、矩2.1.6 ()(), 1, 2, , ,1, 2, , ,()(), .ij ij ij n p E i n j p E ξξξεξξξ=×=== 定义设为随机矩阵,假定存在且有限记称为随机矩阵的均值)()( ij E ξξε=26,(1) ,,,( )(),()()A B C A B C A B CA A εξεξξεξεξ+=+=若为常数矩阵则特别当为随机向量时有注:以下总假定公式中用到的随机矩阵的矩是存在的.均值的性质:27)]([)]([)] )4()()( , )3()()( ,, )2(ξεξεξξηεξεηξεηεξεηξεA tr A tr A E n p A p n b a b a b a B A B A B A ==××+=++=+[tr()()(则常数矩阵,为随机矩阵,为若为常数,则若则为常数矩阵若注:以上四个性质均体现均值的线性性.28().),,cov()(),cov(])()][([),cov( ),,cov(,)(),), 7.2.1 2121的协方差称为时,记作当即其元素是矩阵定义为一个简称协差阵阵的协方差维随机向量,它们之间维和分别为和设定义ξξξξηξηξηεηξεξεηξηξηηηηξ===′−−=×′=′=D p n p n ξξξj i j i p n ((29() ),cov(),cov( j i ηξηξ=()),cov(),cov(j i ξξξξ=31.])(][)([)())()()( ,)2(.})(){() (),cov(,})(){() (),cov()1(′−−+=′−−=+′−′=′−′=a a D a a D a D a ξεξεξξξεξξξεξεξξεξξηεξεηξεηξ(则为常向量若特别协差阵的性质:32A AD A DB A B A B A ′=′=)()( ),cov(),cov( ,)3(ξξηξηξ特别则为常数矩阵和设协差阵的性质(续)35则记值和协差阵存在的均若随机向量定理 ),( ),( ,),,, 1.1.221ξξεμD ξξξξn =Σ=′= ()()( μμξξA A tr A E ′+Σ=′36μμμμξξξξξξA A tr A tr A Etr A Etr A E ′+Σ=′+Σ=′=′=′)()}({)()()(μμξξεξεξεξξεξ′+Σ=′′−′=) (,})(){() ()(:所以因为证明D。
练习二 多元正态分布的参数估计2.1.试叙述多元联合分布和边际分布之间的关系。
解:多元联合分布讨论多个随机变量联合到一起的概率分布状况,12(,,)p X X X X '=的联合分布密度函数是一个p 维的函数,而边际分布讨论是12(,,)p X X X X '=的子向量的概率分布,其概率密度函数的维数小于p 。
2.2设二维随机向量12()X X '服从二元正态分布,写出其联合分布。
解:设12()X X '的均值向量为()12μμ'=μ,协方差矩阵为21122212σσσσ⎛⎫ ⎪⎝⎭,则其联合分布密度函数为1/21222112112222122121()exp ()()2f σσσσσσσσ--⎧⎫⎛⎫⎛⎫⎪⎪'=---⎨⎬ ⎪⎪⎝⎭⎝⎭⎪⎪⎩⎭x x μx μ。
2.3已知随机向量12()X X '的联合密度函数为121212222[()()()()2()()](,)()()d c x a b a x c x a x c f x x b a d c --+-----=-- 其中1a x b ≤≤,2c x d ≤≤。
求(1)随机变量1X 和2X 的边缘密度函数、均值和方差; (2)随机变量1X 和2X 的协方差和相关系数; (3)判断1X 和2X 是否相互独立。
(1)解:随机变量1X 和2X 的边缘密度函数、均值和方差;112121222[()()()()2()()]()()()d x cd c x a b a x c x a x c f x dx b a d c --+-----=--⎰12212222222()()2[()()2()()]()()()()dd c c d c x a x b a x c x a x c dx b a d c b a d c -------=+----⎰ 121222202()()2[()2()]()()()()dd c c d c x a x b a t x a t dt b a d c b a d c ------=+----⎰ 2212122222()()[()2()]1()()()()d cdc d c x a x b a t x a t b a d c b a d c b a------=+=----- 所以由于1X 服从均匀分布,则均值为2b a+,方差为()212b a -。
第2章 多元正态分布多元正态分析是一元正态分布向多元的自然推广。
多元正态分布是多元分析的基础,多元分析的许多理论都是建立在多元正态总体基础上的。
虽然实际的数据不一定恰好是多元正态的,但是正态分布常常是真实的总体分布的一种有效的近似。
所以研究多元正态分布在理论上或实际上都有重大意义。
限于篇幅,本章仅简介多元正态简单理论,细节可参看王学民(2004),张尧庭(2002),余锦华(2005),Richard (2003),朱道元(1999)等。
现实世界的许多问题都可以纳入正态理论的范围内,正态分布可以作为许多统计量的近似的抽样分布。
2.1随机向量2.1.1随机向量定义2.1.1:称每个分量都是随机变量的向量为随机向量。
类似地,所有元素都是随机变量的矩阵称为随机矩阵。
设()1,,p X X X '= 是1p ⨯随机向量,其概率分布函数定义为:(){}111,,,,p p p F x x P X x X x =≤≤ ,1,,p x x 为任意实数多元分布函数()1,,p F x x 有如下性质: (1)()10,,1p F x x ≤≤ ;(2)()1,,p F x x 是每个变量,1,2,,i x i p = 的非降右连续函数; (3)(),,1F ∞∞= ;(4)()()()211,,,,,,,0p p F x x F x x F x -∞=-∞==-∞= 。
多元分布和一元分布一样也分为离散型和连续型。
连续型随机向量()1,,pX X X '= 的分布函数可以表示为 : ()()1111,,,,px x p p p F x x f t t dt dt -∞-∞=⎰⎰,()1,,pp x x R ∈ (2.1)称()1,,p f x x 是()1,,p X X X '= 的多元联合概率密度,简称多元概率密度或多元密度。
多元概率密度()1,,p f x x 有以下性质: (1)()1,,p f x x 非负; (2)()11,,1p p f x x dx dx ∞∞-∞-∞=⎰⎰ ;(3)()()111,,,,p p p nF x x f x x x x ∂=∂∂2.1.2边缘分布、条件分布和独立性 边缘分布设()1,,p X X X '= 是p 维连续型随机向量,由其q 个分量组成的向量()1X (不妨设()()11,,q X X X '= )的分布称为的边缘分布,其边缘概率密度为:()()()1111,,,,X q p q p f x x f x x dx dx ∞∞+-∞-∞=⎰⎰ (2.2)条件分布设()1,,p X X X '= 是p 维连续型随机向量,()()11,,q X X X '= ,()()()()2112,,,,,0q p X q p X X X f x x ++'=> ,在给定()2X 的条件下,()1X 的条件概率密度函数为:()()()()21111,,,,,,,,p q q p X q p f x x f x x x x f x x ++=(2.3)独立性设()1,,n X X 是连续型随机向量,则1,,n X X 相互独立当且仅当()()()111,,n n X X n f x x f x f x = 对任意1,,n x x 成立。
多元统计分析第二章多元正态分布多元正态分布(Multivariate Normal Distribution),是指多个随机变量服从正态分布的情况。
在统计学中,多元正态分布是一个重要的概率分布,广泛应用于多个领域,如经济学、金融学、生物学、工程等。
多元正态分布的概率密度函数可以表示为:f(x;μ,Σ) = (2π)^(-k/2) ,Σ,^(-1/2) exp(-(x-μ)'Σ^(-1)(x-μ)/2)其中,x表示一个k维向量(k个随机变量),μ是一个k维向量,表示均值向量,Σ是一个k*k维协方差矩阵,Σ,表示协方差矩阵的行列式,'表示向量的转置,Σ^(-1)表示协方差矩阵的逆矩阵,exp表示指数函数。
多元正态分布具有以下特点:1.对称性:多元正态分布的密度函数是关于均值向量对称的。
2.线性组合:多元正态分布的线性组合仍然服从正态分布。
3.条件分布:给定其他变量的取值,多元正态分布的边缘分布和条件分布仍然服从正态分布。
4.独立性:多元正态分布的随机变量之间相互独立的充要条件是它们的协方差矩阵为对角矩阵。
对于多元正态分布,可以使用协方差矩阵来描述不同随机变量之间的相关程度。
协方差矩阵的对角线元素表示各个随机变量的方差,非对角线元素表示各个随机变量之间的协方差。
多元正态分布的参数估计也是统计学中一个重要的问题。
通常可以使用最大似然估计方法来估计均值向量和协方差矩阵。
在实际应用中,多元正态分布可以用来描述多个相关变量的联合分布。
例如,在金融学中,可以使用多元正态分布来建模多个股票的收益率。
在生物学中,可以使用多元正态分布来建模多个基因的表达水平。
除了多元正态分布,还存在其他的多元分布,如多元t分布、多元卡方分布等。
这些分布可以用来处理更一般的随机变量,具有更广泛的应用领域。
总之,多元正态分布是统计学中一个重要的概率分布,具有许多重要的性质和应用。
通过对多元正态分布的研究,可以更好地理解和分析多个相关变量的联合分布,推断和预测相关变量的取值,并为实际问题提供可靠的解决方案。
《多元统计分析》MOOC2.1 多元分布王学民一、多元概率分布函数v随机向量:一个向量,若它的分量都是随机变量。
v 随机变量x 的分布函数:v 随机变量x 1和x 2的联合分布函数:v 随机向量的分布函数:v本课程主要讨论连续型的分布。
()12,,,p x x x '=x ()()F a P x a =≤()()121122,,,,,,p p p F a a a P x a x a x a =≤≤≤ ()()121122,,F a a P x a x a =≤≤二、多元概率密度函数v一元的情形:v二元的情形:vp 元的情形:v概率密度函数,简称概率密度或密度函数或密度。
()()d a F a f x x -∞=⎰12121212(,)(,)d d a a F a a f x x x x -∞-∞=⎰⎰1111(,,)(,,)d d pa a p p pF a a f x x x x -∞-∞=⎰⎰分布函数的概念主要用于理论上的讨论,本课程仅在此提一下,后面将不再提及。
分布用密度来描述较为方便。
概率密度的性质v一元密度f (x )的性质:v多元密度f (x 1,⋯,x p )的性质:1111(,,)0,,(,,)d d 1p p p p f x x x x f x x x x ∞∞-∞-∞≥=⎰⎰(1),对一切实数;(2)。
()0()d 1f x x f x x ∞-∞≥=⎰(1),对一切实数;(2)。
三、边缘分布v 边缘分布:p 维随机向量 的任意子向量的分布。
v边缘分布可以是关于一个变量,两个变量,…,p −1个变量的边缘分布。
()12,,,p x x x '=x四、条件分布v条件分布:在一些已知条件下的分布。
v例1研究某人群,x1——身高,x2——体重,该人群中x2的分布为f(x2)。
如果已知某人的x1=1.80(米),则对该人体重的推断应依据f(x2|x1=1.80),而不是f(x2)。
多元统计分析多元正态分布与协方差矩阵的公式整理多元统计分析是指研究多个变量之间相互关系的统计方法。
在多元统计分析中,多元正态分布和协方差矩阵是基础且重要的概念和工具。
它们在众多的多元统计方法中起到了至关重要的作用。
本文将对多元正态分布和协方差矩阵的公式进行整理和说明。
一、多元正态分布多元正态分布是多元统计分析的核心概念之一。
它是一种多变量随机向量服从正态分布的情况。
在多元正态分布中,以向量形式表示的随机变量服从一个满足以下条件的正态分布,即多元正态分布。
多元正态分布的概率密度函数如下所示:f(x) = (2π)^(-p/2)|Σ|^(-1/2)exp(-1/2(x-μ)^TΣ^(-1)(x-μ))其中,f(x)表示多元正态分布的概率密度函数,x为随机向量,p为随机向量的维度,μ为均值向量,Σ为协方差矩阵,^T表示转置,^(-1)表示逆矩阵,|Σ|表示协方差矩阵的行列式。
二、协方差矩阵协方差矩阵是多元统计分析中描述多个变量之间相关关系的重要工具。
它衡量了各个变量之间的线性相关程度和方向。
协方差矩阵的公式如下:Σ = [σ_1^2, σ_12, σ_13, ..., σ_1p][σ_21, σ_2^2, σ_23, ..., σ_2p][σ_31, σ_32, σ_3^2, ..., σ_3p][..., ..., ..., ..., ...][σ_p1, σ_p2, σ_p3, ..., σ_p^2]其中,Σ是一个p行p列的矩阵,表示共有p个变量,σ_ij表示第i个变量与第j个变量的协方差。
协方差矩阵具有以下性质:1. 协方差矩阵是一个对称矩阵,即σ_ij=σ_ji。
2. 协方差矩阵的对角线元素是各个变量的方差,即σ_ii是第i个变量的方差。
3. 协方差矩阵的非对角线元素是各个变量之间的协方差。
协方差矩阵的逆矩阵被称为精度矩阵,表示各个变量之间的精确度。
三、公式整理在多元统计分析中,多元正态分布和协方差矩阵的公式是相互关联的。