正态分布与参数估计共30页文档
- 格式:ppt
- 大小:2.89 MB
- 文档页数:30
第二章多元正态分布及参数的估计在多元统计分析中,多元正态分布占有相当重要的地位.这是因为许多实际问题涉及到的随机向量服从正态分布或近似服从正态分布;当样本量很大时,许多统计量的极限分布往往和正态分布有关;此外,对多元正态分布,理论与实践都比较成熟,已有一整套行之有效的统计推断方法.基于这些理由,我们在介绍多元统计分析的种种具体方法之前,首先介绍多元正态分布的定义、性质及多元正态分布中参数的估计问题.目录§2.1 随机向量§2.2 多元正态分布的定义与基本性质§2.3 条件分布和独立性§2.4 多元正态分布的参数估计§2.1 随机向量本课程所讨论的是多变量总体.把p个随机变量放在一起得X=(X1,X2,…,Xp)′为一个p维随机向量,如果同时对p维总体进行一次观测,得一个样品为p维数据.常把n个样品排成一个n×p矩阵,称为样本资料阵.⎪⎪⎪⎪⎭⎫⎝⎛'''=⎪⎪⎪⎪⎭⎫ ⎝⎛=)()2()1(212222111211n np n n p p X X X x x x x x x x x x X def=(X 1,X 2,…,X p )其中 X(i)( i =1,…,n)是来自p 维总体的一个样品.在多元统计分析中涉及到的都是随机向量,或是多个随机向量放在一起组成的随机矩阵.本节有关随机向量的一些概念(联合分布,边缘分布,条件分布,独立性;X 的均值向量,X 的协差阵和相关阵,X 与Y 的协差阵)要求大家自已复习.三﹑ 均值向量和协方差阵的性质 (1) 设X ,Y 为随机向量,A ,B 为常数阵,则E(AX )=A·E(X ),E(AXB )=A·E(X )·BD(AX)=A·D(X)·A' COV(AX,BY)=A·COV(X,Y)·B'(2) 若X,Y 相互独立,则COV(X,Y)=O;反之不成立. 若COV(X,Y)=O,我们称X 与Y 不相关.故有: 两随机向量若相互独立,则必不相关;两随机向量若不相关,则未必相互独立.(3) 随机向量X=(X1,X2,…,Xp)′的协差阵D(X)=∑是对称非负定阵.即 ∑=∑´ , α´ ∑α≥0 (α为任给的p 维常量).(4) Σ=L 2 ,其中L 为非负定阵.由于Σ≥0(非负定),利用线性代数中实对称阵的对角化定理,存在正交阵Γ,使LL pp•=Γ⎪⎪⎪⎭⎫⎝⎛Γ•Γ⎪⎪⎪⎭⎫⎝⎛Γ=∑'0'0011λλλλ.0,1≥'=Γ'⎪⎪⎪⎭⎫⎝⎛Γ=L L L OOL p故,其中λλ当矩阵Σ>0(正定)时,矩阵L 也称为Σ的平方根矩阵,记为21∑.当矩阵Σ>0(正定)时,必有p ×p 非退化矩阵A 使得 Σ=AA ′.1⎪⎪⎪⎭⎫⎝⎛Γ=pOOA λλ其中若Σ≥0(非负定),必有p ×q矩阵1A 使得Σ=11A A ′).(111p q OOA q≤⎪⎪⎪⎭⎫⎝⎛Γ=λλ其中这里记Γ=(Γ1 | Γ2) , Γ1为p ×q 列正交阵(p ≥ q ).并设:.0,,0),,,1(01===>+p q i q i λλλ§2.2 多元正态分布的定义在一元统计中,若U ~N(0,1),则U 的任意线性变换X=σU +μ~N(μ,2σ)。
正态分布N (μ,σ)参数区间估计允许μ为任意的实数,σ为任意的正实数。
基于Wolfram Mathematica ,给出了正态分布N (μ,σ)抽样定理,从而得到参数μ,σ2,σ的区间估计。
在σ已知和未知情形下,通过均值分布、中位值分布、卡方分布三种方法估计总体均值μ,区间长度均值分布最短,卡方分布次之,中位值分布最长,但当样本量n 较大时,区间长度趋于接近。
在μ已知和未知情形下,通过卡方分布可以估计总体方差的置信区间,通过卡分布、卡方分布可以估计总体标准差的置信区间。
最后给出不同情形下不同方法的MMA 程序及运行结果。
◼抽样分布定理引理1:X Ν(μ,σ)⇔X -μσΝ 0,1 .转换分布TransformedDistributionX -μσ,X 正态分布NormalDistribution [μ,σ]NormalDistribution [0,1]转换分布TransformedDistribution [μ+X σ,X 正态分布NormalDistribution [],假设Assumptions →σ>0]NormalDistribution [μ,σ]引理2:X χ(ν)⇔X 2 χ2(ν).转换分布TransformedDistribution X 2,X 卡分布ChiDistribution [ν]ChiSquareDistribution [ν]转换分布TransformedDistribution X ,X 卡方分布ChiSquareDistribution [ν]ChiDistribution [ν]引理3:X Ν 0,1 ,Y χ2(n )⇒Xt (n ).=转换分布TransformedDistributionX,{X 正态分布NormalDistribution [],Y 卡方分布ChiSquareDistribution [n ]} ;概率密度函数PDF [ ,x ]==⋯PDF [学生t 分布StudentTDistribution [n ],x ]//幂展开PowerExpand //完全简化FullSimplify [#,n >0&&x ≠0]&True定理1:X i Ν(μ,σ)⇒X -Νμ,σn⇔X --μσnΝ 0,1 .CharacteristicFunction NormalDistribution [μ,σ],t nn;特征函数CharacteristicFunction 正态分布NormalDistribution μ,σn,t ;%⩵%%//完全简化FullSimplify [#,n >0&&n ∈整数域Integers ]&True定理2:X i Ν(μ,σ)⇒ i =1nX i -μσ2=∑i =1n (X i -μ)2σ2χ2(n )⇔σχ(n ).转换分布TransformedDistributionX [i ]-μσ,X [i ] 正态分布NormalDistribution [μ,σ]NormalDistribution [0,1]n =7;=转换分布TransformedDistribution i =1nY [i ]2,数组Array [Y,n ] 联合分布ProductDistribution [{正态分布NormalDistribution [],n }]ChiSquareDistribution [7]定理3:X i Ν(μ,σ)⇒(n -1)S 2σ2χ2 n -1⇔σχ n -1 .令Y i =X i -μσ,则(n -1)S 2σ2=i =1n2=i =1n-= i =1nY i -Y 2= i =1nY i 2-2Y Y i +Y 2= i =1nY i 2-2Y i =1nY i +n Y 2= i =1nY i 2-n Y 2χ2n -1 ⇒σχ n -1 .2 正态分布\\正态分布统计分析\\正态分布参数区间估计.nbn =n0=35;=转换分布TransformedDistribution i =1nY [i ]2-1ni =1nY [i ]2,数组Array [Y,n ] 联合分布ProductDistribution [{正态分布NormalDistribution [],n }] ;Block {n =n0},显示Show 直方图Histogram 伪随机变数RandomVariate ,2×106 ,500,"概率密度函数PDF" ,绘图Plot [⋯PDF [卡方分布ChiSquareDistribution [n -1],x ],{x,5,65},绘图样式PlotStyle →粗Thick ]定理4:X i Ν(μ,σ)⇒X --μSnt n -1 .根据定理1,得X iΝ(μ,σ)⇒X --μσnΝ 0,1 ,根据定理3,得(n -1)S 2σ2χ2 n -1 ,根据引理3,X --μσn=X --μSnt n -1 .定理5:F Xn +12=正则化的不完全贝塔函数BetaRegularized12补余误差函数Erfc-x +μ2σ ,1+n2,1+n 2,n =2k +1.次序分布OrderDistribution {正态分布NormalDistribution [μ,σ],n },n +12;累积分布函数CDF [%,x ]//完全简化FullSimplifyBetaRegularized 12Erfc ,1+n 2,1+n 2推论:μ=x +2σ反互补误差函数InverseErfc 2正规化不完全贝塔函数的逆InverseBetaRegularized q,1+n 2,1+n 2.In[2]:=解方程Solve 正则化的不完全贝塔函数BetaRegularized12补余误差函数Erfc-x +μ2σ ,1+n 2,1+n 2⩵q,μOut[2]=μ→x +2σInverseErfc 2InverseBetaRegularized q,1+n 2,1+n 2定理6:-2 i =1n对数Log12补余误差函数Erfc-X i +μ2σχ2 2n .正态分布\\正态分布统计分析\\正态分布参数区间估计.nb3In[5]:=转换分布TransformedDistribution -2对数Log12补余误差函数Erfc-X +μ2σ,X 正态分布NormalDistribution [μ,σ] ;概率密度函数PDF [%,x ]⩵⋯PDF [卡方分布ChiSquareDistribution [2],x ]//完全简化FullSimplify [#,x >0]&Out[6]=True**参数区间估计**In[7]:=需要Needs ["HypothesisTesting`"]μ0=20;σ0=3;X =伪随机变数RandomVariate [正态分布NormalDistribution [μ0,σ0],10001];n =长度Length [X ];S =标准偏差StandardDeviation [X ];α=0.01;"参数的极大似然估计:"清除Clear [μ,σ]{μ1,σ1}={μ,σ}/.求分布参数FindDistributionParameters [X,正态分布NormalDistribution [μ,σ]]"一、总体均值μ的区间估计""(一)均值分布U =X --μσnN(0,1)——σ已知"σ=σ0;Sw =σn ;m =平均值Mean [X ];"1.计算法"Q =分位数Quantile 正态分布NormalDistribution [0,1],1-α 2 ;{m -Sw Q,m +Sw Q }"2.MeanCI"MeanCI X,KnownVariance →σ2,置信级别ConfidenceLevel →1-α"3.NormalCI"NormalCI [m,Sw ,置信级别ConfidenceLevel →1-α]"区间长度:"L =2Sw Q"相对区间长度:"r =L /m "(二)均值分布T =X -μSnt (n -1)——σ未知""1.计算法"Sw =S n ;m =平均值Mean [X ];Q =分位数Quantile 学生t 分布StudentTDistribution [n -1],1-α 2 ;{m -Sw Q,m +Sw Q }4 正态分布\\正态分布统计分析\\正态分布参数区间估计.nb"2.MeanCI"MeanCI [X,KnownVariance →无None,置信级别ConfidenceLevel →1-α]"3.StudentTCI"StudentTCI [m ,Sw ,n -2,置信级别ConfidenceLevel →1-α]"区间长度:"L =2Sw Q"相对区间长度:"r =L /m"(三)均值近似分布U =X --μσn~N[0,1]——σ未知""1.计算法"σ=σ1;Sw =σn ;m =平均值Mean [X ];Q =分位数Quantile 正态分布NormalDistribution [0,1],1-α 2 ;{m -Sw Q,m +Sw Q }"2.MeanCI"MeanCI X,KnownVariance →σ12,置信级别ConfidenceLevel →1-α"3.NormalCI"NormalCI [m,Sw ,置信级别ConfidenceLevel →1-α]"区间长度:"L =2Sw Q"相对区间长度:"r =L /m"(四)中位值分布F Xn +12=正则化的不完全贝⋯BetaRegularized [12补余误差函数Erfc [-x +μ2σ],1+n 2,1+n2],n =2k +1——σ已知""1.等尾区间:"σ=σ0;x =中位数Median [X ];μL =x +2σ反互补误差函数InverseErfc 2正规化不完全贝塔函数的逆InverseBetaRegularized 1-α 2,1+n 2,1+n 2;μU =x +2σ反互补误差函数InverseErfc 2正规化不完全贝塔函数的逆InverseBetaRegularized α 2,1+n 2,1+n 2;{μL,μU }"等尾区间长度:"L =μU -μL"相对区间长度:"r =2L μU +μL "(五)中位值分布F Xn +12=正则化的不完全贝⋯BetaRegularized [12补余误差函数Erfc [-x +μ2σ ],1+n 2,1+n2],n =2k +1——σ未知""1.等尾区间:"σ=σ1;x =中位数Median [X ];正态分布\\正态分布统计分析\\正态分布参数区间估计.nb5中位数μL =x +2σ反互补误差函数InverseErfc 2正规化不完全贝塔函数的逆InverseBetaRegularized 1-α 2,1+n 2,1+n 2;μU =x +2σ反互补误差函数InverseErfc 2正规化不完全贝塔函数的逆InverseBetaRegularized α 2,1+n 2,1+n 2;{μL,μU }"等尾区间长度:"L =μU -μL"相对区间长度:"r =2L μU +μL"(六)卡方分布-2 i =1n对数Log [12补余误差函数Erfc [-X i +μ2σ]] χ2(2n )——σ已知"清除Clear [μ]σ=σ0;x =-2 i =1n对数Log12补余误差函数Erfc-X i +μ2σ;F =卡方分布ChiSquareDistribution [2n ];μL =μ/.求根FindRoot 累积分布函数CDF [F,x ]==α2,{μ,μ1} ;μU =μ/.求根FindRoot 累积分布函数CDF [F,x ]⩵1-α2,{μ,μ1} ;{μL,μU }"等尾区间长度:"L =μU -μL"相对区间长度:"r =2L μU +μL"(七)卡方分布-2 i =1n对数Log [12补余误差函数Erfc [-X i +μ2σ ]]~χ2(2n )——σ未知"清除Clear [μ]σ=σ0;x =-2 i =1n对数Log12补余误差函数Erfc-X i +μ2σ;F =卡方分布ChiSquareDistribution [2n ];μL =μ/.求根FindRoot 累积分布函数CDF [F,x ]==α2,{μ,μ1} ;μU =μ/.求根FindRoot 累积分布函数CDF [F,x ]⩵1-α2,{μ,μ1} ;{μL,μU }"等尾区间长度:"L =μU -μL"相对区间长度:"6 正态分布\\正态分布统计分析\\正态分布参数区间估计.nbr =2L μU +μL"二、总体方差σ2的区间估计""(一)卡方分布χ2=∑i =1n (X i -μ)2σ2χ2(n )——μ已知"μ=μ0;T =n 平均值Mean (X -μ)2 ;F =卡方分布ChiSquareDistribution [n ];"1.等尾区间:"QL =分位数Quantile F,1-α 2 ;QU =分位数Quantile F,α 2 ;VL =T QL;VU =T QU;{VL,VU }"等尾区间长度:"L =VU -VL"相对区间长度:"r =2L VL +VU "(二)卡方分布χ2=(n -1)S 2σ2χ2(n -1)——μ未知"T = n -1 S 2;F =卡方分布ChiSquareDistribution [n -1];"1.等尾区间:"QL =分位数Quantile F,1-α 2 ;QU =分位数Quantile F,α 2 ;VL =T QL;VU =T QU;{VL,VU }"等尾区间长度:"L =VU -VL"相对区间长度:"r =2L VL +VU "(三)卡方分布χ2=∑i =1n (X i -μ )2σ2~χ2(n )——μ未知"μ=μ1;T =n 平均值Mean (X -μ)2 ;F =卡方分布ChiSquareDistribution [n ];"1.等尾区间:"QL =分位数Quantile F,1-α 2 ;QU =分位数Quantile F,α 2 ;VL =T QL;VU =T QU;{VL,VU }"等尾区间长度:"L =VU -VL"相对区间长度:"r =2L VL +VU"三、总体标准差σ的区间估计""(一)卡分布χ(n )——μ已知"μ=μ0;T =n Mean (X -μ)2 ;F =卡分布ChiDistribution [n ];"1.等尾区间:"正态分布\\正态分布统计分析\\正态分布参数区间估计.nb7QL =分位数Quantile F,1-α 2 ;QU =分位数Quantile F,α 2 ;σL =T QL;σU =T QU;{σL,σU }"等尾区间长度:"L =σU -σL"相对区间长度:"r =2L σL +σU "(二)卡分布χ(n -1)——μ未知"T =n -1S;F =卡分布ChiDistribution [n -1];"1.等尾区间:"QL =分位数Quantile F,1-α 2 ;QU =分位数Quantile F,α 2 ;σL =T QL;σU =T QU;{σL,σU }"等尾区间长度:"L =σU -σL"相对区间长度:"r =2L σL +σU "(三)卡分布χχ(n )——μ未知"μ=μ1;T =n Mean (X -μ)2 ;F =卡分布ChiDistribution [n ];"1.等尾区间:"QL =分位数Quantile F,1-α 2 ;QU =分位数Quantile F,α 2 ;σL =T QL;σU =T QU;{σL,σU }"等尾区间长度:"L =σU -σL"相对区间长度:"r =2L σL +σU "(四)卡方分布-2 i =1n对数Log [12补余误差函数Erfc [-X i +μ2σ]] χ2(2n )——μ已知"清除Clear [σ]μ=μ0;x =-2 i =1n对数Log12补余误差函数Erfc-X i +μ2σ;F =卡方分布ChiSquareDistribution [2n ];σL =σ/.求根FindRoot 累积分布函数CDF [F,x ]⩵1-α2,{σ,σ1} ;σU =σ/.求根FindRoot 累积分布函数CDF [F,x ]⩵α2,{σ,σ1} ;{σL,σU }8 正态分布\\正态分布统计分析\\正态分布参数区间估计.nb"等尾区间长度:"L =σU -σL"相对区间长度:"r =2L σL +σU"(五)卡方分布-2 i =1n对数Log [12补余误差函数Erfc [-X i +μ2σ]] χ2(2n )——μ未知"清除Clear [σ]μ=μ1;x =-2 i =1n对数Log12补余误差函数Erfc-X i +μ2σ;F =卡方分布ChiSquareDistribution [2n ];σL =σ/.求根FindRoot 累积分布函数CDF [F,x ]⩵1-α2,{σ,σ1} ;σU =σ/.求根FindRoot 累积分布函数CDF [F,x ]⩵α2,{σ,σ1} ;{σL,σU }"等尾区间长度:"L =σU -σL"相对区间长度:"r =2L σL +σUOut[11]=参数的极大似然估计:Out[13]={19.9803,3.00134}Out[14]=一、总体均值μ的区间估计Out[15]=(一)均值分布U =X --μσnN(0,1)——σ已知Out[17]=1.计算法Out[19]={19.9031,20.0576}Out[20]=2.MeanCIOut[21]={19.9031,20.0576}Out[22]=3.NormalCIOut[23]={19.9031,20.0576}Out[24]=区间长度:Out[25]=0.154542Out[26]=相对区间长度:Out[27]=0.00773471Out[28]=(二)均值分布T =X -μSn t (n -1)——σ未知正态分布\\正态分布统计分析\\正态分布参数区间估计.nb9Out[29]= 1.计算法Out[32]={19.903,20.0577} Out[33]= 2.MeanCIOut[34]={19.903,20.0577} Out[35]= 3.StudentTCIOut[36]={19.903,20.0577} Out[37]=区间长度:Out[38]=0.154648Out[39]=相对区间长度:Out[40]=0.00774003Out[41]=(三)均值近似分布U=X--μσ n~N[0,1]——σ未知Out[42]= 1.计算法Out[45]={19.903,20.0576} Out[46]= 2.MeanCIOut[47]={19.903,20.0576} Out[48]= 3.NormalCIOut[49]={19.903,20.0576} Out[50]=区间长度:Out[51]=0.154611Out[52]=相对区间长度:Out[53]=0.00773817Out[54]=(四)中位值分布F X n+12=BetaRegularized[12Erfc,1+n2,1+n2],n=2k+1——σ已知Out[55]= 1.等尾区间:Out[59]={19.8529,20.0466} Out[60]=等尾区间长度:Out[61]=0.193686Out[62]=相对区间长度:Out[63]=0.00970872Out[64]=(五)中位值分布F X n+12=BetaRegularized[12Erfc,1+n2,1+n2],n=2k+1——σ未知Out[65]= 1.等尾区间:Out[69]={19.8529,20.0466}Out[70]=等尾区间长度:10正态分布\\正态分布统计分析\\正态分布参数区间估计.nbOut[71]=0.193773Out[72]=相对区间长度:Out[73]=0.00971306Out[74]=(六)卡方分布-2 i =1n Log [12Erfcχ2(2n )——σ已知Out[78]={19.9015,20.0722}Out[79]=等尾区间长度:Out[80]=0.170753Out[81]=相对区间长度:Out[82]=0.00854324Out[83]=(七)卡方分布-2 i =1n Log [12Erfcχ2(2n )——σ未知Out[87]={19.9015,20.0722}Out[88]=等尾区间长度:Out[89]=0.170753Out[90]=相对区间长度:Out[91]=0.00854324Out[92]=二、总体方差σ2的区间估计Out[93]=(一)卡方分布χ2=∑i =1n (X i -μ)2σ2 χ2(n )——μ已知Out[95]= 1.等尾区间:Out[98]={8.68869,9.34535}Out[99]=等尾区间长度:Out[100]=0.656658Out[101]=相对区间长度:Out[102]=0.0728243Out[103]=(二)卡方分布χ2=(n -1)S 2σ2 χ2(n -1)——μ未知Out[105]= 1.等尾区间:Out[108]={8.68917,9.3459}Out[109]=等尾区间长度:Out[110]=0.656728Out[111]=相对区间长度:Out[112]=0.0728279Out[113]=(三)卡方分布χ2=∑i =1n (X i -μ )2σ2~χ2(n )——μ未知正态分布\\正态分布统计分析\\正态分布参数区间估计.nb 11Out[115]= 1.等尾区间:Out[118]={8.68832,9.34495}Out[119]=等尾区间长度:Out[120]=0.65663Out[121]=相对区间长度:Out[122]=0.0728243Out[123]=三、总体标准差σ的区间估计Out[124]=(一)卡分布χ(n )——μ已知Out[126]= 1.等尾区间:Out[129]={2.94766,3.05702}Out[130]=等尾区间长度:Out[131]=0.109358Out[132]=相对区间长度:Out[133]=0.0364242Out[134]=(二)卡分布χ(n -1)——μ未知Out[136]= 1.等尾区间:Out[139]={2.94774,3.05711}Out[140]=等尾区间长度:Out[141]=0.109366Out[142]=相对区间长度:Out[143]=0.0364261Out[144]=(三)卡分布χχ(n )——μ未知Out[146]= 1.等尾区间:Out[149]={2.9476,3.05695}Out[150]=等尾区间长度:Out[151]=0.109355Out[152]=相对区间长度:Out[153]=0.0364242Out[154]=(四)卡方分布-2 i =1n Log [12Erfcχ2(2n )——μ已知Out[158]={2.89486,3.15965}Out[159]=等尾区间长度:12 正态分布\\正态分布统计分析\\正态分布参数区间估计.nbOut[160]=0.264793Out[161]=相对区间长度:Out[162]=0.0874698Out[163]=(五)卡方分布-2 i =1n Log [12Erfcχ2(2n )——μ未知Out[167]={2.86679,3.12718}Out[168]=等尾区间长度:Out[169]=0.260386Out[170]=相对区间长度:Out[171]=0.0868828正态分布\\正态分布统计分析\\正态分布参数区间估计.nb 13。