第七章(概率)

第七章 参数估计一.点估计1.定义:借助于总体X 的一个样本来估计总体未知参数的值的问题.2.一般提法:设总体X 的分布函数),(θx F 的形式已知,θ是待估参数.n X X X ,...,,21是X 的一个样本, n x x x ,...,,21是相应的一个样本值. 点估计问题就是要构造一个适当的统计量),...,,(21n X X X ∧θ,用它的观察值),...,,(21n x x x ∧θ作为未知参数的近似值.称),...,,(21n X X X ∧θ为未知参数θ的近似值,称),...,,(21n x x x ∧θ为θ的估计值.说明:由于估计量是样本的函数,因此对不同的样本值, θ的估计值是不同的.例1. 在某炸药制造厂,一天中发生火灾现 象的次数X 是一个随机变量,假设它服从参数为0, λλ的泊松分布,参数λ未知.现有以下的样本值,试估计参数λ.解:由于),(~λπX 故有)(X E =λ.由已知条件得到:22.1660_==∑∑==k kk k n kn x所以)(X E =λ的估计为1.22. 二.常用的两种估计方法 1. 矩估计法:(1)定义:设X 为连续型随机变量,其概率密度为),...,,;(21k x f θθθ,其中k θθθ,...,,21为待估参数, k X X X ,...,,21是来自X 的样本.假设总体X 的前k 阶矩为： X 连续型dx x f x X E k l l l ),...,,;()(21θθθμ⎰∞∞-== 或X 离散型dx x p x X E k Rx ll l X),...,,;()(21θθθμ∑∈==k l ,...,2,1=存在.基于样本矩∑==ni li l X nA 11依概率收敛于相应的),...,2,1(k l l =μ,样本矩的连续函数依概率收敛于相应的总体矩的连续函数,就用样本矩阵作为相应的总体矩的估计量,而以样本矩的连续函数作为相应的总体矩的连续函数的估计量.这种估计方法称为~.(2)具体步骤: 设⎪⎪⎩⎪⎪⎨⎧===),...,,(...),...,,(),...,,(2121222111k k k kk θθθμμθθθμμθθθμμ解上述方程组,得⎪⎪⎩⎪⎪⎨⎧===),...,,(...),...,,(),...,,(2121222111k k k kk μμμθθμμμθθμμμθθ以iA 分别代替上式中的),...,2,1(k l i =μ,以k i A A A k i i ,...,2,1),,...,,(21==∧θθ分别作为i θ, k i ,...,2,1=,这种估计量称为矩估计量.矩估计量的观察值称为矩估计值. 例 2.设总体X 在],[b a 上服从均匀分布,b a ,未知. n X X X ,...,,21是来自X 的样本,试求b a ,的矩估计量. 解:,2)(1b a X E +==μ4)(12)()]([)()(22222b a a b X E X D X E ++-=+==μ即 ⎩⎨⎧-=-=+)(1222121μμμa b b a 解上述方程组得: ⎩⎨⎧-+=--=)(3)(321212121μμμμμμb a分别以21,A A 代替21,μμ,因为2_1_212)(11X X n XXn ni i ni i-=-∑∑==,故得到b a ,的矩估计量分别为:∑=∧--=--=ni i X X n X A A A a 1_2_2121)(3)(3∑=∧-+=-+=ni i X X n X A A A b 1_2_2121)(3)(3例3.设总体X 的均值μ及方差2σ都存在,且02σ,但μ,2σ均未知.又设n X X X ,...,,21是来自X 的样本.试求μ,2σ的矩估计量.解:⎩⎨⎧+=+===222221)]([)()()(μσμμX E X D X E X E求得⎩⎨⎧-==21221μμσμμ,分别以21,A A 代替21,μμ得μ,2σ的矩估计量分别为:⎪⎩⎪⎨⎧-=-=-===∑∑==∧∧n i n i i i X X n X X n A A X A 112__222122_1)(11σμ 2. 最大似然估计(1)离散型最大似然函数:若总体X 属离散型,其分布律Θ∈==θθ),;(}{x p x X P 的形式已知,θ为待估参数,Θ是θ可能取值的范围.设n X X X ,...,,21是来自X 的样本,则n X X X ,...,,21的联合分布律为);(1θ∏=ni i x p .又设n x x x ,...,,21是相应于样本n X X X ,...,,21的一个样本值.易知样本n X X X ,...,,21取到观察值n x x x ,...,,21的概率,即事件},...,{11n n x X x X ==发生的概率为==);,...,,()(21θθn x x x L L );(1θ∏=ni i x p , Θ∈θ,这一概率随θ的取值而变化,它是θ的函数,)(θL 称为样本的似然函数.(2) 最大似然法:固定样本观察值n x x x ,...,,21,在θ取值的可能范围Θ内挑选使似然函数);,...,,(21θn x x x L 达到最大的参数值∧θ,作为参数θ的估计值.即取∧θ使);,...,,(max );,...,,(2121θθθn n x x x L x x x L Θ∈∧=这样得到的∧θ与样本值n x x x ,...,,21有记为∧θ(n x x x ,...,,21),称为参数θ的最大似然估计值,而相应的统计量记∧θ(n x x x ,...,,21)称为参数θ的最大似然估计量.(3)连续型随机变量总体X 的最大似然估计:若总体X 是连续型,密度函数Θ∈θθ),;(x f 的形式已知,θ为待估参数,Θ是θ可能取值的范围.设n X X X ,...,,21是来自X 的样本, 则n X X X ,...,,21的联合分布律为);(1θ∏=ni i x f .设n x x x ,...,,21是相应于样本n X X X ,...,,21的一个样本值,则随机点(n X X X ,...,,21)落在点(n x x x ,...,,21)的邻域内的概率近似地为i ni i dx x f );(1θ∏=,其值随θ的取值而变化.与离散型的情况一样,取θ的估计值∧θ使概率i ni i dx x f );(1θ∏=取得最大值,但因子∏=ni i dx 1不随θ的取值而变化,故只需考虑函数==);,...,,()(21θθn x x x L L );(1θ∏=ni i x f 的最大值.这里)(θL 称为样本的似然函数.若);,...,,(max );,...,,(2121θθθn n x x x L x x x L Θ∈∧=则称∧θ(n x x x ,...,,21)为θ的最大似然估计值,∧θ(n x x x ,...,,21)称为θ的最大似然估计量.这样,确定最大似然估计量的问题就归结为微分学中的求最大值的问题.若);(θx p 和);(θx f 关于θ可微,则θ可由方程0)(=θθL d d .又因)(θL 与)(ln θL 在同一θ处取到极值,因此θ的最大似然估计也可以从方程0)(ln =θθL d d 得到,而从后一方程求解往往比较简单, 方程0)(ln =θθL d d 称为对数似然方程.例 4.设n X X X p b X ,...,,).,1(~21是来自X 的一个样本,试求参数p 的最大似然估计量. 解: 设n x x x ,...,,21是相应于样本n X X X ,...,,21的一个样本值.X 的分布律为1,0,)1(}{1=-==-x p p x X P xx .故似然函数为∑∑==--=-=-=∏n i ini iiixn x xni x p pP p p L 11)1()1()(11而)1(ln )(ln )()(ln 11p x n p x p L n i i n i i -∑-+∑===令01)(ln 11=---=∑∑==px n px p L dpd ni ini i,求得p 的最大似然估计值_11x x n p ni i ==∑=∧.p 的最大似然估计量_11X X n p ni i ==∑=∧.上述估计与矩估计量是相同的.最大似然估计法也实用于分布中含有多个未知参数的情形,详细情况看p-183的例5.例6.设总体X 在],[b a 上服从均匀分布,ba ,未知,n x x x ,...,,21是一个样本值.试求b a ,的最大似然估计量. 解:记),...,,max(),,...,,min(21)(21)1(n n n x x x x x x x x ==X 的概率密度为⎪⎩⎪⎨⎧≤≤-=else bx a ab b a x f ,0,1),;( 由于b x x x a n ≤≤,...,,21等价于)()1(,n x b x a ≥≤.似然函数为)()1(,,)(1),(n nx b x a a b b a L ≥≤-=对于满足条件)()1(,n x b x a ≥≤的任意b a ,有为nn nx x a b b a L )(1)(1),()1()(-≤-=即),(b a L 在)()1(,n x b x a ==时取到最大值nn x x --)()1()(,故b a ,的最大似然估计值为:i n i n i ni x x b x x a ≤≤∧≤≤∧====1)(1)1(max ,min . b a ,的最大似然估计量为i ni i ni X b X a ≤≤∧≤≤∧==11max ,min .(3)基于截尾样本的最大似然估计a.定时截尾寿命试验:将随机抽取的n 个产品在时间0=t 时同时投入试验,试验进行到规定的时间0t 停止.如试验截止时共有m 个产品失效,其失效时间分别为:0210t t t t m ≤≤⋅⋅⋅≤≤≤此时m 是一个随机变量,所得的样本m t t t ,...,,21称为定时截尾样本.b. 定数截尾寿命试验: 将随机抽取的n 个产品在时间0=t 时同时投入试验,试验直到有m 个产品失效时停止. m 个产品的失效时间分别为:m t t t ≤⋅⋅⋅≤≤≤210此处m t 是第m 个产品的失效时间,所得的样本m t t t ,...,,21称为定数截尾样本.c. 寿命分布为指数分布的截尾样本的最大似然估计:设产品的寿命分布为指数分布,其概率密度为:()0,0,00,1 θθθ⎪⎩⎪⎨⎧≤=-t t e t f t未知.设有n 个产品投入定数截尾试验, 截尾数为m ,截尾样本m t t t ,...,,21,相应的问题是:如何利用该样本估计未知参数θ.具体分析:由已知一个产品在),(i i i dt t t +失效的概率近似地为:m i dt t f i i ,...,2,1,)(=,其余m n -个产品寿命超过mt 的概率为mn tmn ttmmedt e----∞=⎰)()1(θθθ故上述观察结果出现的概率近似地为:mn tim i t m mie dt e m n --=-∏⎪⎭⎫ ⎝⎛))(1(1θθθ m t m n t t t m dt dt dt e m n mm ...121])(...[121-++++-⎪⎭⎫ ⎝⎛=θθ由于m dt dt dt ...21为常数.因此忽略m dt dt dt ...21不影响θ的最大似然估计,故可取似然函数为:])(...[1211)(mm t m n t t t meL -++++-=θθθ。