基于不同缺失率的EM算法参数估计分析

第３ ０ 卷 第９ 期（ 上）
２ ０ １ ４年 ９月
赤 峰 学 院 学 报 （自 然 科 学 版 ）
Ｊ ｏ ｕ ｒ ｎ ａ ｌ ｏ ｆ Ｃ ｈ ｉ ｆ ｅ ｎ ｇ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ（ Ｎ ａ ｔ ｕ ｒ ａ ｌ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ Ｅ ｄ ｉ ｔ ｉ ｏ ｎ ）
种是在后验分 布中直接运用 ，从而得到后验 均值 或者众数
的估计 ， 此外这种估计 的渐进方差 或其 近似． 另一种算法 ， 可
以 统称 为数 据 添加 算 法 ，这是 最 近 几 年 进 步 较 快 并 在 实 际
望值 ， 从而把 ｚ积掉 ：
Ｑ （ ０ １ ０ （ ｏ ， Ｙ ） ＝ Ｅ ｎ ｑ ｏ ｇ ｐ （ Ｏ Ｉ Ｙ ， Ｚ ） １ ０ （ ｉ ） ， Ｙ 】

Ｖ０ １ ． ３ ０Ｎ ｏ ． ９
Ｓ ｅ ｐ． ２ ０１ ４
基 于不 同缺失率 的 Ｅ Ｍ算法参数估计 分析
高 霞 ，张 越
（ 集 宁师 范学院 ，内蒙古 乌 兰察 布
摘
０ １ ２ ０ ０ ０ ）
要 ：在 社 会 资料 调 查 工作 中 。 往 往 因 失访 、 未响 应 或 者 回馈 结 果 不 合 格 等 多方 面 因 素 ， 会 造 成 不 同程 度 上 的数 据 缺
不 同缺 失率 下的 Ｅ Ｍ 算 法参 数 估 计 分 析 ， 对Ｅ Ｍ 算 法进 行 了全 面评 测 ． 关 键 词 ：缺 失 率 ； Ｅ Ｍ 算法： 参 数 估计 分析
中 图分 类 号 ： Ｏ ２ １ ２ 文献标识码 ： Ａ 文章编号： １ ６ ７ ３ — ２ ６ ０ Ｘ（ ２ ０ １ ４ ） ０ ９ — ０ ０ ０ ８ — ０ ２
Ｅ Ｍ算法作为迭代算法 的一种 ， 主要通过求参数极大似 然估计 的方式进行数值计算 ，能够有效应对不完 全数 据的 计算要求 ，且其计算方式较为简单 ，得 出的数值 又较 为稳
定， 不会 占用过多储存 量 ， 最重要 的是 ， 每次的迭代算法 中，
通过使用上述办法 ，本来较为庞杂 的极大化或抽样 问
＝
』 ｌ ｏ ｇ ［ ｐ （ Ｏ Ｉ Ｙ ， ｚ ） ］ ｐ （ Ｚ １ ０ ｏ ） ， Ｙ ） ｄ Ｚ
（ ２ ． ７ ）
统计工作 中广泛使用 的算法 ， 与前面一种方法相 比， 它并不 采 取对复杂后 验分布进行极 大化 的办 法或者进行模 拟 ， 相 反， 它在 已有观测 数据的基础 上 ， 加 上了部分潜在 数据 （ 可
Ｚ的条件分布密度函数． 考虑到计算 以观测后验分布 ｐ （ Ｏ Ｉ Ｙ ）
的众数为 目的， 所以Ｅ Ｍ算法 的详细步骤应该如下 ： 将 ０ ｏ ） 记作 第 ｉ ＋ ｌ 此 迭代开始 时后验众数 的估计数 值 ， 那 么第 ｉ ＋ ｌ 此迭代的两步可分为 以下两种 ：
Ｅ步 ： 将ｐ （ Ｏ Ｉ Ｙ ， ｚ ） 或ｌ ｏ ｇ ｐ （ ０ １ Ｙ， Ｚ １ 关 于 ｚ的 条 件 分 布 求 期
题便 转变成了较为简单 的极大化或抽样 ． 不过 ， 在此方法 中 存 在收敛性问题 ， 涉及 到统计方法 的选取． 故 我们需要对 常
用 的数据添加算法及 Ｅ Ｍ算法进行了解．
它都能够保证观察数据对数似然函数的单调恒定不变 ． 优先
对缺失值和初始值进行假设 ， 然后进一步估计 模型参数 ， 取
（ Ｅ ｘ ｐ ｅ ｃ ｔ ａ ｔ ｉ ｏ ｎ ｓ ｔ ｅ ｐ ） 和极 大步（ Ｍａ ｘ ｉ ｍ ｉ ｚ ｍ ｉ ｏ ｎ ｓ ｔ ｅ ｐ ） 组成的． 通常 情况下 ， 以ｐ （ Ｏ Ｉ Ｙ ） 表示 ０的基于观测数据的后验分布密度函 数， 我们称之为观测后验分布 ， ｐ （ Ｏ Ｉ Ｙ ， ｚ ） 用来表示添加数据 ｚ 后 得到的关 于 ０的后验分布密度 函数 ，称之为添加后 验分 布， ｐ （ Ｚ ｌ ０ ， Ｙ ） 表示在给定 ０和观测数据 Ｙ的前提下 ， 潜在数据
Ｅ Ｍ算法 是一 种迭代算法 ， 主要用于求参数极大似然估
计， 并用于求后验分布的众数（ 极大似然估计 ） ， 之所 以称 之
隐藏数值 ， 对模型参数 进行缺失估 计 ， 得出新 的参数值 ， 循
环往复．
１ Ｅ Ｍ 算 法 及 其基 本 涵 义
为Ｅ Ｍ 算 法 ，是 由 于该 算 法 的每 一 次 迭 代 是 由期 望 步
１ ． １ Ｅ Ｍ算法 在统计学领域 中， 计算 问题 可以分为两种大类 ， 一种是
极 大似 然估 计问题 ， 另一种则是 Ｂ ａ ｙ ｅ ｓ问题 ， 从统计学 的计 算 办法 角度看 ， 这两种计算问题是可 以合并讨论的 ， 因为极
大似然估计的计算方法 和 Ｂ ａ ｙ ｅ ｓ 的后验 众数计算办法 是大 致 类似 的 ，所 以我 们可 以从 Ｂ ａ ｙ ｅ ｓ 计算 办法 角度 出发 ， 对 Ｅ Ｍ算法进行分析 ． Ｂ ａ ｙ ｅ ｓ 的计算 办法数量繁多 ， 但 总体上可 以分为两种． 一
失， 这 一 现 象较 为 常见 且 难 以避 免 ． 按 照统 计 学观 点 ， 将 包含 缺 失 数 据 的 记 录 归 为 不 完 全观 测 范 畴 ， 它对 调 查 研 究 工 作 的 最 终
结 果影 响 巨 大． 而Ｅ Ｍ（ 期 望 最 大化 ） 算法 ， 则 恰 好 满 足 了需要 利 用不 完全 数据 来研 究分 析 问题 的要 求 。 具 有重 要 意 义 ． 本 文 结 合
Ｍ步： 将 Ｑ （ ０ １ ０ ｏ ） ， Ｙ ） 极大化 ， 从而找到一个点 ０ ［ ｉ ＋ 使 得
Ｑ （ ０ （ ｉ ＋ 】 ） １ ０ ｏ ） ， Ｙ ） ＝ ｍ ａ ｘ Ｑ （ ０ １ ０ ￣ ｉ ） ， Ｙ ）
通过 以上 步骤 ， 形成 一次迭代 值 ， 在讲 Ｅ步和 Ｍ 步一 直迭代 ， 到产生期望值时停止． １ ． ２ Ｅ Ｍ算法的特性 Ｅ Ｍ算法的优点众多 ， 其最为优秀 的特点在于操作的简 单和计算结果 的稳定性 ． Ｅ Ｍ算法 以简单化 的迭代 算法来计 算后验众数或者 ＭＬ Ｅ ． 通过此方法建立 的 Ｅ Ｍ算法能否满足