最大熵分类算法在隐式篇章关系识别中的应用
- 格式：pdf
- 大小：260.94 KB
- 文档页数：3
ｉｇ 领域 的许 多 问题都 可 以看作 是 分 类 （ ｌｓ ｆ ａ ｏ ） 论 不难 知 道 指 示 函数 ｆ １ 概 率 分 布 的数 学 期 望值 ｎ） Ｃａｓ ｃｔ ｎ ｉ ｉ ｉ ｂ依 问题 ． 通 过 观 察 文 本 的 上 下 文 环 境 （ ｏ ｔｘ） 即 Ｃ ｎｅｔｂ∈Ｂ． （ ｐ ｃａｉｎ ￣ ： Ｅｘ ｅ ｔｔ ） ｏ 然后 预 测文 本 所属 的类 型 （ ｌｓ） Ｃａｓａ∈Ａ． 际 上就 是 要 实 （ ＝∑ ｐ ａ ） ａ ） 露 （ ｆ ｂ （ （． ２２ ） 构建 一个从 集合 Ｂ到集 合 Ａ 的分类 器 （ ｌ ｓ ｅ） 这 Ｃａ ｉ ｒ ， ｓｆ ｉ 这 个 期 望 值 表 达 式 常 被 称 为 特 征 函 数 （ ｅｔｒ Ｆ ａｕ 个 任 务可 以转化 为求 解概 率统 计 理论 中的 条件 概率 分 Ｆ ｎ ｔ ｎ ， ｆ．） 从 联合 概 率 的角度 出发 。 ｕ ｃ ｏ ）式 ２２是 ｉ 如果从 条 布 （ ｏ ｄｔ ｎｌ ｒｂ ｂｌｙＤ ｓ ｉ ｔ ｎ ｐａｂ的 问 题 ， Ｃ ｎ ｉｏ ａ Ｐｏ ａ ｉｔ ｉｒ ｕｉ ） （ｌ ｉ ｉ ｔｂ ０ ） 即 件概 率 的角度 来看 ， 我们 可 以得 到 ： 在 给定 ”上 下文 环境 ” ｂ的条 件 下求 文本 所 属 ”类 型 ” ａ
之 间 的概 率关 系并 不可靠 。 为此 ， 我们 必须 找 到一种 方 上下 文特征及 文本 类 型 常常 可 以得到一 组 由多个 不 同 法 来解 决 这个 问题 ， 大 熵 （ ｘｍ ｍ Ｅ ｔ ｐ ） 法 通 Ｅ （构成 的形 如（． 的约束 条件方 程组 。 最 Ｍａｉ ｕ ｎｒ ｙ 方 ｏ ｐｆ ） ２） ４ 过组 合文本 中不 同的特征 提供 了解决 上 述 问题 的有 效 根据信 息论 对联 合熵 的定 义 ， 以得 到 ： 可
征 ｂ 存 在对应 的 函数 ｃｉ 们 构建 如下 函数 ： ｉ Ｐ。我
（ ｉ ｏ ｒ ｅａ ｏ ） 究 主 要涉 及 短语 （ ｈａｅ 、 句 Ｄ ｓ ｕｓ Ｒ ｌｔ ｎ 研 ｃ ｅ ｉ Ｐ ｒｓ ） 子
ｆｂ ｛ ｆ ａ （ 讹 （） ｉ ． ｐ ａ＝ ｉ ｂ ， ａ 卸 ｊ ）
同样 。 以得 到条 件熵 ： 可
Ｈ ｐ ＝一∑ ｐｂｐ ａ ） ｇ （ｌ） （６ （） 曲 （） （ｌ ｌ ｐａ ２ ） ｂｏ ｂ ．
最 大 熵 算 法 实质 就 是 求 Ｈ（） 大 值 时 ｐａ ） 概 ｐ取 （ ｂ的 元 素 ． 定存 在某种 映射 函数 ｃ 假 ｐ可 以将 集合 Ｂ中的对 率分 布 。 应 元素 映射 到集合 ｛ ， ｆｌ ｌ ， 是一 个 二值元 素集 ３ 文本 篇章 关 系 ｔ ｅ ａｓ 中 这 ｎ， ｅ 、 合， 每个元 素 的取值 非真 即假 ． 且 对 于不 同的文 本特 并 在 计 算 机 自然 语 言 处 理 领 域 中 ．文 本 篇 章 关 系
２１ ０ ０年 第 １ 期 １
福
建 电
脑
最大 熵 分 类算 法在 隐式篇 章 关 系识 别 中的应 用
贾 震 斌
（苏州 市职 业 大 学 江苏 苏 州 ２ ５ ０ １０ ４）
【 摘 要】 ：本文深入研 究了最大熵分类算法的基本原理 ， 针对计算机 自然语言处理领域特点， 结合概
率统 计理 论 。 隐式 篇章 关 系识 别应 用 中 实现 了最 大熵 算法 的分 类模 型 ， 隐式篇 章 关 系识别 ｑ取得 了与 在 在 －
的概 率 在 自然语 言处 理 中所谓 的” 上下 文 环境 ” 常 通
Ｅ（ ｐ ：∑ （） （ｌ ｆ ，） 毒 ｐｂｐａ ） ａｂ ｂ（
（３ ２） ．
可 以是 词 法 、句 法 和语 法 等 特 征 ，在 大 规 模 语 料 库
（ ｏｐ ｒ ） 常 已 经 标 记 这 些 特 征 （ ｅｔｒ ） 并 且 蕴 含 Ｃ ｒｏａ 通 Ｆａ ｅ ， ｕ 了 这 些 特 征 与 文 本 类 型 的 关 系 ．但 由 于 语 料 库 中数 据
目前 国际先进 水平接 近 的识 别率 ， 下一 步研 究建 立 了基 准平 台。 为
【 键词 】 自然语 言理 解 ， 式篇章 关 系识别 ， 大熵算 法 关 ： 隐 最
１ 引 言 、
器学 习方 法 ．假 定在 训 练语 料库 中文 本类 型 ａ与其 上
计 算 机 自然 语 言 处 理 （ ａｕａ Ｌ ｎ ｕ ｇ ｒｃｓ． 下文 特征 ｂ共现 的概 率 为 ｐａ ）那 么根据 概率 统计理 Ｎ ｔｒｌ ａ ｇ ａｅＰｏｅｓ ， 。 ｂ
结合 式ｆ．）（． 得到 方程 ： ２２、 ３ ２）
∑ ｐ ａｂ ｆ ，） （，） ａｂ 盘∑ ｐ ｂｐ ａ ） ａ （４ ｆ） （ｌ ｆ ） ２ ） ｂ ．
在 特 定 的 自然 语 言 处 理 问 题 中 ．对 于 不 同 的 文 本
稀 疏性 问题 是不可 避免 的 ．因此单 个 特征 与 文本类 型
途径 。
２ 最大 熵算 法的基 本原 理 、
Ｈ ｐ ＝一 （）
ｐ ｂｌ ｐ ｂ 伍 ） ｇ（ ） ｏ
（５ ２） ．
在 自然 语 言处 理 中 ．我们 可 以将需 要 预 测 的各 种 文本 类 型 ａ看 作 集合 Ａ＝ａ ａ …， ｝ ｉ ｛ ， ， ￡ 中的 元 素 ， 将 文 Ｌ ｎ 而 本 中为判 别 文 本类 型提 供 的各 种 特 征 ｂ 看 作某 种 ” ｉ 证 据 ” Ｅ ｉｅ ｃ ） 这 些证 据构 成 集 合 Ｂ ｆ ： ｂ｝ 的 （ ｖｄ ｎｅ ， ＝ｂ， ， 中 ｂ …，
ｔ （）文本ｕｅ 、如段（ｅ文 ｎｅ之 间 的语 义关 系研 究 ， 度 的 ２ （ｌ 区域 （ 子 落 、ｅｃ）层 等 文本 单元 及 更 大跨 过 分 ． Ｃａｓ）句 Ｓｎ 档 ） １ 通
