基于大规模语料库的多引擎语言翻译模型的构建

作 者 简 介 ：黄金 柱 （ ９０ ） 男 ， 苏睢 宁人 ，硕 士研 究 生 ． １８ 一 ， 江
０ 引 言
世 界上第 一 台 电子计 算 机诞 生不 久 ， 有人 提 便
器 翻译 方法 ，也 就是 基 于 实 例 的机 器 翻 译 方 法． 基 于实例 的机 器 翻译 系统 中 ，翻译 只是 以实 例 的形 式 加 以呈 现 ， 于增 添 实 例 ，系 统 维 护 也 极 为 简单 ． 易
模语 料库的 多 引擎机 器 翻译 系统 ， 是要 充分 利 用 就
好双语对 齐语料库 、 大规模标 注语料库 、 和传统 的语
言学理论 ， 综合基 于实例 、 规则 、和统计 的各翻译模
型之所长 ， 最大程度 的提高译 文质量．
是 ：先将输 入 句子正 确 的分 解 为 一些 短语 碎片 ，接
．
日
吉
目
黄金 柱 ，李 青
（ 解放军外国语学 院研究生 院语 言信息处理专业 ， 河南洛 阳 ４ １０ ） ７０ ３
摘 要 ： 出了基 于大规模语料库 的多引擎 翻译系统模型的构建 ， 提 该模 型主要 包括 三大 部分 ： 基于层次化长句 分解和支持 向量机基本名词识别的句法分析器 、 基于实例匹配 的翻译子 引擎 、 于语块 的统计 翻译子 引擎． 基 该 语言翻译模型综合各个翻译模 型的优点 ， 最大程度地提高机器翻译 的准确率和召 回率． 验表明该 系统 的各项 实
着把这 些短语 碎 片翻译 成对应 语 言 的言语 碎 片 ，最 后将 这些 翻译 出来 的 目标 语 言碎 片组合 起来构 成完
整 的句子 ． 这些 短语碎 片 是 “ 过类 比来进 行 翻 译 ” 通 （ ｔ ｎｌｉ ｙａａ ｇ” 的． “ｒ ｓ ｔｎｂ ｎｌ ｙ ） 即我 们 只需 存 储 足 够 ａ ａｏ ｏ
出 了利用 计算 机进 行 翻译 的设 想 ． 器 翻译 模 型 从 机 早期 的直 接翻译 方法 ， 展到 后来 的基于 转换 的方 发
法及基 于 中间语 的方法 ，直至基 于统计 的方法 和基 于实 例的方 法 ，其理 论越 来 越 完善 ，翻译 性 能 逐 步 提高 ． 一个 明 显 的 现象 不 容 忽 视 ，那 就 是 仅靠 某 但
一
如 果能 够利 用 较 大 的 翻 译 实 例 库 并 进 行 精 确韵 对 比 ， 有可 能产 生高 质量 的译 文 ，既 不 用像 基 于规 就
则 的翻译 方法 那样 进行 深层 次 的语 言学 分析 ，又避 免 了统计机 器 翻译对 于 长句远距 离结构 缺乏解 析能 力 的弊端 ． 因此 ， 翻译 策 略上是 很有 吸引力 的 ． 在 随着大规模 语 料库 的发展 ， 于语 料 库 的机 器 基 翻译 模型 已经成 为 机器 翻译研 究 领域 的热 点 ， 有 没 利用语 料库 的机 器 翻 译 系 统 目前 已经 不 是 主流． 另
种方 法根本 无法 达到所 期 望 的水 平 ，尤其 是 跟实
际应用水 平相 距 甚 远 ． 十 世 纪 九 十 年代 初 期 ，综 二
合 多种 翻译 方法 的基 于多 引擎 的翻译 策略 越来越 受 到机器 翻译研 究 者 的赞 同和 推 崇． 一些 基 于 规 则 一
统计两 种机 器翻 译方法 的机 器 翻译系统 已经 构建成 功 ，并受 到 良好 评价 ，给机 器 翻译 研 究 注入 了新鲜 的血液 ， 机器 翻译 系统 的性能 上 了一 个新 台 阶． 使 基 于实例 的 机 器 翻 译 （ ｘ ｍ ｌ Ｅ ａ ｐｅ—ｂｓｄＭＴ 简 ａｅ ， 称 Ｅ Ｍ ） 想最 早 是 由 日本机 器 翻译 学 者 长 尾 真 Ｂ Ｔ思 于 １８ ９ ４年提 出来 的． 尾真 认为 ， 类 的翻译 过 程 长 人
多的 翻译实 例 于计 算机 中 ， 建立 由给定 的句 子 搜 并
１ 建 立 多里所 说 的基 于 多引擎 的机 器 翻译 系统 不 同于
传统 的规 则 、 例 、 统计 的简单 结 合 的机 器 翻 译 实 及 系统 ，也不 同于 多个平 行 翻译 引擎 并列 同时运 行最
２１ ０ ０年 ４月 第２ ９卷 第 ２期
洛 阳 师 范 学 院 学 报
Ｊ ｕ ｎ ｌｏ－ ｕ ｙ ｎ ｏ ｍａ ｉｅ ｓｔ ｏ ｒ ａ ｆ ｏ ａ ｇ Ｎ ｒ ｌＵｎ ｖ ｒ ｉ Ｌ ｙ
Ａｐ ． ２ ０ ｒ ， ０１
Ｖｏ． ９ ＮＯ． １２ ２
； 五 基 于 大 规 模 语 料 库 的 多 引擎 翻 译 模 型 的 构 建
指标都比较理想 ， 尤其是处理效率很高．
关 键 词 ： 器 翻 译 ； 引擎 ；大 规模 语 料库 ； 语 平 行 语 料 库 机 多 双
中图分类号 ： Ｐ９ Ｔ３１
收稿 日期 ： ０ ９１ －５ ２ ０ —０２
文献标识码 ： Ａ
文章编 号 ： ０ ９— ９ ０ ２ １ ） ２— ０ ４— ６ １０ ４ ７ （ ０ ０ ０ ０ ６ ０
外， 双语 对齐 语料 库 数量 的增 加也 为基 于 实例 的 机
器翻译模 型提供 了前所 未有 的发展 机遇． 何利用好 如
大规模语料 库 和 双语 对 齐语 料库 ， 合 各机 器 翻译 综 研 究方法 的优 点 ， 系统整体性能得 到较大提高 ， 使 成
为一个值得深入研 究和尝试 的课 题． 我们 的基 于大规
索类 似例旬 的机制 ， 是一 种 由实 例 引导 推理 的 机 这
洛阳师范学院学报 ２ １ ００年第 ２ 期
・ ５・ ６
后择 优选 取 译 文 的 翻译 系 统 （ 卡 内基 一梅 隆 大 学 如 机器 翻译 中心 研制 的多 引擎 西班 牙 一英语 机 器 翻译
准． 我们 设计 的多 引擎 翻 译 系 统 采 取 层 次 化 长 句分 解， 基本 名 词短 语 识 别 ，和 词 级 切 分 等 策 略 ， 输 对 入语 句进 行 不 同 程 度 的 细 化 切 分 ，分 别 从 整 句 级 、 短语 级 以及 单词 级三 个层 次进 行 分割 与 匹配 ．