藏语文本信息处理的几个关键问题分析

, , 。 , , , , ,
1 藏 语 文 本 信 息 处理
系 统化 找 准 关 键 问 题 一一 击 破 2 关 键 问题 分 析
2 1.,来自。标 准 问题 : 藏语 文 本 标 准 研 究 主要 是 研 究 以 下两 个 领 域 一 个 是 藏语 文 字 自身 的标 准 另一 个 是 藏语 信 息 处 理方 面 的标 准 藏语 作 为拼 音 文 字 的一 种 在 五 个 省 都 有 使 用 有三 个 方 言 的 分 支并且 在 读 音 使 用 词汇 方 面有 较大 的差 异 产 生的直 接后 果就是 有 很 多异 体 字 加大 了新 词 语 翻译 的 难度 藏语 文 本 中如果 有 这些 问题 存在 会让 文 本 信 息 处 理 变 得 更 加 困 难 2 0 0 4 年 国家 语 委 在人 民 地 名 术 语 等 方 面 制定 了 一 定规 范 但 是 还没 有 国家统 一 的规 范标 准 的形 成 语 言 文 字 是承载 信 息 的载体 而 在这 个信 息化 时 代 国家 的信 息化水平 如何 很大程 度 上是 由语 言 文 字 信 息 处 理 的标 准 和 规 范 来决 定 的 最 终 对 我 国 的 国际 竟 争 力 产 生影 响 藏语 字符在 过去的 几 十年 里没 有 统 一 的编码 资 源 整 合 信 息交 流 等 都 受 到 了 很大 的 制 约 白 白浪 费 了 很 多人 力 财 力 目 前仍 然有一 定 的不利影 响 存在 所 以 在 信 息 处理标 准 方 面 应 该 加紧 研 究 22 词 典 的开 发研 究 研 究 藏语信 息 处 理 所 用 的词 典 有两 个方 面 一 是 研 制 分 词词 表 二是 研 制 信 息 词 典 前者制定统 一的分 词词 表 来 帮助处 理 文 本 分 词 后 者是 分 析加工 文 本 语 料并 且 提 供机器 翻 译 想要 编制 藏 语 文 本 分 词词 表 首 先 要 对大量 的文 本 数 据进行挑选 将 其 中具 有 合 理 结 构 明确 意 义并 且 比 较 有 代表 性 的词 条挑选 出来 然后 组成 词 表 这 个 过 程 不 仅 漫长而 且 非 常艰难 目前 还 没 有 关 于 藏语 文 本 中的词频 字 串频 等 的 统 日 数 据 人工分 词语料 库也是 一 片 空 白 无 法进行 词 表 的验 证 这 些 基 础 工作没 有 完善 就 无 法 顺 利 进行 藏 语 文 本 分 词词 表 的研 制 在 今 后的 工作中 研究者应 该 直面 这 些 困 难积 极解 决 避 免 重复 劳动 语 法 信 息词 典 中 的 内容是 藏语语 法 词 法 以 及 与 以 信 息知识 覆盖 面非 常广 泛 在机器 翻译 和 深 度 加 工 文 本 语 料上 意 义 非 常 0 年代 以 来 我 国就重视 研 究 语 言 中 的单个 词 语 了 因 为 从上世 纪 8 对 个 体 词 的规 则有 了 详 细而 准确 的认 识 以 后 就 可 以 更 好 的找出 个 性 中蕴 含 的深 层 共 性 规 则 了 研究 藏语语 法 词 典 的迫切性体 现 在 两个方 面 一 是 为建 设 大规 模标 准 语 料 库 打下 良好 的基 础 句 法 规 则 标 注 词性 标 注 以 及 语 义 标 准 都 属于 藏语 文 本 语 料 标 注 中 的 内容 ; 二是更 好 的 支 持汉 藏 或者 藏 汉 机器 翻译 机器 翻 译 所 用 的词 典 中必须 要有 语 法 词 法 和 语 义信 息 还要 包括 语 义 特 征 固定 搭 配等 内容 才 可 以 更 好地 消 除 歧 义 准确 的进行 语 言 单 位 的识 别 但 是 目前 来说 这 些 都 是 非 常艰 巨 的 任务 在未 来 的语 言工程 项 目
, 。 , , 、 , , 。 , 。 、 、 , 。 , , , 。 , 、 , , , 。 , , , , 。 , , 、 , 。 , 、 , , 。 , 。 、 , , 。 , , 。 , , 、 , 、 , 、 , 、 。 ,
建设 文 本语 料 库 需 要 几 个 阶段 的努 力 首先 要 考虑 语 料 库建 立 的 目 的 需 要 建 立 的语 料 库 的类 型 规 模 资料 来 源 建设 成本等 进行 思 考 ; 然后 进 人设 计 阶段 包 括设 计 语 料 库 的平衡结 构 语 料 采样原 则 语 料 库 逻 辑 结 构 等 语 料采集 的时候 要 根 据设 计要 求来 进行 将 语 料 的标 志信 息 字 数 文 体 和 语 体 采样 方 式 版权信 息 等都 记 录下 来 ; 最 后 是将采集 来 的语 料 根 据 设 计 结 构 集 中起来 放 人 语 料 库 然后 进 行管 理 和 检索程序 的开发 目 前 藏语 文 本 语 料 库 中仍 然有 很 多问 题 存在 主要 是 四个 原 因 造成 的 一是 多年前 建 成 的语 料 库 在 收 集 的文 本 语 料字 符 方 面 没 有 统 一 的编码 很难进 行转换并 且错误 百 出需 要 人工校 对 仍 然要 进 一 步提 高 语 料 库 编 码 的转换 技 术 ; 二是采集 语 料 的时候 没 有 按 照统 一 标 准进行 ; 三是 没 有 配 套 的语 料 库 管 理 和 应用 软件 ; 四 是 语 料加工 方 面不 完善 这 些 未经加工 的生 语 料发挥 的作 用 是 有 限的 2井 机器 翻译方 法 及技 术 由于 藏语信 息 处 理 在基础 方 面 薄 弱 也没 有 先 进 的资 源 这对 于藏语 民 族 文 化 信 息 的传 播交 流有 很大 阻 碍 不 管是 速度 上 还 是 效 率上 在 使 用 机 器 翻译 这种 更 高等级 的处 理 自然 语 言 的 阶段 的 时候 问题 就 更 加 明显 了 今 后处 理藏语 文 本 的过 程 中要 将机器 翻译 作 为 重点 的 目标来 考虑 加工 语 料 的时候 让其 中一 部 分 可 以 直接 通 过 机器 翻 译来 进行 避 免 重复 劳动 更 重 要的 是尽 快建 设并 且 深 层 加工 双 语 和 多 余语 料 库 目 前 研 究 汉 藏 藏 汉 机器 翻 译 中 主要 的还 是基 于 规 则的技 术 辅之 基 于统 计 的技 术 然后 再根 据实 际情况 将统 计技 术 比 重 提 升上 去 这样 做 的优 点在 于 语 言学家 已 经 归 纳的 知 识 可 以 直 接使 用 进 去 在机器 翻译 中知 识 规 则 高实 用 性 翻译 效果 不 太依赖 语 料 的数 量 和质量 方 面的优 势得 以 体现 3 藏 语 文 本 信 息 处 理 的 发展展 望 3 1 加 强 人 才培 养 进行 藏 文 信 息 处 理 需 要 大量 相 关 的技 术人才 但 是实 际 情况 国 是 内外 只 有 几 十 人 从事这 项 研 究工作 其 中几 乎 没 有 掌 握 软件 设 计 知识 的 面 对这种情况需 要 做 好 以 下两 点 一 是 通 过有 关 部 门 的 大 力 支 持来 进行学 科 人 才 培 养 基地 的建 立 二是 利 用 多 种 形 式 和渠 道 来 加快人才 培养 的速度 减少 其 中的差距 3 2 制定 标 准 首 先 在制定标 准 的时 候 要 和 国 际相 接 轨 让标 准符合 国 际标 准 的体 系 这样 信 息交换 和 标 注 的交 流会 变得 更 容易 可 以 有 效 的 缩短 我 们 和 国际 之 间 差距 尽 快 追 赶上 国 际标 准 的发展 潮流 ; 其 次 在制定 新标 准 的时 候 要 兼 顾 少 数 民 族语 言 文 字 信 息 的处 理 对 于 汉 语信 息 处 理 的个 性强调适 当减 少 这样制定 的标 准在 处 理 所 有 中文 信 息 的时 候都 可 以 公 用
科 学 论 坛
藏 语 文 本信 息 处 理 的几个 关 键 问 题分析
赵虎 郑 亚楠
西藏 大学
: 摘 要 在建设 了 藏语 编 码 平 台 以 后 藏语信 息 处 理 需 要 做 的 就 是 在 研 究 领域 以 及 范 式 方 面 的 转 型 本 文 首 先 对藏语 文 本信 息 处 理 的 发展 情 况 进行 了概 述 然 后 总 结 出 了 几 个 关 键 性 的 基 础 问题 并 对 其 将 来 的 发 展提 出 了展望 : 关 键 词 藏语 文 本 ; 文 本信 息 处 理 ; 词 典 ; 语料 库
, 。 , , 。
,
中需 要一一 完 成 2 3 语料 库建 设
.
。
的发 展历史 概 述 我 国藏语信 息化 处 理 也 已 经发展 了几 十个 春秋 在逐 渐 开 始 e o d 编 码 的 藏语 字符 以 后 藏语信 息化 使 用 基 于 国 际标 准 的 u in c 研 究 的实质也发 生 了 转变 从研 究领 域方 面来 说 以 往 开 发 建设 的是 藏语 编码平 台 和 藏语 应 用 系 统 如 今 是 处 理 和 应 用 藏语 文 本 信 息 的 软件 ; 从研 究人 员 和相 关 机 构 来说 规模 在 不 断 的扩大 和 增 加 年 龄 结 构 越加合 理 ; 从研 究规 模方 面 来说 变 得 更 加 的 集 中和