汉语构词研究与语言信息处理

  • 格式:pdf
  • 大小:119.84 KB
  • 文档页数:3

语言功能 、 意义性质等各方面进行分类。从信息处理 的角
度看 , 这些分类对汉语分词 都具有一定的作用。单纯从语
音分类来看. 汉语 双音节词素 的存在有助于计算 机自动分 词。我们知道 , 双音节 诃素不外 构成连纬 词、 叠音 词以及
音译外来词的成词 词素 , 这些词 素尤其是 连绵 词 、 叠音词
以以别的意义 出现在其 他词中, 且位 置并不固定 。比如最
素… 。可成词词 素既可单 独成词 , 又可 和其 他 词索共 同
构成 一个词 , 一点 显然无助于计算机 自动分词。非 词词 这
素不能单 独成词 , 它也就只能提示计算机 断定它本身不是 诃, 丽 须和其 他词素共 同扮 坷. 所 对 计算机 自动分 词
汉 语 构 词 研 究 与 语 口息 理 言 信 处 口l
杨 同 用
( 北 师 范 大 学 文学 院 , 北 石 家 庄 河 河 0 09) 5 0 1


要: 汉语 掬 词 研 宄 与 中 j信 息 处 理 关 系密 切 . 时 中 文信 息 处 理 对 攫 语 扮 词 研 究也 提 出 了更 高 更 进 = 同
维普资讯
杨 同用
汉 语构 词研 究与 语 言 信 息 处 理
8 5
女 子夜” 莲子” 孢 子” , 分词有干扰作 用的 当然是 “ 等 对
傲前一个词索的“ 子 . 尽管在这个位置上 它构成 的常用词 并不多 , 但肯定 也会影 响分词的效率。这 些情况 都要求我
常用的词缀“ , 于” 它除了能做后缀构 成一 大批 附加式合成 词外 , 可以做词报构成许多复台词 , 子弹~子弟~ 子 还 如“
收 稿 日期 :0 10 —0 2 0 -13 作 者 1 : 同 用 (9 4) 男 , 孰 授 、 研 现 代 投 语 及 应用 语 盲 学 c 畸介 栖 16 一 . 副 主
重要的一种分类方法。因为词缀是定位词素, 即使数 目很
词猩猩 、 姥姥 、 潺潺 、 皑、 瑟, 皑 瑟 其文字符号 蕴涵 丁相 当多 的信 息量 , 用字 与字序 的专一性使计算机也很容易t别 。 } {
从功能方面 来看 。 素 可分为 可成词 词 素和 非词 词 词
少, 由于使用额率高, 但 所以对 自动分词也具有一定意义。 然而需要注意的是 , 大部分 词缀并 不是专 职的, 它们还可
步的要求。
关键词 : 构菌 ; 素 词 中 文岩 息 处 理 中 囤 分 类号 : 4 . H16 1 文献标识码 : A 文 章编 号 :0 05 8 (0 2 0 —0 40 10 —5 7 2 0 20 8 —3 J
汉语构 词的研究 , 为现代汉 语的重要 内容 , 作 一直为 词汇和 语法学界所重 视. 取得 了丰硕 的成果 , 信息 网 并 而 络时代 的到来则对汉语的研究提 出 丁更高要求 7 0年代 就有人预言语言学是一门领先的科学 , 重要表现就是语 其 言与计 算机的结台 计算机 由单 纯数据计算到 信息处理 . 是从处理语盲文字 信息开始 的。随着计 算机科学 的发展
和信息时代的到来 , 汉语构 词研究 也不再但仅局限于加深 对词语 结构的认识 、 正确理解词 义 并使 用语言 , 它还应 对
计算机 自动分词 、 词性标注 以及词义理解等方面提供语言
学帮助。
鼠构词的角 度来 看 , 词是 由诃索 构成 的 , 而这些词 然 素的性质地位 并不一样。对汉语词索戎们可执 语音形式 、
的作用也并不 太大 , 使语 言研究 与计算 机工 程结合 起 要 来, 还应对 词紊做 进一步的分析。卞成林根据计算机 和非词三太类词
素 - 他研究发现< 代汉语词典) 92 个词索, 现 共 75 其中有
13 78十词索是 造词词素 , 它们只 能单独构词, 不能充当构 词成分 . 计算机分词系 统很容 易将 这些词预 先提取 出来。 成词词索和非词词索都 可以充 当构 词成 分 不同的是 , 成 词词素还 可单 独柑词 , 非词词 素却不 能。这两类 词素 中, 不少词素在构 词时位 置是 固定的. 这就可 成 为计 算机 自 动分 词的一个明显标 记。卞成林经过分 析得 出结论 : 这些 词索 中不定 位词 索 3 4 6 6个, 定位词素 2 2 6 5个。 由于定 位词素只分前 置和后置定位词 素, 这种位置特 征对于 自动 分词显然有重要的作 用。当然 . 定位词索如果是还能够单 独成词的 自由词素 , 肯定会对据此进行分词 的结果产生一 定的干扰作甩 。再加上定位词素既可构 成双 音节词 , 还可 能构成多音节词 , 这也给计算机 自动分词增加 丁难度。这 就要求我们进一 步棵人研究 定位词素 以及其他构词 词素 的语法性质 、 词汇意义等属性 , 以增强分词的抗干扰能力, 提高 自动分词的正确率。
维普资讯
20 0 2年 0 3月
河 北 师 范大 学学 报 ( 学社 会 科 学 版 ) 哲
M a 2 02 r 0 、0I 5 No. , 2 2
第2 5卷 第 2期
Junl f ee N mL nvrt( hl oh n oi c ne E io ) ora 。 hi o a U i s y P isp yadS c l i cs dt n H l ei o aS e i
构 成词素所用的文字符号大部分是专职的, 即只 能构成这
个词而不能构成 其他的词。 比如连绵 词葡萄、 蟋蚌 、 蜘蛛、 蟑螂 、 鸳鸯、 忸怩 、 徘徊 、 踯躅 、 蹉跎 、 哆嗦、 尴尬 、 崭窕 , 叠音
把词素分为词根和词缀是从词素意义方面的分类 , 当 然它们在形式上也有 比较明显的标志, 这是构词研究 中租