自然语言理解与智能检索

自然语言理解与智能检索

1 引言( Introduction)

随着计算机技术的迅速发展 , 尤其是 Inter net 的出现和逐渐普及 ,人们

对有用信息的渴望愈来愈 强烈. 而在浩如烟海的电子信息中搜索自己需要的

有用信息其困难程度可想而知. 解决这一问题需要 对信息进行有效的智能整

合 ,这就涉及到自然语言 理解技术. 从 60 年代起 ,计算机的自然语言理解问

题就一直是计算机科学家和语言学家面对的一个巨 大挑战. 经过长期的研究 ,

人们逐渐认识到目前全面 解决计算机的自然语言理解尚有非常大的难度 ,但

在个别的应用系统中形成突破却具有较大的可能 性. 例如 ,基于自然语言理解

的智能检索和信息获取 系统在我们的实验中取得了较好的效果. 下面就论 述

基于自然语言理解的智能检索和信息获取问题.

2 自然语言理解的两种策略( Two strategies f or na tural language

understanding)

自然语言理解就是研究如何能让计算机理解并 生成人们日常所使用的语

言 ,目的在于建立起一种 人与机器之间的密切而友好的关系 ,使之能进行高

度的信息传递与认知活动. 建立一个自然语言理解系统 ,可以是一个纯粹的实

验性模型 ,也可以是一个 以直接应用为目的的模型1 .

迄今为止的自然语言理解模型大都以直接应用 为目标 ,或应用于机器翻

译 ,或应用于自动应答 ,或 应用于 M IS 专家系统 ,等等. 尽管这些模型所采

用 的语法框架、算法等都各有特点 ,但在解决自然语言 理解的基本策略上却是

相当一致的 ,即都是针对某 一具体的应用领域 ,充分利用具体领域的各种可理

解因素 ,将其形式化 ,然后建成的. 这种具体领域不仅规定了可用于推理的背

景知识 ,也规定了可能运 用的语汇子集和短语、句型子集. 这样的自然语言理

解策略的优点是 :1) 完全不必对理解所涉及的各个 层面 (词汇的、句法的、

语义的、语用的、语境的) 作全 面的刻画 ;2) 围绕具体领域 ,可将各个层面

的知识 作直接的综合. 其缺点是不具有普遍性、通用性 ,且往往过分受限 ,不

灵活.

跟绝大多数自然语言理解模型不同 ,自动识别 模型并不针对某一具体的应

用领域 ,而是面向人工 智能所期望解决的一般的自然语言理解问题. 所谓一般

的自然语言理解问题 ,就是让计算机具备理解 人的一般话语的能力 ,也就是说

要在计算机上建立 起一个分析或生成一般话语所必备的知识库2 . 这 种策略

首先把语言理解的各种因素分解开来 ,逐一 加以研究. 例如 ,在各种理解因素

中先划出语言因素 来. 语言因素中又先划出句法因素来. 在句法因素的 研究

中 ,又先分别研究各种句法结构的构成法则 ,等 等. 这种策略的优点是 ,它有

可能导致最终建成一个 可供一切可能的言语分析或生成所需的自然语言理 解

知识库. 智能检索和信息获取就应采用这一策略 , 因为它们所处理的信息是广

泛的、普遍的 ,这要求智 能检索和信息获取必须是智能的.

3 智能检索( Intell igent searching)

检索是文献量增长到一定程度后的必然要求 , 目的在于跟踪相关文献同时

尽量减少阅读的负担. 检索可抽象成一个过滤器模型 ,在过滤器内部完成 了标

注和匹配两个工作. 输入过滤器的是原始文献 记录 ,一个控制端子反应用户的

检索要求 ,而输出的 则是从原始记录中筛选出来的满足检索要求的记 录. 智

能检索由抽词检索与全文检索综合发展而成 , 它是对检索词有较高的判断能

力、理解能力和处理 能力的人工智能型的多媒体捡索系统 ,也就是类似 于基于

计算语言学的全文检索3 . 建立这种检索最 理想的情况是系统能对文本资

料进行语言学意义上 的理解 ,当用户查询时 ,对查询语句也进行理解 ,然 后

再对文本进行语义上的概念匹配4 .

3 . 1 中文智能检索涉及的语言处理技术

根据汉语的特点 ,大体上说来 ,中文智能检索需 要使用如下几个方面的自

然语言处理技术 : ①词切 分和词性标注. ②句法及语义分析. 这包括句法成

分的识别与标注、关键词提取、搜索特征集的提取等.

其中句法分析可采用自顶向下分析法、自底向上分 析法、富田算法、C YK 算

法等. ③概念标注与分析.④语义知识表示. ⑤词典与知识库.

3 . 2 概念标注与分析

标注是为了产生文本的描述 ,搜索的真正对象 是标注的结果. 标注用词可

以分成主题词和自由词 两种. 为了提高查全率要求标注结果具有统一的形

式 ,能够全面概括文献的特点 ;为了提高查准率要求 不同文献的标注结果要具

有互异性 ,描述精确. 以往 常用的手工标注方法存在的主要缺点是工作量大 ,

效率低 ,一致性差. 另外使用主题词表时遇到的问题 主要有词表不完备 , 更

新不及时 , 而且规模过于庞大. 使用自由词便于实现标注的自动化5 . 从

效率 上考虑 ,智能搜索必须采用自由词自动标注. 这里的 自由词是概念自由

词 ,即概念标注. 语言的理解过程 就是把语句映射到概念基的过程. 单词只是

概念的 符号 ,代表着一组可能知道的、用于该单词所表述的 概念的所有特征.

理解一个句子的关键在于提取句 子的概念和概念结构6 . 所以我们要从概

念的角度 进行标注. 语言理解系统的核心部分是语言分析器 , 主要用于概念

分析 ,故称其为概念分析器. 概念分析 器由两部分组成 ,即词典和监视程序.

词典存放着很 多概念词 ,成为分析工作的知识源. 监视程序完成分 析工作.

概念分析的基本机制是预期 (expectatio ns) . 预期是一种即将实现的情景的

描述 ,以请求的形式 存放在词典里.

3 . 3 语义知识表示

对自然语言进行自动处理时 ,应该理解其含义 , 即其包含的语义知识 ,但

是生成语法缺少表示语义 知识的手段 ,是不能充分理解句子的含义的. 为了分

析句子包含的语义知识 ,需要在语义层次上表示知

识.“理性主义”的手段虽然基本上掌握了单个句子 的分析技术 ,但是还很难覆

盖全面的语言现象 ,特别 是对于整个段落或篇章的理解还无从下手. 与“理性

主义”相对的是“经验主义”的研究思路 ,主要是指针 对大规模语料库的研究.

其加工的方式就是在语料中标注各种记号 ,标注的内容包括每个词的词性、语

义项、短语结构、句型和句间关系等. 随着标注程度 的加深 ,语料库逐渐熟化 ,

成为一个分布的、统计意 义上的知识源. 利用这个知识源可以进行许多语言 分

析工作 ,从已标注语料中总结出的频度规律可以给新文本逐词标注词性 ,划分

句子成分等.

制作表示语义知识的语义词典是智能检索中很 关键的工作. 语义词典的直

接目标是为汉语语法分 析提供语义知识的支持. 从工程实用的目的出发 ,选

择配价理论作为语义分析的理论框架 ,采用语义分类与属性描述相结合的语义

信息表述方式 ,具有良 好的可移植性 ,既面向通用领域的现代汉语 ,又可向

具体系统倾斜. 该词典的语义分类体系是为了辅助 语法分析而设计的 ,因此 ,

语义分类的标准及分类深 度均应从为语法分析服务的角度来确定. 应用语义

知识应着重于解决那些仅靠语法规则难以解决的问题. 本词典首先将词语分为

事物类、运动类和性状 类 ,然后再逐步区分更细的语义类. 我们需要先准备 专

业领域语料和语义知识库 ,结合本体论的思想创 建领域本体库 ,在专业领域语

料中提取和本体有关的例句组成例句库. 用适合中文的一种新的框架语 义描述

方法对例句库进行框架语义描述 ,其成果为 例句语义描述库. 最后 ,结合其它

语义知识库和例句 语义描述库定义领域本体 ,其成果为本体语义描述 定义库.

这样就组成一个完整的语义描述模式.

3 . 4 词典与知识库

制作一个规模适当、分级合理并可灵活配置的 词典是进行智能检索的第一

步. 在智能检索技术涉 及的诸多因素中 ,机器词典的适用性是要求很高的.

词典作为最重要的知识库 ,它的规模及其词汇知识 的描述质量从根本上决定了

智能检索效果的好坏. 智能检索的对象是以表达某个事物的概念为基本单 位的.

而词是表达概念的基本单位 ,因而也是智能搜 索语言处理的最小单位. 但是一

个概念却可以由许多不同的词或词组来表示. 比如同一概念可以有许 多不同的

名称 ,实名和指称、指代、缩写、简称等有等 价关系 ;一个名词性概念有代用、

相关、从属等关系 ; 动词性概念有方式、工具、程度、时间和原因等谓词 框架

7 . 对于这些情况 , 必须认真搞清楚词之间的同义、近义、反义、从属、隐

含、关联等关系 ,这也就是 用概念及其语义关系的集合来组成一个概念语义词

典.

3 . 5 智能搜索的实现

通常用户发出的自然语言搜索要求是零散的语 句 ,可以适当限制使用的句

式 , 以提高分析的正确率. 假设用户提出如下的要求 :文章应该详细介绍计

算机的组成结构和工作原理. 当这样的搜索要求输 入系统后 ,一个自然语言理

解前端负责分析其内容. 这个前端实际就是一个句法 —语义分析器. 句法分

析部分负责生成句法树 ,可以采用功能合一语法. 语 义分析是根据句法树建立

以动词为核心的语义框 架 ,框架的语义格由名词性短语填充. 在分析过程中

还要返回输入中可能出现的错误并通过人机交互纠 正. 接下来由智能搜索系统

提取框架中的名词性短语 ,将这些短语作为关键词 ,在经过标注的文献库中 搜

索目标记录. 在建立自然语言接口的智能搜索系 统时 ,应充分利用现有的主题

表、序词表、后控词表 等 ,建立标准化的机读格式版 ,用以作为自然语言的 知

识库、文献库、语法库、规则库的基础.

智能搜索系统工作在这样一项假设之上 :任意两个文档 F1 和 F2 , 若二

者标注的结果 ( 记作 L( F1) 和 L ( F2) ) 完全一致 , 那么它们所表达的内

容( 记作 M ( F1) 和 M ( F2) ) 也认为是相同的 , 即当且 仅当 L ( F1) = L