1 自然语言生成
自然语言生成是人工智能和计算语言学的分支，它的重点在于建成一个计算机系统，这个系统能生成用英语或其他人类语言表示的可理解文本，它的输入是一些非语言表示的信息，它会利用相关的语言知识和领域知识来自动地生成文件，报告，说明，帮助信息，以及其它类型的文本。（《buiding natrual language generation systems》）。
1.1 自然语言生成与自然语言理解
事实上，自然语言生成是自然语言处理的一部分，自然语言处理大体包括了自然语言理解和自然语言生成两个部分：自然语言理解是需要消除输入语句的歧义来产生机器表示语言，而自然语言生成的工作过程与自然语言理解相反，即它是从抽象的概念层次开始，决定如何用语言来表示这个抽象的概念，通过选择并执行一定的语义和语法规则生成文本。（《自然语言生成综述》）
自然语言处理，即实现人机间自然语言通信，或实现自然语言理解和自然语言生成是十分困难的。（ambiguity）。
例如，一个中文文本从形式上看是由汉字（包括标点符号等）组成的一个字符串。由字可组成词，由词可组成词组，由词组可组成句子，进而由一些句子组成段、节、章、篇。无论在上述的各种层次：字（符）、词、词组、句子、段，……还是在下一层次向上一层次转变中都存在着歧义和多义现象，即形式上一样的一段字符串，在不同的场景或不同的语境下，可以理解成不同的词串、词组串等，并有不同的意义。一般情况下，它们中的大多数都是可以根据相应的语境和场景的规定而得到解决的。也就是说，从总体上说，并不存在歧义。这也就是我们平时并不感到自然语言歧义，和能用自然语言进行正确交流的原因。但是一方面，我们也看到，为了消解歧义，是需要极其大量的知识和进行推理的。如何将这些知识较完整地加以收集和整理出来；又如何找到合适的形式，将它们存入计算机系统中去；以及如何有效地利用它们来消除歧义，都是工作量极大且十分困难的工作。这不是少数人短时期内可以完成的，还有待长期的、系统的工作。以上说的是一个中文文本或一个汉字（含标点符号等）串可能有多个含义。它是自然语言理解中的主要困难和障碍。反过来，一个相同或相近的意义同样可以用多个中文文本或多个汉字串来表示，所以一个中文文本或一个汉字（含标点符号等）串可能有多个含义同样也是自然语言生成的主要困难和障碍。（《WAPEDIA》）因此，自然语言的形式（字符串）与其意义之间是一种多对多的关系。其实这也正是自然语言的魅力所在。从自然语言理解的角度看，我们必须消除歧义，即要把带有潜在歧义的自然语言输入转换成某种无歧义的计算机内部表示。而从自然语言生成的角度看，我们也要消除歧义，从抽象概念生成符合语义，语法，语用的无歧义文本，所以不论从哪方面看，自然语言的魅力都给我们带来了巨大的困难。
历史上对自然语言理解研究得较多，而对自然语言生成研究得较少。但这种状况近年来已有所改变。
1.2 自然语言生成的研究
从20世纪40年代算起，自然语言处理的研究已经接近有70年的历史，而自然语言生成正是在自然语言处理的发展中逐渐清晰化的其中一个部分，大概兴起于70年代早期，在1983年~1993年这十年期间，自然语言生成的研究取得了令人瞩目的成就。
自然语言生成迄今已走过了近四十年的历程，在这段时间里，从事该领域研究的专家们不断提出新的理论和方法，设计出新的生成模型，使语言生成的研究不断取得新的进展。目前语言生成的研究侧重于以下几个方面：在特定的语法理论框架内更加广泛深入地处理语言
现象，如 :生成系统。"在同一语法环境下生成多语言，例如英国大学的多语种生成系统（包括英语、德语、）日语、法语、荷兰语、西班牙语），上海交通大学的多语言天气预报发布系统。面向实际应用的开发，如国内有北京交通大学和北京颐和园的导游系统、中国科技大学的机器人足球现场解说系统以及人机接口等；国外的有英国大学所设计的在线文件剪接系统。"在生成过程中对所要表达的信息进行语义和句法方面的聚合亦是目前研究重点之一。当前语言生成的研究方向主要是在语言表示形式、信息内容规划以及语言生成模型等方面。自然语言生成的研究将继续在诸多语言学科、计算机领域和其他学科的通力协作下获得新的成果。（《自然语言生成综述》）
2 自然语言生成的内容
传统来说，自然语言生成的任务大致分为两个个部分：内容选择，即“应该表达什么”；以及内容表示，即“怎样去表达”。但随着自然语言生成的发展，我们还应解决一个问题，那就是“为什么要用这种方式表达？”，所以提出了更为标准的自然语言生成结构，它由三部分构成：内容（文本）规划（也称宏观规划），句子规划（微观规划）和句子实现。标准自然语言生成结构见图1：（《Natural Language Generation》）
图1：自然语言标准生成结构
事实上还没有一个已实现的自然语言生成器完全的体现了图1中所有的模块，目前试验性的尝试来完成这一结构的自然语言生成器有 ERMA (Clippinger 1974)和PAULINE (Hovy 1988) 。而大多数的自然语言生成器在不同的安排下只包含这一结构中的某些阶段而已，如Reiter (1994) 和 De Smedt, Horacek, and Zock(1995)。（《Natural Language Generation》）
2.1 自然语言生成体系结构
下面对自然语言生成体系结构的三个基本模块进行介绍。（《自然语言生成综述》，《Natrual Language Gneration:Requirment for construction》，《Natural Language
Generation》，《Microplanning with Communicative Intentions:The SPUD System》）
2.1.1 内容规划
内容规划的任务主要包括内容确定和结构构造两个方面。内容确定的功能是决定生成的文本应该表示什么样的问题，而结构构造则是完成对已确定内容的结构描述，即用一定的结构将所要表达的内容组织起来，并决定这些内容块是怎样按照修辞方法互相联系起来的，以便更加符合阅读和理解的习惯。通俗讲，就是输入是一个或多个交互目标，像[DESCRIBE HOUSE-15] 或[MOTIV A TEGOING-ON-V ACATION-12]之类的这种抽象的概念，经过内容规划，输出通常会是树结构，或者是一个有着更加详细的内容命题的列表，这些命题会用像“and”,“therefore”,“however”这样的连接词连接起来。当然，每个命题都包含着一个单子句所应该包含的信息。比如初始目标是[DESCRIBE HOUSE-15]，那么它被简单扩展后应该是像[GENERATE HOUSE-IDENTIFIER] [GENERA TE ADDRESS] [INTRODUCE FLOORPLAN] [ELABORA TE [GENERATE GROUND-FLOOR] “and”[GENERATE
TOP-FLOOR] “and” [GENERATE BASEMENT]] 这样的。
2.1.2 句子规划
通常，内容规划并没有完全指定输出文本的内容和结构，句子规划的任务就是进一步明确定义规划文本的细节，具体包括选词（Lexicalization）、优化聚合（Aggregation）、指代表达式生成（Referring Expression Generation）等工作。
选词模块：在应用中，特定信息必须根据上下文环境、交互目标和实际因素（如人的知识背景或作强调等特定处理）用词或短语来表示。选择特定的词、语法结构以表示规划文本的信息意味着对规划文本进行消息映射。有时只用一种选词方法用来表示信息或信息片段，在多数系统中允许有多种选词方法。
优化聚合模块：为了能够消除句子间的冗余信息，增加可读性以及能从子句构造更复杂的句子，在句子规划中应用了聚合技术，通常按照粒度区分有句子、词汇、语义、修辞和概念等聚合。即决定内容规划输出的结构怎样才能映射到像句子和段落那样的语言结构。聚合就是使用修改，联合短语，以及其它语言结构等方法来将信息打包到较少的句子中（当然这可能会使得这些句子反映的信息更为复杂一些），聚合依赖一些应用操作，这些操作的作用是会检测将要表达的信息之间的联系，比如，有的信息会重复指向共同的参与者（如Doe is a patient，DOE is a female），这样就要组织相关材料信息到一个嵌套的语义结构了（得到Doe is a female patient）。
指代表达式生成：决定什么样的表达式，句子或词汇应该被用来指代特定的实体或对象。在实现选词和聚合之后，对指代表达式生成的工作来说，就是让句子的表达更具语言色彩，对已经描述的对象进行指代以增加文本的可读性。
句子规划的输出是文本描述（Text Specification），但其仍然不是最终输出文本，仍有句法、词法等特征需进一步处理。一般文本描述的层次结构仍然对应于逻辑结构，需经过文本实现系统实现逻辑结构向物理结构（段落章节）的映射，才能最终生成文本。
也就是说，句子规划的基本任务涵括确定句子边界，组织材料内部的每一句话，规划句子交叉引用和其它的回指情况，选择合适的词汇或段落来表达内容，确定时态，模式，以及其它的句法参数等，即通过句子规划，理想化的输出应该是一个子句集列表，且每一个子句都应该有较为完善的句法规则。但是事实上，自然语言是有很多歧义性和多义性的，各个对象之间大范围的交叉联系等情况，也就造成了句子规划是一个很难的任务，这点很多做过相关实验的学者都已经指出过。针对句子规划的许多子任务，如果要一起很好的完成是不容易的，所以有一种考虑是，单独，或者只着重考虑其中几个子任务，这样的研究也是早已存在。相比之下，现在已经较少人研究完成所有句子规划子任务的了。
2.1.3 句子实现
句子实现主要包括语言实现和结构实现两部分，具体地讲就是将经句子规划后的文本描述映射至由文字、标点符号和结构注解信息组成的表层文本。生成算法首先按主谓宾的形式进行语法分析，并决定动词的时态和形态，再完成遍历输出。其中，结构实现完成结构注解信息至文本实际段落、章节等结构的映射；语言实现完成将短语描述映射到实际表层的句子或句子片段。
3 SPUD系统基础
了解了自然语言生成的大致过程，应该看到，句子规划问题是比较复杂又为重要的。句子规划就像一个装满特殊任务的包一样，而这些任务又各自调用它们自己的表示方法和算法，所以比如像选词，聚合，指代表达式生成这些任务都是用系统的而又复杂的方法进行交互作用。但是这些交互也给集成异构的句子规划进程带来了挑战。（《Microplanning with Communicative Intentions:The SPUD System》）
相对的，也有考虑对句子规划使用统一方法的研究，而不是像上面所描述的那种集成异构，如SPUD(Stone et al., 2003)。SPUD（sentence planning using description）就是在整个句子规划的过程中对临时信息（provisional utterance）使用同一种表示方法，并利用这种表示方法给出一个单独的决策策略，而不是像传统上的句子规划那样不同的子任务有自己的表示方法和算法。
SPUD这个框架的关键就是生成器中临时信息（provisional utterance）的解释意图（intended of interpretation）的表示，SPUD将这种表示叫做交际意图（communicate intent）。同时，强调句子规划是一个协商的过程，即对句子规划而言，临时意图能引导和约束规划中进一步的推理(Bratman, 1987; Pollack, 1992)。SPUD中交际意图的具体表示是与一种语言结构相关联的，这个语言结构拥有关于它所包含意义的“指向”，而这些意义表明了在当前的语境中，这个结构怎样描述各种各样的广义信息（generalized individuals）。这样就可以通过交际意图的具体表示与语言结构之间的联系来关联相关应用领域的具体信息。交际意图的具体表示拥有句子规划作出决策所需的所有信息，比如它会记录指代表达式（referring expressions）转变为非歧义形式的过程，它还能表明给定的结构和意义怎样才能用修饰词加以修饰阐述，这
样多个信息片就能在一个单一的表达式中被组织起来等。因此，有了交际意图模型，SPUD 能同时地补充一个不完整句子的句法，语义以及语用，并能逐步评估掌握句子规划子问题相互作用的进展情况。
使用交际意图来进行句子规划，意味着要通过对语法推导进行搜索来同时构建一个话语（utterance）和它的解释，而能将有意义的决策打包在一起并允许逐步修改评估这些决策的语法形式会有助于这个搜索。所以，SPUD使用了LTAG（the lexicalized tree-adjoining grammar formalism）形式，同时，使用像逻辑编程和约束满足等这样的技术会有助于为给定的语言形式决定交际意图。
SPUD的重点在于句子规划，它是基于交际意图的，它的整个过程结构如下：
图2 基于交际意图的句子规划（微规划）的对话结构（conversational architecture）3.1 SPUD基础举例说明
例子（1）Slide coupling nut onto elbow to uncover fuel-line sealing ring.
使用依赖关系树表示这一话语（utterace）：
图3 例（1）关系树
为了表示交际意图，需要三个组成成分：（1）话语（utterace）怎样添加有关于交际目标的信息；（2）怎样增加与对象特性有联系的约束；（3）怎样建立参与者角色（the status of participants）与谈话中的指向（referents in the discourse）之间的关系。即：Assertion:是语法规则在树种每个元素的体现,它用于更新话语（utterance）的意图；
Presupposition:旨在用共享的领域知识表现话语；
Pragmatic condition：表现描述参与者角色（the status of participants）以及话语中的“指向”（referents in the discourse）；
所以，经过一系列基于领域知识和语法语义以及语用的假设与设计，图3可表示为：
这些都是对元素的解释，约束。
接下来给出交际意图表示的一般规范：
图4 交际意图的一般规范
之后例（1）再经过进一步的设计与设定，如定义一些新的函数，还有采用领域表达和语言表达等。领域表达分别是盒装表达式（boxed expression）和下划线表达式（underlined expression），它们分别表示对已有记录的更新和记录中已经有的功能。之后得到以下结果：
图5 例（1）中slide的交际意图
图5中的边表示语言表达与领域表达之间的推理连接。
所以，句子规划经过考虑语法以及领域知识得到的初步交际意图便呈现出来：
图6 例（1）的交际意图。
就像图2所展示的，内容规划是综合规划管理器下面的多个子任务中的一个，一旦内容规划给出了一些更新，那么对话管理器就要将这些更新作为句子规划的输入。相应的，句子规划模块会生成一些交际意图表示，这些交际意图表示阐述了一个达到这些更新的方法，这个方法是通过使用一个具体语言形式的话语（utterance）来达到这些更新的。句子规划会依据语法和一个广义知识库构建这个交际意图的表示。这个知识库指定了系统的私有领域知识，以及关于领域的所有背景信息，而这些信息是所有参与者都可以共享的。句子规划生成的交际意图返回到对话管理器中，对话管理器不仅能将这个交际意图推进到实现模块，而且还能将它作为协调过程的一般资源。
有了以上的背景知识，我们可以给出SPUD系统的关键：图6 给出的结构不仅给对话
管理器提供了资源，也给句子规划自己提供了资源。例子（1）中，句子规划开始于对话管理器给出的任务：在一个可认知的方法下，这一话语（uterance）是有助于更新的，即move 是next的，并且它的purpose是uncover。句子规划器可以通过给临时的交际意图表示一次添加一个解释元素来达到这些要求，如第一步添加如图5中slide的结构。在每一个步骤中，句子规划器都可以使用这些话语解释来推进解决像词汇选择，聚合和指代表达式的相互关联的问题。图7就提供了一些这样步骤的简单示意图：
图7 例（1）的初始阶段的句子规划示意图
通过之前的介绍，我们发现了能确定NLG中指代意图的一般方法：通过添加预先假定的关系来扩充一个话语的内容。
以上只是介绍了SPUD系统中句子规划大致过程，当然后期会有别的处理，如句法结构，形态结构，文法推论等，但是大致的前提基础如上所述。
SPUD系统是将句子生成作为一个规划问题在解，利用贪婪算法和先到先进（head-first）的算法作为规划基本算法，最后输出一个plan可以达到交际目标。
4 近期改进
近来有基于SPUD基本思想作出改进的方法，如论文《Sentence generation as a planning problem》中提到的改进，下面介绍此文中具体改进。
这个方法也是将生成语句这个问题编码为规划问题，将包含语义和语用信息的TAG语法的句子生成问题转换为基于PDDL的规划问题。但和以往的系统不一样的是它将重点放在了每个单词所做的贡献上，这些贡献包括对所要求生成的语句的句法，语义和语用上作出的语法特定的贡献。本文刻意避免对话语（utterance）像协调理性行为一样进行推理，早期的系统就是这样做的，本文避免这样，为的是能够得到一种更简单的逻辑。
文章解决的问题是围绕指称表达式（REs）的生成的，它开发了一个针对distractor（后面会介绍）的生命周期的新的观点，这样会生成更简洁的REs 。另外，这个方法还跟之前
系统不一样的是它不像别的系统将句子生成问题分为句子规划和生成两个步骤解决，而是只用一个综合步骤解决句子生成问题。
4.1
图8 例（2）
图8展示了例（2）的过程。如图8a所示，是通过“替代”和“附加”（都是TAG的主要操作）来合并元素树，这些操作的结果是如图8b所示的推导树，图8c则展示了最后的结果表示。
现在来考虑从上到下地构造如图8c的推导树过程。如图8 所示，很明显，过程开始于一个空的推导树，目的将要生成一个S层的表达式。为了满足这个目标，首先往空树上添加了“likes”树，将它作为推导树的根，但是这样做后，会引入两个新的未满足的NP层的“替代”节点，即这棵树还是不完整的。接下来，我们又用NP层的树“mary”和“rabbit”来放到这两个“替代”节点上，虽然这个动作满足了所有的“替代”节点，但是如图，“rabbit”树又引入了一些“附加”（adjunction）约束，而这个约束是我们必须通过毗连“the”辅助树才能满足的。之后就得到了一个语法推导树，当然我们是可以自由地继续添加辅助树的，比如图8a中添加的“white”树。
如上所述的过程我们可以看出，其实推导树的生成本质上是一个规划问题。对于规划问题我们是知道的，它需要状态以及可以从一个状态到另一个状态的动作，解决规划问题其实就是找到一个完整的动作序列，这个序列可以从初始状态一直到满足目标状态。
本文过程中，状态是由非满足的“替代”节点，非满足的强制性“附加”约束以及在一些推导树中“添加”动作可作用的节点来表示的。对于动作，是每个动作添加一个单独的元素树到推导树上，移除一些“开放节点”，当然同时也引入一些新的“开放节点”。初始状态是由空推导树以及为给定的根（category）生成一个表达式所需的要求组成，而目标状态是将现有的推导树规划为语法上完整的树。
4.2 语义角色
这个方法是需要推导树中每个节点都有自己单独的名字，这样的名字对区分非满足的“替代”节点和“附加”节点之间的不同是必要的。因此方法中引入了“语义角色”。以图8中例（2）为例，假定给根节点取名为self，还有角色ag和pat。另外引入索引确保一个节点一个名字。比如“likes”树的索引是1且树中“替代”节点的语义角色分别为ag和pat，那么给“likes”推导树添加元素树的规划动作就要求用这个元素树去替代“likes”树NP层的名为1.ag的替代节点以及另一个也是NP层的名为1.pat的替代节点。
4.3 PDDL编码
现在将语法LTAG推导树的生成问题编码为PDDL。在这个模式下。一个规划状态被定义为有限的谓词逻辑原子的集合，这些谓词逻辑是取得真值。动作（action）有很多个参数，还有一个precondition和一个effect，这两个都是逻辑公式。PDDL允许对可以作为precondition和effect的公式进行扩展。
Precondition中的subst(A,s)表示根类别为A的初始树有一个替代节点的标志为u。即说对于一个对替代节点进行替代的动作，它的前提条件就是subst(A,s)，如果当前树有这么一个替代节点u，那么就可以应用这个动作了，同样的道理对于辅助树的操作也是一样的，不过要求的前提条件是canadjoin(A,s)。这里还有一个区别：对于初始树，它的替代动作的结果是从规划状态中消除subst条件，即?subst(A,u)；而对于辅助树，它的附加动作的结果是影响：? mustadjoin(A,u)，它表明这个被附加（adjoin）元素树的“附加”节点可以不用再进行附加操作了，但是也可以继续进行附加操作，即不作必须进行附加操作的硬性规定了。就像图8a例(2)中已经有“the”附加在上面了，就算后来不附加“white”也符合了句法要求，但也可以依据生成语句的后继要求继续附加。
之前提到过，动作的应用会为节点引入新的身份，因此我们使用目前规划的步骤数作为索引，给初始状态引入一个原子：step(1)。然后给每个元素树引入一个step(k)，这里k 是规划规模的最大上限。
图9展示了一些动作。
图9 图8中语法的一些动作
由上所述，最后的目标状态应该含有以下状态：
?A,u. ? subst(A,u) ∧?A,u. ? mustadjoin(A,u)
然后我们就可以将这些动作，初始状态以及目标规定放到任何现成的规划器，获得像图10显示的规划。
图10 对图9中动作的规划
4.4
以上是最基本的句子生成到规划问题的介绍，接下来，我们扩展这个编码来处理语义和指代表达式。
4.4.1
为了将规划器像TAG的语句实现（surface realization）算法那样使用，我们将语义内容（semantic content）附给每一个元素树，并要求语句要达到某个特定的交际目标。这里也会用到知识库，知识库中只用树来表示信息。
比如，我们定义“likes”树的语义内容形如：{ like(self,ag,pat) }，知识库也是有限的原子集合，比如包含like(e,m,r)和rabbit(r)等，交际目标是知识库的子集，如like(e,m,r)。
针对交际目标，对其每一个元素P(a1,...,an )都在初始状态添加cg(P,a1,...,an )，相应的，在目标上添加?P,x1,...,xn. ? cg(P,x1,...,xn )。另外，为每一个有n个语义角色作为参数的动作赋予参数x1,...,xn，对知识库中每一个元素P(a1,...,an )，在初始状态下都添加
skb(P,a1,...,an ) 。然后定义一个函数id，它将语义角色映射到节点标志，比如它将self映射到u,将别的角色r映射到i.r；接着再定义一个函数ref，它将函数id的输出映射到参数x1, (x)
上，如ref(u) = x1。
为了获得元素树t的第i个动作对交际目标的贡献，我们在每个元素树的语义内容的每个P(r1,...,rn )的effect中添加一个影响：? cg(P,ref(id(r1)),...,ref(id(rn ))) ；我们通过给每个语义内容元素的动作一个前提条件：skb(P,ref(id(r1)),...,ref(id(rn )))来严格表示只表达真值语句。
为了能确定以后的“指向”内容，保持跟踪节点标志和对象（individuals）之间的联系，对每个动作都为语义角色r（除了self）增加一个影响referent(id(r),ref(id(r)))，下面就是“likes”的元素树：
完整的计划不仅对应着语法推导树，还能达到所有的交际目标。
4.4.2 指代表达式
因为一个指代表达式必须允许hearer能独立地确定意图指向，所以我们分别记录跟踪hearer的知识库。
像之前提到的skb(P,a1,...,an )一样，这里使用了一个原子hkb(P,a1,...,an )。另外，假定语用信息形式是pkb(P,a1,...,an )。这里我们将用到三个语用谓词：hearer-new，表明hearer不知道这个对象（individual）的存在，并且不能推导出它；hearer-old ，意思与hearer-new相反；contextset，一个意图指向的contextset是指hearer可能混淆的所有的对象（individual）集合。例说b是a的context set,我们在初始状态中使用原子pkb(contextset,a,b)。
除了语义内容，我们还给每一个元素树的语法上配备了语义要求和语用条件。语义要求是一个原子集合，它给元素树提供了一个“前提条件”，这个“前提条件”可以帮助hearer 确定它的参数指代的是什么。比如“likes”就有一个严格要求是它的agent必须是动物。这就简化了hearer的选择，方便指代表达式的生成。
由于在推导过程中引入的每个替代节点都会引入一个新的指代表达式，这意味着我们能通过引入这个指代表达式的替代节点的身份来区分这些指代表达式。所以，对每个指代表达式u，给出一个原子distractor(u,x)。这个distractor(u,x)在一些规划状态中的存在，意味着目前的推导树信息量还不足以允许hearer单独地确定u的意图指向。有种情况是，有个a是另一个对象，它不是我们需要的那个意图指向，但它又符合我们目前为止构造的部分指代表达式，这样就可能会出现错误偏差，那么我们就为了确定所有指代表达式的唯一性，给规划目标添加?u,x ? distractor(u,x)。
图11和图12给出了例（2）的扩展语法和一些相应动作。
图11 扩展语法例子
图12 对应于图11中语法的一些动作
还有很多问题需要考虑。看了关于NLG的这些论文方法，以及它的挑战之处，认为要把它作为规划问题处理，那么：
问题一是用什么语法形式表示，像论文《Microplanning with Communicative Intentions:The SPUD System》中的LTAG，像论文《Sentence generation as a planning problem》中的LTAG转换到PDDL然后作为规划输入，这些表现形式是否就是最好的表现形式了？
问题二是怎样才能保证给出的逻辑状态是尽量的包含所有语义，语用，并符合所有应有句法的。NLG中有很多子任务，子问题，如内容规划，句子规划，句子规划中还有聚合，指代表达式，选词等等很多，是否能改进这些个别货几个子问题，效果就会更明显？
问题三是规划问题将状态，动作作为输入放到规划器，那么这个规划器又应该怎样设计才对这些形式的状态和动作效果最为好。SPUD使用贪婪算法和head-first，FF使用启发式算法等等，是否能设计一个更为妥当的规划器，使用的算法专门针对这个NLG领域的这些状态，动作呢？
目前最多的考虑应该在后两个问题上吧
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，包括中文、英文、俄文、日文、德文、法文等等，所以它与语言学的研究有着密切的联系，但又有重要的区别。自然语言处理并不是一般地研究自然语言，而在于研制能有效地实现自然语言通信的计算机系统，特别是其中的软件系统。因而它是计算机科学的一部分。
语言是人类区别其他动物的本质特性。在所有生物中，只有人类才具有语言能力。人类的多种智能都与语言有着密切的关系。人类的逻辑思维以语言为形式，人类的绝大部分知识也是以语言文字的形式记载和流传下来的。因而，它也是人工智能的一个重要，甚至核心部分。用自然语言与计算机进行通信，这是人们长期以来所追求的。因为它既有明显的实际意义，同时也有重要的理论意义：人们可以用自己最习惯的语言来使用计算机，而无需再花大量的时间和精力去学习不很自然和习惯的各种计算机语言；人们也可通过它进一步了解人类的语言能力和智能的机制。
实现人机间自然语言通信意味着要使计算机既能理解自然语言文本的意义，也能以自然语言文本来表达给定的意图、思想等。前者称为自然语言理解，后者称为自然语言生成。因此，自然语言处理大体包括了自然语言理解和自然语言生成两个部分。历史上对自然语言理解研究得较多，而对自然语言生成研究得较少。但这种状况近年来已有所改变。
无论实现自然语言理解，还是自然语言生成，都远不如人们原来想象的那么简单，而是十分困难的。从目前的理论和技术现状看，通用的、高质量的自然语言处理系统，仍然是较长期的努力目标，但是针对一定应用，具有相当自然语言处理能力的实用系统已经出现，有些已商品化，甚至开始产业化。典型的例子有：种数据库和专家系统的自然语言接口、各种机器翻译系统、全文信息检索系统、自动文摘系统等。
自然语言处理，即实现人机间自然语言通信，或实现自然语言理解和自然语言生成是十分困难的。造成困难的根本原因是自然语言文本和对话的各个层次上广泛存在的各种各样的歧义性或多义性（ambiguity）。
一个中文文本从形式上看是由汉字（包括标点符号等）组成的一个字符串。由字可组成词，由词可组成词组，由词组可组成句子，进而由一些句子组成段、节、章、篇。无论在上述的各种层次：字（符）、词、词组、句子、段，……还是在下一层次向上一层次转变中都存在着歧义和多义现象，即形式上一样的一段字符串，在不同的场景或不同的语境下，可以理解成不同的词串、词组串等，并有不同的意义。一般情况下，它们中的大多数都是可以根据相应的语境和场景的规定而得到解决的。也就是说，从总体上说，并不存在歧义。这也就是我们平时并不感到自然语言歧义，和能用自然语言进行正确交流的原因。但是一方面，我们也看到，为了消解歧义，是需要极其大量的知识和进行推理的。如何将这些知识较完整地加以收集和整理出来；又如何找到合适的形式，将它们存入计算机系统中去；以及如何有效地利用它们来消除歧义，都是工作量极大且十分困难的工作。这不是少数人短时期内可以完成的，还有待长期的、系统的工作。
以上说的是，一个中文文本或一个汉字（含标点符号等）串可能有多个含义。它是自然语言理解中的主要困难和障碍。反过来，一个相同或相近的意义同样可以用多个中文文本或多个汉字串来表示。
因此，自然语言的形式（字符串）与其意义之间是一种多对多的关系。其实这也正是自然语言的魅力所在。但从计算机处理的角度看，我们必须消除歧义，而且有人认为它正是自然语言理解中的中心问题，即要把带有潜在歧义的自然语言输入转换成某种无歧义的计算机内部表示。
歧义现象的广泛存在使得消除它们需要大量的知识和推理，这就给基于语言学的方法、基于知识的方法带来了巨大的困难，因而以这些方法为主流的自然语言处理研究几十年来一方面在理论和方法方面取得了很多成就，但在能处理大规模真实文本的系统研制方面，成绩并不显著。研制的一些系统大多数是小规模的、研究性的演示系统。
大约90年代开始，自然语言处理领域发生了巨大的变化。这种变化的两个明显的特征是（1）对系统输入，要求研制的自然语言处理系统能处理大规模的真实文本，而不是如以前的研究性系统那样，只能处理很少的词条和典型句子。只有这样，研制的系统才有真正的实用价值。
（2）对系统的输出，鉴于真实地理解自然语言是十分困难的，对系统并不要求能对自然语言文本进行深层的理解，但要能从中抽取有用的信息。例如，对自然语言文本进行自动地提取索引词，过滤，检索，自动提取重要信息，进行自动摘要等等。
同时，由于强调了“大规模”，强调了“真实文本”，下面两方面的基础性工作也得到了重视和加强。
（1）大规模真实语料库的研制。大规模的经过不同深度加工的真实文本的语料库，是研究自然语言统计性质的基础。没有它们，统计方法只能是无源之水。
（2）大规模、信息丰富的词典的编制工作。规模为几万，十几万，甚至几十万词，含有丰富的信息（如包含词的搭配信息）的计算机可用词典对自然语言处理的重要性是很明显的。虽然上述新趋势给自然语言处理领域带来了成果，但从理论方法的角度看，由于采集、整理、表示和有效应用大量知识的困难，这些系统更依赖于统计学的方法和其他“简单”的方法或技巧。而这些统计学的方法和其他“简单”的方法似乎也快达到它们的极限了，因此，目前在自然语言处理界广泛争论的一个问题便是：要取得新的更大的进展，主要有待于理论上的突破呢，还是可由目前已有的方法的完善和优化实现？答案还不清楚。大致上，更多的语言学家倾向于前一种意见，而更多的工程师则倾向于后一种意见。回答或许在“中间”，即应将基于知识和推理的深层方法与基于统计等“浅层”方法结合起来。
大数据文摘作品 编译：糖竹子、吴双、钱天培 自然语言处理（NLP）是一种艺术与科学的结合，旨在从文本数据中提取信息。在它的帮助下，我们从文本中提炼出适用于计算机算法的信息。从自动翻译、文本分类到情绪分析，自然语言处理成为所有数据科学家的必备技能之一。 在这篇文章中，你将学习到最常见的10个NL P任务，以及相关资源和代码。
为什么要写这篇文章？ 对于处理NL P问题，我也研究了一段时日。这期间我需要翻阅大量资料，通过研究报告，博客和同类NL P问题的赛事内容学习该领域的最新发展成果，并应对NL P处理时遇到的各类状况。 因此，我决定将这些资源集中起来，打造一个对N L P常见任务提供最新相关资源的一站式解决方案。下方是文章中提到的任务列表及相关资源。那就一起开始吧。 目录: 1.词干提取
2.词形还原 3.词向量化 4.词性标注 5.命名实体消岐 6.命名实体识别 7.情感分析 8.文本语义相似分析 9.语种辨识 10.文本总结 1.词干提取 什么是词干提取？词干提取是将词语去除变化或衍生形式，转换为词干或原型形式的过程。词干提取的目标是将相关词语还原为同样的词干，哪怕词干并非词典的词目。例如，英文中: 1.b e a u t i f u l和b e a u t i f u l l y的词干同为b e a u t i 2.G o o d,b e t t e r和b e s t的词干分别为g o o d,b e t t e r和b e s t。 相关论文：M a r t i n P o r t e r的波特词干算法原文
相关算法：在P yt h o n上可以使用P o r t e r2词干算法 (h t t p s://t a r t a r u s.o r g/m a r t i n/P o r t e r S t e m m e r/d e f.t xt) 程序实现：这里给出了在p yt h o n的s t e mm i n g库中使用 (https://https://www.doczj.com/doc/936632048.html,/mchaput/stemming/src/5c242aa592a6 d4f0e9a0b2e1afdca4fd757b8e8a/stemming/porter2.py?at=d efault&fileviewer=file-view-default) P o r t e r2算法做词干提取的代码： #!pip install stemmingfrom stemming.porter2 import stem stem("casually") 2.词形还原 什么是词形还原？词形还原是将一组词语还原为词源或词典的词目形式的过程。还原过程考虑到了P O S问题，即词语在句中的语义，词语对相邻语句的语义等。例如，英语中： 1.b e a u t i f u l和b e a u t i f u l l y被分别还原为b e a u t i f u l和b e a u t i f u l l y。 2.g o o d,b e t t e r和b e st被分别还原为g o o d,g o o d和g o o d 相关论文1:这篇文章详细讨论了词形还原的不同方法。想要了解传统词形还原的工作原理必读。(h t t p://www.i j r a t.o r g/d o wn l o a d s/i c a t e st2015/I CA TE S T-2015127.p d f)
浅谈自然语言处理 摘要 主要阐述了自然语言处理的定义，发展历史，并对其研究内容，以及目前相关领域的应用加以讨论。最后对自然语言处理的未来发展趋势做简单的介绍。 关键词 自然语言处理 Abstract The definition and the development history of Natural Language Processing(NLP) are explained,the research content and the applications in interrelated areas of NLP are discussed.And the develop direction of NLP in the future are simply introduced. Key Words: Natural Language Processing(NLP)
0.引言 早在计算机还未出现之前，英国数学家A.M.Turing便已经预见到未来计算机将会对自然语言处理研究提出新的问题。他指出，在未来我们可以“教机器英语并且说英语。”同时他觉得“这个过程可以仿效教小孩子说话的那种办法进行”。这便是最早关于自然语言处理概念的设想。 人类的逻辑思维以语言为形式，人类的多种智能都与语言有着密切的联系。所以用自然语言与计算机进行通信是计算机出现以来人们一直所追求的目标。 1.什么是然语言处理 美国计算机科学家Bill Manaris(马纳瑞斯)在1999年出版的《计算机进展》（Advances Computers）第47卷的《从人—机交互的角度看自然语言处理》一文中，曾经给自然与然处理提出了如下定义：“自然语言处理可以定义为研究在人与人交际中的语言问题的一门学科。自然语言处理要研制表示语言能力（linguistic competence）和语言应用（linguistic performance）的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断地完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。”这个定义被广泛的接受，它比较全面的地表达了计算机对自然语言的研究和处理。 简单来说，自然语言处理就是一门研究能实现人鱼计算机之间用自然语言处理进行有效的通信与方法的一门学科，它是计算机科学领域与人工智能领域中的一个重要方向。普遍认为它主要是应用计算机技术，通过可计算的方法对自然语言处理的各级语言单位（字，词，语句，篇章等）进行转换，传输，存储，分析等加工处理的学科，是一门融合了语言学，计算机学，数学等学科于一体的交叉性学科。 互联网技术的发展，极大地推动了信息处理技术的发展，也为信息处理技术不断提出新的需求，语言作为信息的载体，语言处理技术已经日益成为全球信息化和我国社会及经济发展的重要支撑技术。
xx学校 2012—2013学年度第二学期期末试卷 考试课程：《人工智能》考核类型：考试A卷 考试形式：开卷出卷教师： 考试专业：考试班级： 一单项选择题（每小题2分，共10分） 1.首次提出“人工智能”是在（D ）年 A.1946 B.1960 C.1916 D.1956 2. 人工智能应用研究的两个最重要最广泛领域为：B A.专家系统、自动规划 B. 专家系统、机器学习 C. 机器学习、智能控制 D. 机器学习、自然语言理解 3. 下列不是知识表示法的是 A 。 A：计算机表示法B：“与/或”图表示法 C：状态空间表示法D：产生式规则表示法 4. 下列关于不确定性知识描述错误的是 C 。 A：不确定性知识是不可以精确表示的 B：专家知识通常属于不确定性知识 C：不确定性知识是经过处理过的知识 D：不确定性知识的事实与结论的关系不是简单的“是”或“不是”。 5. 下图是一个迷宫，S0是入口，S g是出口，把入口作为初始节点，出口作为目标节点，通道作为分支，画出从入口S0出发，寻找出口Sg的状态树。根据深度优先搜索方法搜索的路径是 C 。 A：s0-s4-s5-s6-s9-sg B：s0-s4-s1-s2-s3-s6-s9-sg C：s0-s4-s1-s2-s3-s5-s6-s8-s9-sg D：s0-s4-s7-s5-s6-s9-sg 二填空题（每空2分，共20分） 1.目前人工智能的主要学派有三家：符号主义、进化主义和连接主义。 2. 问题的状态空间包含三种说明的集合，初始状态集合S 、操作符集合F以及目标
状态集合G 。 3、启发式搜索中，利用一些线索来帮助足迹选择搜索方向，这些线索称为启发式(Heuristic)信息。 4、计算智能是人工智能研究的新内容，涉及神经计算、模糊计算和进化计算等。 5、不确定性推理主要有两种不确定性，即关于结论的不确定性和关于证据的不确 定性。 三名称解释（每词4分，共20分） 人工智能专家系统遗传算法机器学习数据挖掘 答：（1）人工智能 人工智能(Artificial Intelligence) ，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等 （2）专家系统 专家系统是一个含有大量的某个领域专家水平的知识与经验智能计算机程序系统,能够利用人类专家的知识和解决问题的方法来处理该领域问题.简而言之,专家系统是一种模拟人类专家解决领域问题的计算机程序系统 （3）遗传算法 遗传算法是一种以“电子束搜索”特点抑制搜索空间的计算量爆炸的搜索方法，它能以解空间的多点充分搜索，运用基因算法，反复交叉，以突变方式的操作，模拟事物内部多样性和对环境变化的高度适应性，其特点是操作性强，并能同时避免陷入局部极小点，使问题快速地全局收敛，是一类能将多个信息全局利用的自律分散系统。运用遗传算法(GA)等进化方法制成的可进化硬件(EHW)，可产生超出现有模型的技术综合及设计者能力的新颖电路，特别是GA独特的全局优化性能，使其自学习、自适应、自组织、自进化能力获得更充分的发挥，为在无人空间场所进行自动综合、扩展大规模并行处理(MPP)以及实时、灵活地配置、调用基于EPGA的函数级EHW，解决多维空间中不确定性的复杂问题开通了航向 （4）机器学习 机器学习(Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎 （5）数据挖掘 数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的
自然语言理解技术，未来人工智能的核动力 摘要：自然语言理解是人工智能研究重要的领域之一，同时也是目前前沿的难题之一。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法，是未来人工智能的核动力。因此理解自然语言理解以及自然语言理解技术的含义，阐述自然语言理解的研究及其相关应用，综述自然语言理解技术研究方向变化并对自然语言理解的发展前景进行分析和展望，是十分有意义的。 关键词：自然语言理解技术；智能信息服务； 1.引言： 随着计算机科学的不断发展和成熟，计算机应用开始迈人知识处理、语言理解阶段，人们对计算机的智能提出了新的要求随着社会的日益信息化，人们越来越强烈地希望能更好地同计算机交流。自然语言就是这样一个媒介。 2. 1自然语言理解的含义： 广义的“语言”是任何一种有结构的符号系统。其中, 最重要的两类语言,自然语言和形式语言。而狭义的“语言”是人类在社会牛活中发展出来的用来互相交际的声音符号系统，是“自然语言”。 “自然语言理解”即Natural Language Understanding 俗称人机对话，指的就是使计算机来按照这种语言所表达的意义做出相应反应的机制。它主要研究用电子计算机模拟人的语言交际过程，使计算机能理解和运用人类社会的自然语言如汉语、英语等，实现人机之间的自然语言通信，以代替人的部分脑力劳动，包括查询资料、解答问题、摘录文献、汇编资料以及一切有关自然语言信息的加工处理。这在当前新技术革命的浪潮中占有十分重要的地位。自然语言理解是计算机科学中的一个引人入胜的、富有挑战性的课题。从计算机科学特别是从人工智能的观点看，自然语言理解的任务是建立一种计算机模型，这种计算机模型能够给出象人那样理解、分析并回答自然语言（即人们日常使用的各种通俗语言）的结果。2. 1自然语言理解技术的含义： 首先, 自然语言是极其复杂的符号系统。一个人尽管可以对自己的母语运用自如, 但却无法把自己母语的构成规律、意义的表达规律和语言使用的规律用计算机可以接受的方式彻底说清楚。传统的语言学是在没有计算机参照的条件下发展起来的, 虽然为自然语言理解积累了宝贵的财富, 但那是讲给人的, 真正要让语言学知识变成计算机上可操作的, 绝不是那么简单, 也不能那么模糊。这个目标的实现,需要大量又懂语言学又懂计算机的人在正确的技术路线的指导下一起做非常大规模的基本建设, 绝不是一拍脑袋想出个“绝招”就能解决的。 其次, 自然语言的各个层次上都含有巨大的不确定性。在语音和文字层次上,有一字多
第３３卷第３期计算机学报ｖ０１．３３Ｎｏ．３２０１０年３月ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＭａｒ．２０１０ １ 自然语言合理句子的生成系统 胡碉＂’２’高小宇２’李莉＂高庆狮”’２’ １’（北京科技大学信息工程学院北京１０００８３） ２’（中国科学院计算技术研究所北京１００１９０） 摘要基于语法规则的使用Ｃｈｏｍｓｋｙ上下文无关文法产生的句子虽合乎语法规则但并不一定合乎语义常理．文中提出一种可以产生合理的自然语言句子的产生系统｛Ｔｒ，Ｎ，Ｂ，，Ｃ，，Ｓ，Ｆ，，Ｐ，），其中，Ｊ是指定的自然语言．该系统建立在语义语言理论上，使用Ｃｈｏｍｓｋｙ短语文法．系统的关键技术是引入了语义单元技术、类型参量，类型参量的作用不仅体现在语义单元中而且还体现在句树、事物树和函数集中．语义单元和类型参量共同作用能有效的对产生的句子进行语义约束使得生成的句子合理． 关键词多自然语言；生成系统；语义单元；语义语言；多语言机器翻译 中图法分类号ＴＰｌ８ＤＯＩ号：１０．３７２４／ＳＰ．Ｊ．１０１６．２０１０．００５３５ ＡＧｅｎｅｒａｔｉｎｇＳｙｓｔｅｍｔｏＧｅｎｅｒａｔｅＬｅｇｉｔｉｍａｔｅａｎｄＲｅａｓｏｎａｂｌｅＳｅｎｔｅｎｃｅｓ ＨＵＹｕｅｌ’，２’ＧＡＯＸｉａｏ－Ｙｕ２’ＬＩＬｉ＂ＧＡＯＱｉｎｇ—Ｓｈｉｌ’?２’ ”（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ。ＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅ＆ＴｅｃｈｎｏｌｏｇｙＢｅｉｊｉｎｇ．Ｂｅｉｊｉｎｇ１０００８３） ２’（ＩｎｓｔｉｔｕｔｅｏｆＣｏｍｐｕｔｉｎｇＴｅｃｈｎｏｌｏｇｙ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙｏｆＳｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ１００１９０） ＡｂｓｔｒａｃｔＴｈｅｓｅｎｔｅｎｃｅｓｐｒｏｄｕｃｅｄｂｙＣｈｏｍｓｋｙ’ＳＣｏｎｔｅｘｔ－ｆｒｅｅＧｒａｍｍａｒａｒｅｌｅｇｉｔｉｍａｔｅ，ｃｏｎｆｏｒｍｗｉｔｈｓｙｎｔａｘｒｕｌｅｓ，ｂｕｔｎｏｔｒｅａｓｏｎａｂｌｅ．Ｔｈｅｓｅｎｔｅｎｃｅｓｐｒｏｄｕｃｅｄｂｙ｛Ｔｆ，Ｎ，ＢＩ，ＣＪ，Ｓ，ＦＪ，ＰＪ）ｐｒｏｄ—ｕｃｔｉｎｇｓｙｓｔｅｍｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒａｒｅｌｅｇｉｔｉｍａｔｅａｎｄｒｅａｓｏｎａｂｌｅ，ｗｈｅｒｅＩｉｓａｓｐｅｃｉｆｙｎａｔｕｒａｌｌａｎｇｕａｇｅ．ＩｔｉｓｂａｓｅｄｏｎｓｅｍａｎｔｉｃｕｎｉｔｔｈｅｏｒｙａｎｄＰｈｒａｓｅ—ｓｔｒｕｃｔｕｒｅＧｒａｍｍａｒ．Ｔｈｅｋｅｙｏｆｒｅａｓｏｎ—ａｂｌｅｎｅｓｓｉｓｂａｓｅｄｏｎｓｅｍａｎｔｉｃ—ｕｎｉｔｓｔｈｅｏｒｙ，ｔｏｉｎｔｒｏｄｕｃｅｔｈｅｃａｔｅｇｏｒｙ－ｐａｒａｍｅｔｅｒｓｙｓｔｅｍ，ｗｈｉｃｈｉｓｉｎｔｈｅｓｅｔＢ—ＲＪＳＵ，ｉｎｔｈｅｓｅｔＣ－ｔｒｅｅｔ，ａｎｄｉｎｔｈｅｓｅｔＦｔ．Ｔｈｅｓｅｍａｎｔｉｃ—ｕｎｉｔｓａｎｄｃａｔｅｇｏｒｙ－ｐａｒａｍｅ—ｔｅｒｓｍａｋｅｔｈｅｓｅｎｔｅｎｃｅｓｒｅａｓｏｎａｂｌｅ． Ｋｅｙｗｏｒｄｓｍｕｌｔｉｐｌｅｎａｔｕｒａｌｌａｎｇｕａｇｅｓ；ｇｅｎｅｒａｔｉｎｇｓｙｓｔｅｍ；ｓｅｍａｎｔｉｃｕｎｉｔ；ｓｅｍａｎｔｉｃｌａｎｇｕａｇｅ； ｍｕｌｔｉｐｌｅｌａｎｇｕａｇｅｓｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎ 引 （１）Ｎ．Ｃｈｏｍｓｋｙ形式文法理论 Ｎ．ＣｈｏｍｓｋｙⅢ在１９５６年提出了形式文法理论． 该理论是理想的形式化的描述工具之一，不仅对语 言学，而且对整个计算机科学起到了很重要的作用． 但是，基于语法的Ｃｈｏｍｓｋｙ文法生成的句子 虽合乎语法规则，但不一定合乎语义常理．其根本 原因是生成规则只反映语法规则，不能有效反映 收稿日期：２００９—０５—０６；最终修改稿收到日期：２００９—１２—２８．本课题得到国家“九七三”重点基础研究发展规划项目基金（２００７ＣＢ３１１１０３），国家“八六三”高技术研究发展计划项目基金（２００６ＡＡ０１２１４０，２００６ＡＡ０１０１０１）、国家自然科学基金（６０８７３００２，６０７３６０１３）资助．胡胡，女，１９６３年生，博士，副教授，主要研究方向为自然语言处理、计算机体系结构和网络安全．Ｅ—ｍａｉｌ：ｈｕｈｕｙｕｅ一００１＠ｓｉｎａ．ｃｏｒｎ．高小字，男，１９７８年生，硕士，主要研究方向为自然语言处理、网络安全和串匹配．李莉，女，１９８０年生，博士，讲师，主要研究方向为自然语言处理和串匹配．高庆狮，男，１９３４年生，中国科学院院士，主要研究领域为并行算法、计算机体系结构、自然语言处理、人类智能、网络安全和串匹配算法． 吉目 万方数据
自然语言处理的关键技术 自然语言处理技术是所有与自然语言的计算机处理有关的技术的统称，其目的是使计算机理解和接受人类用自然语言输入的指令，完成从一种语言到另一种语言的翻译功能。自然语言处理技术的研究，可以丰富计算机知识处理的研究内容，推动人工智能技术的发展。下面我们就来了解和分析自然语言处理的关键技术。 一、常用技术分类 1、模式匹配技术 模式匹配技术主要是计算机将输入的语言内容与其内已设定的单词模式与输入表达式之间的相匹配的技术。例如计算机的辅导答疑系统，当用户输入的问题在计算机的答疑库里找到相匹配的答案时，就会完成自动回答问题的功能。但是不能总是保证用户输入的问题能得到相应的回答，于是很快这种简单匹配式答疑系统有了改进。答疑库中增加了同义词和反义词，当用户输入关键词的同义词或反义词时，计算机同样能完成答疑，这种改进后的系统被称为模糊匹配式答疑系统。 2、语法驱动的分析技术
语法驱动的分析技术是指通过语法规则，如词形词性、句子成分等规则，将输入的自然语言转化为相应的语法结构的一种技术。这种分析技术可分为上下文无关文法、转换文法、ATN文法。上下文无关文法是最简单并且应用最为广泛的语法，其规则产生的语法分析树可以翻译大多数自然语言，但由于其处理的词句无关上下文，所以对于某些自然语言的分析是不合适的。转换文法克服了上下文无关文法中存在的一些缺点，其能够利用转换规则重新安排分析树的结构，即能形成句子的表层结构，又能分析句子的深层结构。但其具有较大的不确定性。ATN文法扩充了转移网络，比其他语法加入了测试集合和寄存器，它比转移文法更能准确地分析输入的自然语言，但也具有复杂性、脆弱性、低效性等缺点。3、语义文法 语义文法的分析原理与语法驱动相似，但其具有更大的优越性。语义文法中是对句子的语法和语义的共同分析，能够解决语法驱动分析中单一对语法分析带来的不足。它能够根据句子的语义，将输入的自然语言更通顺地表达出来，除去一些语法正确但不合语义的翻译。但是语义文法分析仍然有不容忽视的缺点，其分析的语句中有时会出现不合语法的现象，并且这类分析较为复杂，语义类难以确定，语义的规则太多……因此，语义文法技术仍需要改进措施。 4、格框架约束分析技术
一单项选择题（每小题2分，共10分） 1.首次提出“人工智能”是在（D ）年 A.1946 B.1960 C.1916 D.1956 2. 人工智能应用研究的两个最重要最广泛领域为：B A.专家系统、自动规划 B. 专家系统、机器学习 C. 机器学习、智能控制 D. 机器学习、自然语言理解 3. 下列不是知识表示法的是 A 。 A：计算机表示法B：“与/或”图表示法 C：状态空间表示法D：产生式规则表示法 4. 下列关于不确定性知识描述错误的是 C 。 A：不确定性知识是不可以精确表示的 B：专家知识通常属于不确定性知识 C：不确定性知识是经过处理过的知识 D：不确定性知识的事实与结论的关系不是简单的“是”或“不是”。 5. 下图是一个迷宫，S0是入口，S g是出口，把入口作为初始节点，出口作为目标节点，通道作为分支，画出从入口S0出发，寻找出口Sg的状态树。根据深度优先搜索方法搜索的路径是 C 。 A：s0-s4-s5-s6-s9-sg B：s0-s4-s1-s2-s3-s6-s9-sg C：s0-s4-s1-s2-s3-s5-s6-s8-s9-sg D：s0-s4-s7-s5-s6-s9-sg 二填空题（每空2分，共20分） 1.目前人工智能的主要学派有三家：符号主义、进化主义和连接主义。 2. 问题的状态空间包含三种说明的集合，初始状态集合S 、操作符集合F以及目标状态集合G 。 3、启发式搜索中，利用一些线索来帮助足迹选择搜索方向，这些线索称为启发式(Heuristic)信息。 4、计算智能是人工智能研究的新内容，涉及神经计算、模糊计算和进化计算等。 5、不确定性推理主要有两种不确定性，即关于结论的不确定性和关于证据的不确 定性。 三名称解释（每词4分，共20分） 人工智能专家系统遗传算法机器学习数据挖掘
电子病历中应用自然语言生成结构化数据的研究(1) 王巍 （武汉市第一医院网络中心，武汉430022） 时间：2011-8-15 16:32:42 点击：97 摘要：本文主要讨论在电子科技发展的今天，计算机技术与病历系统相结合，通过自然语言录入系统，转化为结构化数据的方法，形成电子病历。研究这些方法在电子病历系统应用中会出现的一些技术难点。 关键词：自然语言；结构化数据；db2 pure xml；电子病历 中图分类号：tp274 文献标识码：a 文章编号：1007-9599 (2011) 05-0000-03 electronic medical record application of natural language generation structured data rese arch wang wei (network center,wuhan no.1 hospital,wuhan 430022,china) abstract:this article focuses on the development of electronic technology today,computer technology combined with the medical system through natural language input system,into a structured data approach,the formation of electronic medical records.these methods in the electronic medical record system application will appear in a number of technical diffi culties. keywords:natural language;structured data;db2 pure xml;electronic medical records 一、概述 电子病历是科技化社会推进过程中的必然发展，其有助于各医院科室间对数据的交流和共享；并成为保存人一生的病历记录的最佳载体，它以时间发展顺序，逐条记录一个人从出生到死亡的所有临床诊断、检验结果和治疗信息情况；其真实客观的记录，也是医学研究最佳的分析资料。 目前，我国的电子病历发展经历了三个阶段，概括来说，第一阶段为电子文档的阶段，将纸质的病历录入为电子文档形式，第二阶段为表格化的电子病历，第三个阶段为半结构化阶段。对于电子病历的内容录入，目前较多的采用的还是结构化的表单输入，规定好各种模板，然后通过下拉列表等方式构成一个医学病历录入系统。这种方式，使得数据在录入初始，就是半结构化的，但是，它不符合一般人的信息表述方式，而且不够灵活，使用习惯上，也无法得到认同，医生还是更习惯使用自然语言进行录入。但同时，对于计算机进行数据分析，保存和分享来说，结构化数据才是最合适的，松散的自然语言，计算机并不认识，所以业界认为还是以结构化数据为研究核心，但是未来的发展方向是通过自然语言录入，转化为结构化数据。
2019人工智能与健康试题及答案 一、单项选择题 1.（）是集机械、电子、控制、计算机、传感器、人工智能等多学科先进技术于一体的现代制造业重要的自动化装备。 D.工业机器人 2.（）是利用计算机将一种自然语言（源语言）转换为另一种自然语言（目标语言）的过程。 B.机器翻译 3.（）是人工智能的核心，是使计算机具有智能的主要方法，其应用遍及人工智能的各个领域。 B.机器学习 4.（）是人以自然语言同计算机进行交互的综合性技术，结合了语言学、心理学、工程、计算机技术等领域的知识。 A.语音交互 5.（）是通过建立人工神经网络，用层次化机制来表示客观世界，并解释所获取的知识，例如图像、声音和文本。 A.深度学习 6.（）是研究用计算机系统解释图，像实现类似人类视觉系统理解外部世界的一种技术，所讨论的问题是为了完成某一任务需要从图像中获取哪些信息，以及如何利用这些信息获得必要的解释。 B.图像理解 7.（）是一个具有大量的专门知识与经验的程序系统，它应用人工智能技术和计算机技术，根据某领域一个或多个专家提供的知识和经验，进行推理和判断，模拟人类专家的决策过程，以便解决那些需要人类专家处理的复杂问题。 A.专家系统 8.（）是一种处理时序数据的神经网络，常用于语音识别、机器翻译等领域。 C.循环神经网络 9.（）是一种基于树结构进行决策的算法。 B.决策树 10.（）是用电脑对文本集按照一定的标准进行自动分类标记。
C.文本分类 11.（）是指能够按照人的要求，在某一个领域完成一项工作或者一类工作的人工智能。 C.弱人工智能 12.（）是指能够自己找出问题、思考问题、解决问题的人工智能。 B.强人工智能 13.（）是指在各个领域都比人类要强的人工智能。 A.超人工智能 14.（）是指直接通过肢体动作与周边数字设备和环境进行交互。 A.体感交互 15.（）是自然语言处理的重要应用，也可以说是最基础的应用。 C.文本分类 16.（）宣布启动了“先进制造伙伴计划”“人类连接组计划”“创新神经技术脑研究计划”。 C.美国 17.（）中共中央政治局就人工智能发展现状和趋势举行第九次集体学习。 B.2018年10月31日 18.《“健康中国2030”规划纲要》中提到，健康是经济社会发展的（） B.基础条件 19.《“健康中国2030”规划纲要》中提到，全民健康是建设健康中国的（） D.根本目的 20.1997年，Hochreiter&Schmidhuber提出（）。 D.长短期记忆模型 21.2005年，美国一份癌症统计报告表明：在所有死亡原因中，癌症占（） A.1/4 22.2012年，Hinton教授小组在ImageNet竞赛中夺冠，降低了几乎（）的错误率。 B.50% 23.2017年，卡内基梅隆大学开发的一个人工智能程序在（）大赛上战胜了四位人类玩家，这在人工智能发展史上具有里程碑式的意义。 C.德州扑克 24.50年前，人工智能之父们说服了每一个人：“（）是智能的钥匙。” B.逻辑 25.癌症的治疗分为手术、放疗、化疗。据WTO统计，有（）的肿瘤患者需要接受放疗。
万方数据
万方数据
万方数据
万方数据
利用范本构建语法模板生成仿自然语言隐写文本 作者：苏胜君， 李维斌， 陈超， 王朔中， Su Sheng-jun， Lee Wei-Bin， Chen Chao， Wang Shuo-zhong 作者单位：苏胜君,Su Sheng-jun(上海理工大学光学与电子信息工程学院,上海,200093;上海大学通信与信息工程学院,上海,200072)， 李维斌,Lee Wei-Bin(台湾逢甲大学资讯工程与电脑科学 系,台中,40724)， 陈超,王朔中,Chen Chao,Wang Shuo-zhong(上海大学通信与信息工程学 院,上海,200072) 刊名： 电子与信息学报 英文刊名：JOURNAL OF ELECTRONICS & INFORMATION TECHNOLOGY 年，卷(期)：2008,30(8) 参考文献(13条) 1.Bender W Techniques for data hiding[外文期刊] 1996(3-4) 2.Brassil J T;Low S;Maxemchuk N F Copyright protection for the electronic distribution of text documents[外文期刊] 1999(07) 3.Takizawa O Method of hiding information in agglutinative language documents using adjustment to new line positions 2005 4.肖湘蓉;孙星明基于内容的英文文本数字水印算法设计与实现[期刊论文]-计算机工程 2005(22) 5.Atallah M Natural language watermarking and tamperproofing 2002 6.Topkara M Natural language watermarking 2005 7.Grothoff C Translation-based steganography 2005 8.Stutsman R Lost in just the translation 2006 9.Wayner P Mimic functions 1992(03) 10.Bennett K Linguistic steganography:Survey,analysis,and robustness concerns for hiding information in text 2004 11.Peter Wayner encode and decode 12.Gaudin S Record Broken:82% of U.S.Email is Spam 2004 13.Bergmair R Natural language steganography and an AI-complete security primitive 2004 本文读者也读过(6条) 1.玉素甫·艾白都拉.阿不都热依木·沙力.木沙江面向现代维吾尔语处理的短语信息库构造方法[会议论文]-2007 2.王莉.梁冰.郝春云.朱晓华.白海燕.Wang Li.Liang Bing.Hao Chunyun.Zhu Xiaohua.Bai Haiyan基于Wiki技术的标准术语库的设计与实现[期刊论文]-数字图书馆论坛2011(3) 3.林贤明.李堂秋.史晓东基于模板的机器翻译系统中模板库的自动构建技术[期刊论文]-计算机应用2004,24(9) 4.吴云芳.常宝宝.詹卫东汉英双语短语信息数据库的构建[期刊论文]-术语标准化与信息技术2003(4) 5.丁宇红现代汉语方式、依据类介词比较研究[学位论文]2008 6.宋振秋基于短语模板的机器翻译研究[学位论文]2008 引用本文格式：苏胜君.李维斌.陈超.王朔中.Su Sheng-jun.Lee Wei-Bin.Chen Chao.Wang Shuo-zhong利用范本构建语法模板生成仿自然语言隐写文本[期刊论文]-电子与信息学报 2008(8)
人工智能期末试题及答案 完整版 Prepared on 21 November 2021
xx学校 2012—2013学年度第二学期期末试卷考试课程：《人工智能》考核类型：考试A卷 考试形式：开卷出卷教师： 考试专业：考试班级： 一单项选择题（每小题2分，共10分） 1.首次提出“人工智能”是在（D ）年 2. 人工智能应用研究的两个最重要最广泛领域为：B A.专家系统、自动规划 B. 专家系统、机器学习 C. 机器学习、智能控制 D. 机器学习、自然语言理解 3. 下列不是知识表示法的是 A 。 A：计算机表示法B：“与/或”图表示法 C：状态空间表示法D：产生式规则表示法 4. 下列关于不确定性知识描述错误的是 C 。 A：不确定性知识是不可以精确表示的 B：专家知识通常属于不确定性知识 C：不确定性知识是经过处理过的知识 D：不确定性知识的事实与结论的关系不是简单的“是”或“不是”。 5. 下图是一个迷宫，S0是入口，S g是出口，把入口作为初始节点，出口作为目标节点，通道作为分支，画出从入口S0出发，寻找出口Sg的状态树。根据深度优先搜索方法搜索的路径是 C 。 A：s0-s4-s5-s6-s9-sg B：s0-s4-s1-s2-s3-s6-s9-sg C：s0-s4-s1-s2-s3-s5-s6-s8-s9-sg D：s0-s4-s7-s5-s6-s9-sg 二填空题（每空2分，共20分） 1.目前人工智能的主要学派有三家：符号主义、进化主义和连接主义。 2. 问题的状态空间包含三种说明的集合，初始状态集合S、操作符集合F以及目标状态集合G 。 3、启发式搜索中，利用一些线索来帮助足迹选择搜索方向，这些线索称为启发式(Heuristic)信息。
内容大概分为：自然语言处理的简介、关键技术、流程及应用。 首先，介绍一下什么是自然语言处理（也叫自然语言理解）： 语言学家刘涌泉在《大百科全书》（2002）中对自然语言处理的定义为：“自然语言处理是人工智能领域的主要内容，即利用电子计算机等工具对人类所特有的语言信息（包括口语信息和文字信息）进行各种加工，并建立各种类型的人-机-人系统，自然语言理解是其核心，其中包括语音和语符的自动识别以及语音的自动合成。” 从微观上讲,自然语言理解是指从自然语言到机器(计算机系统)内部之间的一种映射。 从宏观上看,自然语言理解是指机器能够执行人类所期望的某些语言功能。这些功能包括： ①回答有关提问；计算机正确地回答用自然语言输入的有关问题 ②提取材料摘要；机器能产生输入文本的摘要 ③同词语叙述；机器能用不同的词语和句型来复述输入的自然语言信息 ④不同语言翻译。机器能把一种语言翻译成另外一种语言 自然语言处理的关键技术 自然语言处理的关键技术包括：词法分析、句法分析、语义分析、语用分析和语句分析。 1．词法分析 词法分析的主要目的是从句子中切分出单词，找出词汇的各个词素，并确定其词义。 词法分析包括词形和词汇两个方面。一般来讲，词形主要表现在对单词的前缀、后缀等的分析，而词汇则表现在对整个词汇系统的控制。在中文全文检索系统中，词法分析主要表现在对汉语信息进行词语切分，即汉语自动分词技术。通过这种技术能够比较准确的分析用户输入信息的特征，从而完成准确的搜索过程。它是中文全文检索技术的重要发展方向。 不同的语言对词法分析有不同的要求，例如英语和汉语就有较大的差距 汉语中的每个字就是一个词素，所以要找出各个词素是相当容易的，但要切分出各个词就非常难。 如”我们研究所有东西“，可以是“我们——研究所——有——东西”也可是“我们——研究——所有——东西”。
课程编号：S0300010Q 课程名称：自然语言处理 开课院系：计算机科学与技术学院任课教师：关毅刘秉权 先修课程：概率论与数理统计适用学科范围：计算机科学与技术 学时：40 学分：2 开课学期：秋季开课形式：课堂讲授 课程目的和基本要求： 本课程属于计算机科学与技术学科硕士研究生学科专业课。计算机自然语言处理是用计算机通过可计算的方法对自然语言的各级语言单位进行转换、传输、存贮、分析等加工处理的科学。是一门与语言学、计算机科学、数学、心理学、信息论、声学相联系的交叉性学科。通过本课程的学习，使学生掌握自然语言（特别是中文语言）处理技术（特别是基于统计的语言处理技术）的基本概念、基本原理和主要方法，了解当前国际国内语言处理技术的发展概貌，接触语言处理技术的前沿课题，具备运用基本原理和主要方法解决科研工作中出现的实际问题的能力。为学生开展相关领域（如网络信息处理、机器翻译、语音识别）的研究奠定基础。 课程主要内容： 本课程全面阐述了自然语言处理技术的基本原理、实用方法和主要应用，在课程内容的安排上，既借鉴了国外学者在计算语言学领域里的最新成就，又阐明了中文语言处理技术的特殊规律，还包括了授课人的实践经验和体会。 1 自然语言处理技术概论（2学时） 自然语言处理技术理性主义和经验主义的技术路线；自然语言处理技术的发展概况及主要困难；本学科主要科目；本课程的重点与难点。 2 自然语言处理技术的数学基础（4学时） 基于统计的自然语言处理技术的数学基础：概率论和信息论的基本概念及其在语言处理技术中的应用。如何处理文本文件和二进制文件，包括如何对文本形式的语料文件进行属性标注；如何处理成批的文件等实践内容 3 自然语言处理技术的语言学基础（4学时） 汉语的基本特点；汉语的语法功能分类体系；汉语句法分析的特殊性；基于规则的语言处理方法。ASCII字符集、ASCII扩展集、汉字字符集、汉字编码等基础知识。 4 分词与频度统计（4学时） 中文分词技术的发展概貌；主要的分词算法；中文分词技术的主要难点：切分歧义的基本概念与处理方法和未登录词的处理方法；中外人名、地名、机构名的自
从语言学到深度学习nlp一文概述自然语言处理 自然语言处理（NLP）近来因为人类语言的计算表征和分析而获得越来越多的关注。它已经应用于许多如机器翻译、垃圾邮件检测、信息提取、自动摘要、医疗和问答系统等领域。本论文从历史和发展的角度讨论不同层次的NLP 和自然语言生成（NLG）的不同部分，以呈现NLP 应用的各种最新技术和当前的趋势与挑战。 1 前言 自然语言处理（NLP）是人工智能和语言学的一部分，它致力于使用计算机理解人类语言中的句子或词语。NLP 以降低用户工作量并满足使用自然语言进行人机交互的愿望为目的。因为用户可能不熟悉机器语言，所以NLP 就能帮助这样的用户使用自然语言和机器交流。 语言可以被定义为一组规则或符号。我们会组合符号并用来传递信息或广播信息。NLP 基本上可以分为两个部分，即自然语言理解和自然语言生成，它们演化为理解和生成文本的任务（图1）。 图1：NLP 的粗分类 语言学是语言的科学，它包括代表声音的音系学（Phonology）、代表构词法的词态学（Morphology）、代表语句结构的句法学（Syntax）、代表理解的语义句法学（Semantics
syntax）和语用学（Pragmatics）。 NLP 的研究任务如自动摘要、指代消解（Co-Reference Resolution）、语篇分析、机器翻译、语素切分（Morphological Segmentation）、命名实体识别、光学字符识别和词性标注等。自动摘要即对一组文本的详细信息以一种特定的格式生成 一个摘要。指代消解指的是用句子或更大的一组文本确定哪些词指代的是相同对象。语篇分析指识别连接文本的语篇结构，而机器翻译则指两种或多种语言之间的自动翻译。词素切分表示将词汇分割为词素，并识别词素的类别。命名实体识别（NER）描述了一串文本，并确定哪一个名词指代专有名词。光学字符识别（OCR）给出了打印版文档（如PDF）中间的文字信息。词性标注描述了一个句子及其每个单词的词性。虽然这些NLP 任务看起来彼此不同，但实际上它们经常多个任务协同处理。 2 NLP 的层级 语言的层级是表达NLP 的最具解释性的方法，能通过实现内容规划（Content Planning)、语句规划（Sentence Planning）与表层实现（Surface Realization）三个阶段，帮助NLP 生成文本（图2）。 图2：NLP 架构的阶段 语言学是涉及到语言、语境和各种语言形式的学科。与NLP 相关的重要术语包括：
NLP 培训测试题 一、简答题： 1.人类大脑的信息处理系统具有什么特点： 答：具有平行处理能力、高度非线性、复杂性 2.滤网的基本构成： 答：消除、歪曲、概括 3.V.A.K表象系统的组成有哪些？ 答： 二、问答题： 1.某销售团队实行08:00—20:00的12小时工作制，由4个人同时开始工作。甲在上午的时候经常表现的无精打采，乙在早晨的工作中表现的非常兴奋，丙总是迟到，丁总是在傍晚的时候抱怨下班的时间太晚。如果公司决定调整工作时间，你应该如何制定值班表，并请说明理由。 答：每人上班3小时， 乙值08：00-11:00 丁值11:00-14:00 丙值14:00-17:00 甲值17:00-20:00 五大成功原则 （1）清楚的预计结果：确保调整后的值班更有效率 （2）采取行动：大胆调整工作时间，每个人承担3个
小时的工作时间 （3）拥有敏感的感官观察 甲：上午无精打采---习惯过夜生活 乙：早晨比较兴奋---作息时间较为规律 丙：早晨总是迟到---存在客观原因（交通、距离） 丁：抱怨下班太晚—存在主、客观原因 （4）拥有行为弹性：每人单独值班，能够为你提供足够的时间和精力观察每个人的表现和反应，确保你制定计 划的可执行性，并确保你能及时调整计划。 （5）在身心卓越层面运作：符合每个人得作息时间，并在制定后单独告知每个人，这是按照你观察了解后制定 的。 2.某汽车销售服务公司要招聘1名销售经理。经过层层筛选，两名应征者最终入围。甲，年龄25岁，刚刚从海外名牌大学博士生毕业，主修市场营销，有很强的事业心和进取心。乙，年龄45岁，国内大专毕业，从事汽车销售行业25年，常年工作在销售一线，经验丰富。请你针对上述情况，填写一份客观、公正的招聘意向分析。 答：NLP世界观：消除、歪曲、概括 甲年富力强，具有较高学历，进取心强。但缺乏工作经验，对公司所面临的国内市场情况，缺乏必要的信息。有较大可能运用自身知识，对公司现阶段执行的决策产生歪曲和
3本文为国家社会科学基金项目“基于中文X ML 文档的全文检索研究”的成果之一,项目编号:04CT Q005。 ●熊回香,夏立新(华中师范大学 信息管理系,湖北 武汉 430079) 自然语言处理技术在中文全文检索中的应用 3 摘 要:自然语言处理技术是中文全文检索的基础。首先介绍了全文检索技术及自然语言处理技术,接着详细地阐述了自然语言处理技术在中文全文检索中的应用,并对目前基于自然语言处理技术的中文全 文检索技术的局限性进行了分析,探讨了中文全文检索技术的未来发展方向。 关键词:自然语言处理;全文检索;智能检索 Abstract:Natural language p r ocessing technol ogy is the basis of Chinese full 2text retrieval .This paper firstly intr oduces the full 2text retrieval technol ogy and natural language p r ocessing technol ogy .Then,it gives a detailed 2descri p ti on of the app licati on of natural language p r ocessing technol ogy in Chinese full 2text retrieval .The p resent li m itati ons of the Chinese full 2text retrieval system based on natural language p r ocessing technol ogy is als o ana 2lyzed .Finally,the paper exp l ores the devel opment trend of Chinese full 2text retrieval technol ogy in future . Keywords:natural language p r ocessing;full text retrieval;intelligent retrieval 随着社会网络化、信息化程度的日益提高,网上信息呈指数级剧增,人们越来越强烈地希望用自然语言同计算机交流,并能方便、快捷、准确地从互联网上获得有价值的信息,因此,自然语言处理技术和中文全文检索技术成为当今计算机科界、语言学界、情报学界共同关注的课题,并共同致力于将自然语言处理技术的研究成果充分运用到全文检索中,从而促进了全文检索技术的发展。 1 全文检索技术 全文检索是一种面向全文和提供全文的检索技术,其核心技术是将文档中所有基本元素的出现信息记录到索引库中,检索时允许用户采用自然语言表达其检索需求,并借助截词、邻词等匹配方法直接查阅文献原文信息,最后将检索结果按相关度排序返回给用户。因而索引数据库的建立是全文检索系统实现的基础,它以特定的结构存储了数据资源的全文信息,从而为全文检索系统提供可检索的数据对象。在中文全文检索系统中,建立索引库的前提是运用自然语言处理技术对中文信息进行基于词(字)、句、段落等更深层次的处理。 2 自然语言处理技术 自然语言是指作者所使用的书面用语,在信息检索中包括关键词、自由词和出现在文献题名、摘要、正文或参 考文献中的具有一定实质意义的词语[1]。自然语言处理 (Natural Language Pr ocessing,NLP )是语言信息处理的一 个重要分支,在我国就是中文信息处理。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法,具体来说就是用计算机对包括汉语(字)的形、音、义等信息及词、句子、篇章的输入、输出、存储和识别、分析、理解、生成等多方面的加工处理[2]。由于自然语言处理侧重于词、句子、篇章,因而词法分析、句法分析、语义分析、语用分析、语境分析便构成了自然语言处理研究内容的基础部分。 211 词法分析 词法分析包括词形和词汇两个层次,其中词形主要是对各种词形和词的可识别部分的处理。如前缀、后缀及复合词的分析;词汇的重点在于复合对词操作和词汇系统的控制。其主要目的是有助于确认词性以及做到部分理解词与词、词与文档之间的关系,提高检索的效率。由于计算机内部存储的中文信息没有明显的词与词之间的分隔符,因此,在中文全文检索系统中,词法分析首要任务之一是对文本信息进行词语切分,即汉语自动分词,汉语自动分词是中文信息处理中的关键技术,也是中文全文检索的瓶颈,只有对汉语词进行正确的切分后,才能准确地提取文献的特征信息,对文献进行正确标引,才能正确分析用户的查询意图,为用户提供准确的信息服务。 212 句法分析 句法分析是对句子中词汇短语进行分析以便揭示句子的语法结构。目的是通过对句型结构的分析,自动抽取复