当前位置：文档之家 › 自然语言处理是什么

自然语言处理是什么

  • 格式：pdf
  • 大小：97.72 KB
  • 文档页数：1

⾃然语⾔处理是什么

⾃然语⾔处理是什么？

语⾔是⼈类区别其他动物的本质特性。在所有⽣物中，只有⼈类才具有语⾔能⼒。⼈类的多种智能都与语⾔有着密切的关系。

⼈类的逻辑思维以语⾔为形式，⼈类的绝⼤部分知识也是以语⾔⽂字的形式记载和流传下来的。因⽽，它也是⼈⼯智能的⼀个

重要，甚⾄核⼼部分。

⽤⾃然语⾔与计算机进⾏通信，这是⼈们长期以来所追求的。因为它既有明显的实际意义，同时也有重要的理论意义：⼈们可

以⽤⾃⼰最习惯的语⾔来使⽤计算机，⽽⽆需再花⼤量的时间和精⼒去学习不很⾃然和习惯的各种计算机语⾔；⼈们也可通过

它进⼀步了解⼈类的语⾔能⼒和智能的机制。

实现⼈机间⾃然语⾔通信意味着要使计算机既能理解⾃然语⾔⽂本的意义，也能以⾃然语⾔⽂本来表达给定的意图、思想等。

前者称为⾃然语⾔理解，后者称为⾃然语⾔⽣成。因此，⾃然语⾔处理⼤体包括了⾃然语⾔理解和⾃然语⾔⽣成两个部分。历

史上对⾃然语⾔理解研究得较多，⽽对⾃然语⾔⽣成研究得较少。但这种状况近年来已有所改变。

⽆论实现⾃然语⾔理解，还是⾃然语⾔⽣成，都远不如⼈们原来想象的那么简单，⽽是⼗分困难的。从⽬前的理论和技术现状

看，通⽤的、⾼质量的⾃然语⾔处理系统，仍然是较长期的努⼒⽬标，但是针对⼀定应⽤，具有相当⾃然语⾔处理能⼒的实⽤

系统已经出现，有些已商品化，甚⾄开始产业化。典型的例⼦有：多语种数据库和专家系统的⾃然语⾔接⼝、各种机器翻译系

统、全⽂信息检索系统、⾃动⽂摘系统等。

⾃然语⾔处理，即实现⼈机间⾃然语⾔通信，或实现⾃然语⾔理解和⾃然语⾔⽣成是⼗分困难的。造成困难的根本原因是⾃然

语⾔⽂本和对话的各个层次上⼴泛存在的各种各样的歧义性或多义性（ambiguity）。 ⼀个中⽂⽂本从形式上看是由汉字（包

括标点符号等）组成的⼀个字符串。由字可组成词，由词可组成词组，由词组可组成句⼦，进⽽由⼀些句⼦组成段、节、章、

篇。⽆论在上述的各种层次：字（符）、词、词组、句⼦、段，??还是在下⼀层次向上⼀层次转变中都存在着歧义和多义现

象，即形式上⼀样的⼀段字符串，在不同的场景或不同的语境下，可以理解成不同的词串、词组串等，并有不同的意义。⼀般

情况下，它们中的⼤多数都是可以根据相应的语境和场景的规定⽽得到解决的。也就是说，从总体上说，并不存在歧义。这也

就是我们平时并不感到⾃然语⾔歧义，和能⽤⾃然语⾔进⾏正确交流的原因。但是⼀⽅⾯，我们也看到，为了消解歧义，是需

要极其⼤量的知识和进⾏

推理的。如何将这些知识较完整地加以收集和整理出来；⼜如何找到合适的形式，将它们存⼊计算机系统中去；以及如何有效

地利⽤它们来消除歧义，都是⼯作量极⼤且⼗分困难的⼯作。这不是少数⼈短时期内可以完成的，还有待长期的、系统的⼯

作。

合集下载

浅谈自然语言处理

浅谈自然语言处理

浅谈自然语言处理--马笑笑

1 浅谈自然语言处理

摘要

主要阐述了自然语言处理的定义，发展历史，并对其研究内容，以及目前相关领域的应用加以讨论。最后对自然语言处理的未来发展趋势做简单的介绍。

关键词

自然语言处理

Abstract

The definition and the development history of Natural Language Processing(NLP) are

explained,the research content and the applications in interrelated areas of NLP are discussed.And

the develop direction of NLP in the future are simply introduced.

Key Words:

Natural Language Processing(NLP)

浅谈自然语言处理--马笑笑

2 0.引言

早在计算机还未出现之前，英国数学家A.M.Turing便已经预见到未来计算机将会对自然语言处理研究提出新的问题。他指出，在未来我们可以“教机器英语并且说英语。”同时他觉得“这个过程可以仿效教小孩子说话的那种办法进行”。这便是最早关于自然语言处理概念的设想。

人类的逻辑思维以语言为形式，人类的多种智能都与语言有着密切的联系。所以用自然语言与计算机进行通信是计算机出现以来人们一直所追求的目标。

1.什么是然语言处理

美国计算机科学家Bill Manaris(马纳瑞斯)在1999年出版的《计算机进展》（Advances Computers）第47卷的《从人—机交互的角度看自然语言处理》一文中，曾经给自然与然处理提出了如下定义：“自然语言处理可以定义为研究在人与人交际中的语言问题的一门学科。自然语言处理要研制表示语言能力（linguistic competence）和语言应用（linguistic performance）的模型，建立计算框架来实现这样的语言模型，提出相应的方法来不断地完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。”这个定义被广泛的接受，它比较全面的地表达了计算机对自然语言的研究和处理。

自然语言处理技术综述

自然语言处理技术综述

龙源期刊网

自然语言处理技术综述

作者：妮鲁帕尔·艾山江

来源：《商情》2013年第39期

【摘要】自然语言处理技术的发展，最终导致计算机拥有了客观的信息处理功能。本文主要介绍了自然语言处理与中文信息处理发展情况。介绍了自动分词技术的发展概况，一些常用的中文自动分词方法以及目前已经实现的一些分词系统。探讨了自然语言处理技术，特别是自动分词技术，在对外汉语教学的实践中应用的可能性。

【关键词】语言处理；自动分词技术；信息技术

一、自然语言处理

自然语言处理（Natural Language Processing，简称NLP）是主要研究人与计算机交际中的语言问题的一门学科。“自然语言处理要研制表示语言能力（linguistic competence）和语言应用（linguistic performance）的模型，建立计算机框架来实现这样的语言模型，提出相应的方法来不断完善这样的语言模型，根据这样的语言模型设计各种实用系统，并探讨这些实用系统的评测技术。”（Manaris， 1999）更简单直观的说法，就是采用计算机技术来研究和处理自然语言。

自然语言是指人们口常使用的语言，如汉语、英语、口语、法语等，它是人类进行学习和互相交流的工具。“在人类历史上以语言文字形式记载和流传的知识占到知识总量的80%以上。就计算机的应用语言，据统计用于数学计算仅占10%，用于过程控制的不到5%，其余85%左右都是用于语言文字的信息处理。

所谓语言信息处理，是指用计算机对自然语言的形、音、义等信息进行处理，即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工。采用计算机技术来研究和处理自然语言是20世纪40年代末，50年代初才开始的，经过50多年的发展，这项研究取得了长足的进展，形成了计算机学科中一门重要的新兴学科—自然语言处理。

自然语言处理的关键技术

自然语言处理的关键技术

自然语言处理的关键技术

自然语言处理技术是所有与自然语言的计算机处理有关的技术的统称，其目的是使计算机理解和接受人类用自然语言输入的指令，完成从一种语言到另一种语言的翻译功能。自然语言处理技术的研究，可以丰富计算机知识处理的研究内容，推动人工智能技术的发展。下面我们就来了解和分析自然语言处理的关键技术。

一、 常用技术分类

1、 模式匹配技术

模式匹配技术主要是计算机将输入的语言内容与其内已设定的单词模式与输入表达式之间的相匹配的技术。例如计算机的辅导答疑系统，当用户输入的问题在计算机的答疑库里找到相匹配的答案时，就会完成自动回答问题的功能。但是不能总是保证用户输入的问题能得到相应的回答，于是很快这种简单匹配式答疑系统有了改进。答疑库中增加了同义词和反义词，当用户输入关键词的同义词或反义词时，计算机同样能完成答疑，这种改进后的系统被称为模糊匹配式答疑系统。

2、 语法驱动的分析技术 语法驱动的分析技术是指通过语法规则，如词形词性、句子成分等规则，将输入的自然语言转化为相应的语法结构的一种技术。这种分析技术可分为上下文无关文法、转换文法、ATN文法。上下文无关文法是最简单并且应用最为广泛的语法，其规则产生的语法分析树可以翻译大多数自然语言，但由于其处理的词句无关上下文，所以对于某些自然语言的分析是不合适的。转换文法克服了上下文无关文法中存在的一些缺点，其能够利用转换规则重新安排分析树的结构，即能形成句子的表层结构，又能分析句子的深层结构。但其具有较大的不确定性。ATN文法扩充了转移网络，比其他语法加入了测试集合和寄存器，它比转移文法更能准确地分析输入的自然语言，但也具有复杂性、脆弱性、低效性等缺点。

3、 语义文法

语义文法的分析原理与语法驱动相似，但其具有更大的优越性。语义文法中是对句子的语法和语义的共同分析，能够解决语法驱动分析中单一对语法分析带来的不足。它能够根据句子的语义，将输入的自然语言更通顺地表达出来，除去一些语法正确但不合语义的翻译。但是语义文法分析仍然有不容忽视的缺点，其分析的语句中有时会出现不合语法的现象，并且这类分析较为复杂，语义类难以确定，语义的规则太多……因此，语义文法技术仍需要改进措施。

自然语言处理研究内容

自然语言处理研究内容

自然语言处理研究内容

自然语言处理，简称NLP，是由“计算机科学、语言学和人工智能”这三大领域交叉而来的一门学科。NLP研究的是计算机与人类自然语言的交互，其主要研究内容包括语音识别、文本语义分析、机器翻译、信息检索等等。

1. 语音识别

语音识别是指计算机通过识别人类语音来完成相关操作的技术。语音识别技术是NLP的关键技术之一。目前，语音识别技术在语音助手、智能家居、智能车载等领域得到了广泛应用。语音识别的研究方向主要包括语音信号处理、特征提取、声学模型、语言模型等。

2. 文本语义分析

文本语义分析旨在让计算机理解文本内容和背后的语义信息，主要的任务包括文本分类、情感分析、信息抽取、实体识别等。这一领域基于自然语言处理、机器学习和人工智能技术的深度交叉，主要的技术包括词法分析、词向量、句法分析、语义分析等。

3. 机器翻译

机器翻译是指将一种语言的文本转换成另一种语言文本的技术。随着全球化的发展和跨国交流的不断增多，机器翻译技术已经成为了一个极具应用价值的领域。主要的研究内容包括自然语言理解、翻译记忆、语言模型等。

4. 信息检索

信息检索是指在大规模的数据集中找到符合用户需求的信息。主要的研究内容包括索引方法、查询处理、检索模型等。信息检索技术的主要目的是提高检索的效率和准确性。

总体而言，自然语言处理的研究内容非常丰富。在未来，随着互联网普及和人工智能技术的不断发展，NLP必将发挥越来越重要的作用。