当前位置：文档之家 › AI11章 自然语言理解.ppt

AI11章 自然语言理解.ppt

  • 格式：ppt
  • 大小：678.01 KB
  • 文档页数：48

下载文档原格式

  / 48

合集下载

人工智能的自然语言理解

人工智能的自然语言理解

人工智能的自然语言理解
人工智能的自然语言理解（Natural Language Understanding，简称NLU）是指让机器能够理解和处理人类自然语言的能力。

NLU是人工智能领域中的一个重要研究方向，旨在使机器能够理解人类的语言，从而能够进行语义分析、情感识别、问答系统等自然语言处理任务。

NLU技术的目标是将人类自然语言转化为机器可以理解和处理的形式，其中包括以下几个关键任务：
1. 词法分析：将句子分解为单词，并确定每个单词的词性和句法结构。

2. 句法分析：分析句子的语法结构，包括句子的成分、短语结构和依存关系等。

3. 语义分析：理解句子的语义意义，包括词义消歧、命名实体识别、指代消解等。

4. 情感分析：识别句子中表达的情感或情绪状态，如积极、消极或中性等。

5. 问答系统：根据用户提出的问题，从语料库或知识图谱中找到相应的答案。

为了实现自然语言理解，研究者们采用了多种技术，包括机器学习、
深度学习、语言模型等。

其中，深度学习在自然语言理解任务中取得了很大的突破，如使用循环神经网络（RNN）和长短期记忆网络（LSTM）进行句子的序列建模，以及使用预训练的语言模型（如BERT、GPT等）进行语义理解。

人工智能的自然语言理解在许多领域都有广泛的应用，如智能助手、机器翻译、智能客服、信息抽取等。

随着技术的不断进步，人工智能在自然语言理解方面的表现也越来越接近人类水平，为我们提供更加智能化的语言交互体验。

人工智能理论的自然语言理解PPT

人工智能理论的自然语言理解PPT
学(CALI)和计算机语言设计(CLD)等的进展。
5
11.1 语言及其理解的一般问题
自然语言理解过程的层次
语言的分析和理解过程是一个层次化 的过程，它主要包括如下四个层次：
❖ 语音分析 ❖ 词法分析 ❖ 句法分析 ❖ 语义分析
6
11.2 句法和语义的自动分析
(Automatic Analysis of Syntax and Semantics)
13
11.3 句子的自动理解 (Automatic Understanding of Sentences) 简洁为句了理的解理一解个方简法洁句，需要做以下两方
面 的工作： 理解语句中的每一个词。 以这些词为根底组成一个可以表达整个语
句意义的构造。其中其次项工作又可 分成以下3个局部来进展：
14
11.3 句子的自动理解
23
❖句法分析将单词之间的线性次序变换 成一个显示单词如何与其它单词相关 联的构造。
❖语义分析各种意义被赋于由句法分析 程序所建立的构造，即在句法构造和 任务领域内对象之间进展映射变换。
❖语用分析为确定真正含义，对表达的 构造重新加以解释。
15
11.3 句子的自动理解
复合句的理解方法
复合句的理解，要求觉察句子之间的相 互关系。这种关系包括以下几种： 一样的事物 事物的一局部 行动的一局部 与行动有关的事物 因果关系 打算次序
句。 假设该语句是陈述句，则在学问库中增加
该子句，否则认为该子句为一个问题， 并演绎地检索相应的答案。
19
11.5 自然语言理解系统应用举例
此3项功能主要由谓词talk完成，talk的 定义是：
talk(Sentence,Reply)： -Parse(Sentence,LF,-Type), clausify(LF,Clause,Freevars),!, reply(Type,Ereevars,Clause,Reply). talk(Sentence,error(‘too difficult”)). 上述定义中引出 3 个谓词，即parse, clausify, reply分别对应上述 3 项功能。

第11章 自然语言理解(AI应用3版)

第11章 自然语言理解(AI应用3版)

汉语词法分析 特点：找出词素简单，切分出词困难。 例如：优秀人才学人才学 1. 优秀人－才学人才学 2. 优秀人才－学人才学
10
第11章 自然语言理解及其应用
11.1自然语言理解的概念与发展历史
11.2 语音分析
11.3 词法分析
11.4 句法分析
11.5 语义分析 11.6 基于语料库的大规模文本处理 11.7 机器翻译 11.8 语音识别 11.9基于隐马尔科夫模型的语音识别方法
T =（the,man,killed,a,deer,likes) N =（S,NP,VP,N,ART,V,Prep,PP) S=S P：(1) S→NP+VP (2) NP→N (3) NP→ART+N (4) VP→V (5) VP→V+NP (6) ART→the|a
13
(7)N→man|deer
22第11章自然语言理解及其应用111自然语言理解的概念与发展历史112语言处理过程的层次113词法分析114句法分析115语义分析116基于语料库的大规模文本处理117机器翻译118语音识别119基于隐马尔科夫模型的语音识别方法3第11章自然语言理解及其应用?111自然语言理解的概念与发展历史112语言处理过程的层次113词法分析114句法分析115语义分析116基于语料库的大规模文本处理117机器翻译118语音识别119基于隐马尔科夫模型的语音识别方法41111自然语言理解的概念微观角度
.
→ART + N + VP →The man + V + NP
→The man killed + NP
→The man killed + ART + N
→The man killed a deer.

自然语言理解PPT课件

自然语言理解PPT课件

• Perhaps I could learn to get along with my mother. （也许我可以学会如何和 我母亲相处。）
• My mother takes care of me.（我母亲照顾我。）
• My father.（我父亲。） • You are like my father in
层次。
例如：
She read me a story 和 A story was read to me
的表层结构不一样，但它们的深层结构则是一样的。再如，主动句和被动句
也只是表层结构不同，其深层结构则是相同的。
在变换文法中，句子深层结构和表层结构之间的变换是通过变换规则实
现的。 句子
句子
名词短语1 动词短语
发展时期
• 20世纪60年代和70年代，对自然语言理解对话系 统的研究取得进展。
• 60年代：拉法勒（B.Raphael）在麻省理工学院完 成的信息检索系统SIR；韦森鲍姆在麻省理工学院 的ELIZA。
• 70年代：伍兹(Woods)的LUNAR系统、威诺甘德 (Winogand)的SHRDLU系统和香克(Schank)的 MARGIE系统等。
book
句法规则的表示方法——上下文无关法
上下文无关文法(Context-free Grammars)是乔姆斯基提出的一种对自 然语言语法知识进行形式化描述的方法。在这种文法中，语法知识是 用重写规则表示的。作为例子，下面给出了一个英语的很小的子集。
语句 → 句子 终标符
句子 → 名词短语 动词短语
动词短语 → 动词 名词短语
名词短语 → 冠词 名词
名词短语 → 专用名词
冠词 → the
名词 → professor

9ArtificialIntelligence(第11章人工智能)精品文档

9ArtificialIntelligence(第11章人工智能)精品文档
Michael O. Rabin Dana S. Scott
Richard M. Karp Edward
Feigenbaum Raj Reddy
姚期智
Charles Thacker
人工智能，人类认知心理学和列表处理 (list processing)
非确定性自动机 算法理论，尤其是NP-完全性理论
大规模人工智能系统
人工智能新技术 计算智能：神经计算；模糊计算；进化计算；自然计算 人工生命：人工脑；细胞自动机 分布智能：多Agent , 群体智能 数据挖掘：知识发现；数据挖掘
人工智能应用
1 Symbolic Computation符号计算
符号计算：又称代数运算,是一种智能化的 计算,处理的是符号。符号可以代表整数、有理 数、实数和复数,也可以代表多项式,函数,集合 等。可以进行符号计算的计算机软件系统,计算 机代数系统软件：Mathematica和Maple。
原理：假定从一家门户网站的首页出发，先下载这个网页， 然后分析这个网页，找到所有超链接，也就知道了这家网站首 页所直接连接的全部网页，诸如雅虎邮件、雅虎财经、雅虎新 闻等。接下来，访问、下载并分析这家网站的邮件等网页，又 能找到其他相连的网页。如此循环，就下载整个互联网。在网 络爬虫中，使用一个称为“哈希表”(Hash Table)的列表而不 是一个记事本纪录网页是否下载过的信息。
人类与机器最终都无法接受他，大卫只有唯一的一 个伙伴机器泰迪(Teddy)----他的超级玩具泰迪熊，也是 他的保护者。大卫开始踏上了旅程，去寻找真正属于 自己的地方。他发现在那个世界中，机器人和机器之 间的差距是那么的巨大，又是那么的脆弱。他要找寻 自我、探索人性，成为一个真正意义上的人…….

人工智能11(北邮课件)

人工智能11(北邮课件)

18
图11.2 转移网络(TN)
19
用TN来识别句子The little orange ducks swallow flies 的过 程如表11.1。
词
The little orange ducks swallow files
当前状态
a b b b c e
弧
Байду номын сангаас
新状态
b b b c e F(识别)
20
13
1、语音分析 语音分析则是根据音位规则，从语音流 中区分出一个个独立的音素，再根据音位形 态规则找出一个个音节及其对应的词素或词。 2、词法分析 词法分析的主要目的是找出词汇的各个 词素，从中获得语言学信息。
14
3、句法分析 句法分析是对句子和短语的结构进行分 析。自动句法分析的方法很多，有短语结构 语法、格语法、扩充转移网络、功能语法等 等。句法分析的最大单位就是一个句子。分 析的目的就是找出词、短语等的相互关系以 及各自在句子中的作用等，并以一种层次结 构来加以表达。
3
语法是语言的组织规律。语法规则制约着如何 把词素构成词，词构成词组和句子。语言正 是在这种严密的制约关系中构成的。用词素 构成词的规则叫构词规则。语法中的另一部 分就是句法。句法也可分成两部分：词组构 造法和造句法。词组构造法是词搭配成词组 的规则。造句法则是用词或词组造句的规则。
4
图11.1 语言的构成
9
语言理解包括下列几个方面的内容： (1) 能够理解句子的正确词序规则和概念，又 能理解不含规则的句子。 (2) 知道词的确切含义、形式、词类及构词法。 (3) 了解词的语义分类以及词的多义性和歧义 性。 (4) 指定和不定特性及所有(隶属)特性。 (5) 问题领域的结构知识和时间概念。 (6) 语言的语气信息和韵律表现。 (7) 有关语言表达形式的文学知识。 (8) 论域的背景知识。

自然语言理解PPT课件

some ways.（你在某些方 面像我父亲。）
• ……
• Tell me more about your family.（告诉我更多你家 里的情况。）
• Who else in your family takes care of you?（你家 里还有谁照顾你？）
• Your father?（你父亲。） • What resemblance do
you see?（你看到了有什 么形似之处？）
• ……
提出问题：
• 什么是自然语言和自然语言理解? • 自然语言理解与人类的哪些智能有关? • 自然语言理解研究是如何发展的? • 目前自然语言理解有哪些成果？
Outline
1
自然语言理解概述
2
自然语言理解的发展
3
自然语言理解的层次
4
自然语言理解的应用
自然语言理解概述
• 自然语言：是指人类语言集团的本族语言，如汉 语、英语等，它是相对于人造语言而言的，如C语 言、Java语言等。
• 自然语言的两种形式：书面语和口语 ——文本和语音
• 从微观上讲，自然语言理解是指从自然语言到机 器(计算机系统)内部之间的一种映射。
• 从宏观上看，自然语言理解是指机器能够执行人 类所期望的某些语言功能。这些功能包括：
–回答问题：计算机能正确的回答用自然语言输入的有 关问题；
–文摘生成：机器能产生输入文本的摘要；
–释义：机器能用不同的词语和句型来复述输入的自然 语言信息；
–翻译：机器能把一种语言翻译成另一种语言。
• 自然语言理解是研究如何让电脑读懂人类语言的 一门技术，是自然语言处理技术中最困难的一项。
• 人工智能中一个长期努力的目标就是开发出可以 理解并产生人类语言的程序。

自然语言理解讲义

基于对话的应用 运用自然语言的问答系统(question-answering system) 通过电话的自动客户服务 教学系统，其中机器与学生进行交流 机器的口语控制 通用的协作式问题求解系统
语言分析的主要困难(1)
困难之一：大量歧义(ambiguity)现象 词法歧义
语义学—Semantics，研究符号与其所指事物 间的(深层)关系。
语用学—Pragmatics，研究交际中如何选用 符号来表达意义。
语言学基本知识：现代语法学
受符号学的影响与推动，现代语法学(表示 为Grammar2)形成三个分支：
句法学—Syntax = Grammar1(含词法与句 法)。
哲学
什么是意义？词与句子如何 获得意义？词如何识别现实 世界的对象？
计算语言学 如何识别句子结构？怎样对 知识和推理进行建模？语言 如何被用以完成特定任务？
运用关于反例的直觉知识进行 自然语言论证; 数学模型 (例如, 逻辑与模型理论)
数据结构和算法；表示与推理 的形式理论；AI技术(搜索和 知识表示方法)
语义学—Semantics，研究词意、句子的语义 结构、概念与概念结构等。
语用学—Pragmatics。
为什么要研究计算语言学？
信息时代的需要！语言是信息的载体。 提高计算机的智能：能理解和处理大量语言信息。
自然语言理解的应用
基于文本的应用 在一文本数据库中查找关于某些主题的合适文档(例如在图书 馆找相关书籍) 从关于某些主题的消息或文章中抽取信息 将文本从一种语言翻译成另一种语言 根据某种目标进行自动文摘
语言与自然语言(2)
语言的第一系统和第二系统
第一系统：语音系统—Sound System。 第二系统：文字系统(书写系统)—Writing

自然语言理解PPT课件


依存关系
词语之间的依赖关系，包括主谓关系、 动宾关系等。
语义分析
语义分析
理解句子所表达的实际意义，涉 及词义消歧、句义理解等方面。
词义消歧
确定多义词在具体语境中的意义。
句义理解
理解整个句子的意义，涉及句子的 主旨、意图等。
语境理解
语境理解
结合上下文信息，理解当前词语 或句子的意义。
上下文信息
当前词语或句子之前的文本信息， 用于推断当前词语或句子的意义。
自然语言理解的重要性
提高人机交互的效率和体验
自然语言理解技术使得人机交互更加自然、便捷，提高了用户体 验。
推动人工智能技术的进步
自然语言理解技术的发展对于人工智能技术的进步具有重要意义， 是人工智能技术发展的重要方向之一。
促进跨语言交流
自然语言理解技术可以帮助不同语言和文化背景的人们进行交流， 促进跨文化交流和理解。
语境效应
上下文信息对当前词语或句子意 义的改变效果。
04 自然语言理解的技术挑战 与解决方案
数据稀疏性问题
总结词
数据稀疏性是指训练数据不足或数据分布不均匀，导致模型难以学习到有用的特征和模式 。
详细描述
在自然语言处理任务中，数据稀疏性是一个常见问题。由于语言本身的复杂性和多样性， 很难收集到足够丰富和多样的训练数据。此外，不同领域和场景的数据分布也可能存在很 大差异，导致模型在某些情况下表现不佳。
语境理解问题
总结词
语境理解问题是指模型需要理解句子或段落之间的逻辑关系和语义联系，以推断出正确的意义。
详细描述
在自然语言处理中，语境理解是非常重要的。一个词或句子的含义往往需要结合上下文才能确定。例如，“他是一名 医生”这句话在不同的语境下可能有不同的含义，可能是指他是医生这个职业，也可能是指他正在扮演医生的角色。

自然语言( natural language)优秀课件


.
15
语料库 （Corpus-Based）的机译系统
• 不同于基于规则的机译系统由词典和语法规则库 构成翻译知识库，基于语料库的机译系统是以语 料的应用为核心，由经过划分并具有标注的语料 库构成知识库。
• 基于统计（Statistics-based）的方法
• 基于实例（Example-based）的方法
自然语言（ natural
language）
• 自然语言通常是指一种自然地随文化演化的语言， 是人类交流和思维的主要工具。
• 英语、汉语、日语为自然语言的例子，而世界语 则为人造语言，即是一种由人蓄意为某些特定目 的而创造的语言。
• 不过，有时所有人类使用的语言（包括上述自然 地随文化演化的语言，以及人造语言）都会被视 为“自然”语言，以相对于如编程语言等为计算机 而设的“人造”语言。这一种用法可见于自然语言 处理一词中。
• 从20世纪50年代开始到20世纪60年代前半期，机 器翻译研究呈不断上升的趋势。
• 这个时期机器翻译虽然刚刚处于开创阶段，但已 经进入了乐观的繁荣期。
.
5
受挫期（1964-1975）
• 1964年，为了对机器翻译的研究进展作出评价，美国 科学院成立了语言自动处理咨询委员会(Automatic Language Processing Advisory Committee，简称ALPAC 委员会)，开始了为期两年的综合调查分析和测试。
通过数据挖掘技术将计算实例提炼出来，作为一种
知识源参与到设计优化过程中去，将CAE从设计验
证层次提升到设计驱动层次。
.
20
标注 Lebal
• As it is quite time-consuming to label text documents on a large scale, a kind of text classification with a few labeled data is needed．Thus, semi—supervised text classification emerges and develops rapidly．Different from traditional classification, semi—supervised text classification only requires a small set of 1abeled data and a large set of unlabeled data to train a classifier．The small set of labeled data is used to initialize the classification model in most cases. Its rationality will affect the performance of the final classifier.
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

2020/4/16
7
5.1 基本概念
q计算语言学(Computational Linguistics)
计算语言学是利用电子数字计 算机进行的语言分析。虽然许多其 它类型的语言分析也可以运用计算 机，计算分析最常用于处理基本的 语言数据－例如建立语音、词、词 元素的搭配以及统计它们的频率。
－《大不列颠百科全书》
2020/4/16
－《现代语言学词典》[戴维.克里斯特尔，1997]
9
5.1 基本概念
q自然语言处理
或称自然语言理解(natural language understanding, NLU)，人工智能研究的重要内 容之一。自然语言处理（natural language processing，NLP）就是利用计算机为工具对人 类特有的书面形式和口头形式的自然语言的信 息进行各种类型处理和加工的技术。
结合形成新的研究分支，因此，很多人在谈到
“计算语言学”、“自然语言处理”或“自然
语言理解”这些术语时，往往默认为同一个概
念。甚至有些专著中干脆直接这样解释：计算
语言学也称自然语言处理或自然语言理解[刘 颖，2002]。
2020/4/16
11
5.2 关于“理解”标准
q 如何判断计算机系统的智能？ 计算机系统的表现(act)如何？
自然语言理解
主 讲 ：付 宏 杰
第五章 单 位 ：信息工程学院 自然语言理解 使用教材： 人 工 智 能 基 础
高 济 朱淼良 何钦铭
高等教育出版社
2020/4/16
1
第五项研究的时候，总要关 注两方面的问题：一是是什么，为什么？二是 做什么，怎么做？这恰恰是科学与技术紧密相 关的两个方面。
-冯志伟《自然语言的计算机处理》
2020/4/16
10
5.1 基本概念
近几年来，自然语言处理研究得到了前所
未有的重视和长足的进展，并逐渐发展成为一
门相对独立的学科而倍受关注，而且自然语言 处理技术不断与语音识别(speech recognition)、 语音合(speech synthesis)等语音技术相互渗透和
应用：文献翻译、网页翻译和辅助浏 览等。
实用系统：Systran ()36种语言对， 20个专门领域。
2020/4/16
13
5.3 自然语言理解研究的内容
v 机器翻译现状和对机器翻译的认
称历史语言学（historical linguistics））和共时语言学 （synchronic linguistics）、描述语言学 （descriptivelinguistics）、对比语言学（contrastive linguistics）、结构语言学（structural linguistics）等等。
为是语言学不可或缺的基础。
2020/4/16
6
5.1 基本概念
问题：
语音学究竟是一门独立的学科还是应视为语 言学的一个分支呢？
复数的语言科学（linguistic sciences）
语言学和其它学科的交叉产生了许多语言学 的新分支，包括纯理论的和应用性的，如人类 语言学(anthropologicallinguistics)、计算语言学 (computational linguistics)、生物语言学 (biolinguistics)、心理语言学(psycholinguistics)、 教育语言学(educational linguistics)和社会语言 学(sociolinguistics)等等。
自然语言处理既是一项技术，又是一门科 学。
2020/4/16
2
5.1 基本概念
信息的主要载体－语言
语言的两种形式－文字和声音
文字和声音作为语言的两个不同形式的载体，所 承载的信息占整个信息组成的70％以上（文字： 70％，图象：20％；其它：10％）
q 如何让计算机实现人们希望实现的语言处理 功能？
2020/4/16
8
5.1 基本概念
q计算语言学(Computational Linguistics)
是语言学的一个研究分支，用计算技术和 概念来阐述语言学和语音学问题。已开发的领 域包括自然语言处理(natural language processing, NLP)，言语合成，言语识别，自动 翻译，编制语词索引，语法的检测，以及许多 需要统计分析和领域（如文本考释）。
2020/4/16
5
5.1 基本概念
根据不同的研究方法，语音学又分为：
(a)一般语音学(general phonetics): 对 语音发音、声学或知觉的一般研究。
－与语言学的分析目的没有什么关系。
(b)实验语音学(experimental phonetics): 对具体语言语音特点的研究。
－语言学研究的一部分，有人甚至认
2020/4/16
4
5.1 基本概念
q 语音学(phonetics)
研究人类发音特点，特别是语音发音特点，并提出各种 语音描述、分类和转写方法的科学。
包括: (1)发音语音学(articulatory phonetics)，研究 发音器官如何产生语音；(2)声学语音学(acoustic phonetics)，研究口耳之间传递语音的物理属性；(3) 听觉语音学(auditory phonetics), 研究人通过耳、听觉 神经和大脑对语音的知觉反应。
q如何让计算机真正实现海量的语言信息的自动
处理和有效利用？
2020/4/16
3
5.1 基本概念
q 语言学(linguistics)
是指对语言的科学研究。作为一门纯理论的学科，
语言学在近期获得了快速发展，尤其从上个世纪60年
代起，已经成为一门知晓度很高的广泛教授的学科。
包括：历时语言学（diachronic linguistics）（或
反应(react)如何？ 相互作用(interact )如何？
与有意识个体（人）比较如何？
图灵(Turing)设计的“模仿游戏”， 即图灵实验(Turing test)
2020/4/16
12
5.3 自然语言理解研究的内容
q 按照应用目标划分－
v 机器翻译(Machine translation, MT)：实 现一种语言到另一种语言的自动翻译。