921245-信息系统安全与对抗实践-28. isc311-自然语言处理目标和框架

  • 格式:pdf
  • 大小:3.05 MB
  • 文档页数:27

分词-实现
❖ 典型算法:基于CRF(Conditional Random Field,条件随机场)的分词 算法
句子
学习
判别式学
分词知
判别式学
切分
素材
习算法
识库
习算法
结果
开源代码
句子理解
……








……

句法分析
❖ 基本任务是确定句子的句法结构
DAE
篇章分析
❖ 基于Recurrent Neural Network的方式
h0
h1
h2
A
A
A
输入提问
X0
X1
X2
the bbc producer
h0
h1
h2
A
A
A
X0
X1
X2
输入提问 producer x
will
ht
A
Xt
attack
ht
A
Xt
Clarkson
语言资源(语料库)建设
❖ 地名库 ❖ 人名库 ❖ 新词库 ❖ 企业信息库
语义
文本
角色
自动
分类
句法
标注
实体
问答
NLP Task
分析
识别
文本
关系 知识
抽取
图谱
搜索
非完备
类聚 文本
信息 抽取
引擎
表示
分词
自动 文摘
短语 资源 建设
短语 切块
词性 标注
语言 模型
应用基础研究
分词
❖ 新生词。例如:人设,不明觉厉 ❖ 人名、地名、机构名
分词
❖ 歧义切分例子:严守一把手机关了 • 严守/一把手/机关/了 • 严守一/把/手机/关/了
❖ 人工智能 ❖ 模式识别 ❖ 机器学习 ❖ 数据挖掘 ❖ 大数据
基本概念-相关学科或术语







历史简介
❖ 20世纪50年代,NLP诞生于第二次世界大战
• 二战后,美国希望能利用计算机将大量俄语材料自动翻译成英语NTR keller, 2005
AE hinton 2006
没有 考虑标 签信 息
由于 采用one-hot 编码词汇 使得 词语 之间的 语义 信息 无法有 效获

没有 考虑标 签信 息
对噪声敏感 难 以获 取鲁棒 表示
SSLSTM 2016
PV Q.le 2014
SupAE 2008
• 提问:Producer x will not press charges against Jeremy Clarkson • 期望:x = Oisin Tymon
分词
❖ 歧义切分 • 白天鹅会看家,工人吃大碗
研究框架和内容-体系
研究框架和内容-思维导图
情感
应用技术研究
机器 翻译
分析
句义 分析
SBV
VOB
DE ATT 北京 是 中国 的 首都

北京
首都 的 中国
框架语义FrameNet-知识库
❖ 框架语义学 • 以动词为中心标注语义框架(语义角色+关系) • 目标是建立语义知识库,以词为单位分析
框架语义FrameNet
命题语义PropBank-知识库
❖ 命题 • 表达了一个命题,以动词为中心标注语义角色
• Clarkson, who hosted one of the most-watched television shows in the world, was dropped by the BBC Wednesday after an internal investigation by the British broad-caster found he had subjected producer Oisin Tymon “to an unprovoked physical and verbal attack”.
研究目标-计算机理解自然语言
❖ 譬如输入一段文章
• The BBC producer allegedly struck by Jeremy Clarkson will not press charges against the “Top Gear” host, his lawyer said Friday.
信息系统安全 与对抗实践
自然语言处理目标和框架
基本概念-自然语言
❖ 自然语言通常是指一种自然地随文化演化的语言,是人类交际的工具, 是人类思维的载体,以语音为物质外壳,由词汇和语法组成的符号系统
基本概念-自然语言处理
❖ 自然语言处理(Natural Language Processing,NLP) • NLP是计算机科学和人工智能领域的一个重要研究方向 • 实现人机间自然语言通信,使计算机能理解自然语言文本的意义和利 用自然语言文本表达给定的意图或思想
句义结构模型CSM
❖ 句义结构 • 贾彦德所著的《汉语语义学》中提出 • 内容:句义可以用具有一定逻辑的结构来表达 • 与FrameNet和PropBank相比,句义结构提供句子完整的语义信息,
更利于自动学习单个句子的语义表示
句义结构模型CSM
❖ 句义结构分析算法原理图
模型M1
词法数据
谓词 识别
基本概念-自然语言处理
❖ 《学科分类与代码表》(国家标准 GB/T13745--92) • 应用语言学 ✴ 计算语言学(740.3550)三级学科
❖ 人工智能 • 自然语言处理(520.2020)三级学科
基本概念-相关学科或术语
❖ 自然语言生成 ❖ 人类语言技术 ❖ 中文信息处理 ❖ 自然语言理解 ❖ 深度学习 ❖ 计算语言学
模型M2
非语义 词识别
模型M3
词关系 识别
模型M4
语义格 粗分类
提取特征
模型M5 谓词关系识别 模型M6 基本格关系识别 模型M7 基本格关系识别 模型M8 一般格细分类
构建句 义结构
句义文件
句义结构模型CSM
❖ 句义结构分析歧义 • At last, a computer that understands you like your mother. • 含义1:计算机会像你的母亲那样很好地理解你 • 含义2:计算机理解你喜欢你的母亲 • 含义3:计算机会像很好地理解你的母亲那样理解你
LSI 1991
时间 效率不 高
奇异 值空间 的负 值使 潜在语 义空 间的 解释性 变差
BT 2004
NMF (2003)
树/图模 型
UNL-based
2002
由于图结构的复杂性 导 致构图复杂度较高 不利
于大 规模语 料处理
2004
依赖于word net 难以扩 展到 更大语 料库
MARKOV 2008
DMTK、SystemML • DMTK定位更倾向于NLP,如文本分类、聚类、话题识别、情感分析等
大数据与NLP
❖ 机器学习需要数据挖掘和自然语处理的支撑,自然语处理需要数据挖掘 的支撑,数据挖掘需要大数据的支撑。最终所有的根源都要落实在大数 据上,而这一切的顶点就是人工智能
❖ 自然语言处理需要大数据的支撑
❖ 互联网的发展引发对NLP的强劲需求 • 促进信息检索质量不断提升的核心就是NLP技术。
❖ 随着大数据和深度学习技术发展,基于大数据驱动的自然语言对话系统 不人等 ❖ 2015年谷歌、微软、IBM分别发布并开源了机器学习工具包TensorFlow、
• 自人工智能在1956年达特茅斯会议上首次提出,创始人把计算机国际 象棋和机器翻译作为两个标志性的任务,认为只要国际象棋系统能打 败人类世界冠军(1997年,IBM深蓝超级计算机打败了冠军卡斯帕罗 夫),机器翻译系统达到人类翻译水平(现今仍无法相比),就可以 宣告人工智能的胜利
现状分析-众多科技巨头NLP领域布局
CHOW 2009
Wei Jin 2007
序列 模型
n-gram 1994
gram数目设定 导致可 采样特征数量大 产生无
意义 噪声特 征
syntactic n-gram 2012
Autogram 2003
特征 抽取 /学习
无法 给出te rm分 布 高斯分布的
先验 假设不 合理
pLSI 1999
文档 嵌入
文 本 表 示
文本 表示
向量 模型
Boolean 1973
无法 区分特 征重 要性 导致表示
效果 不准确
VSM 1975
高维度 高稀疏 度 属性强相关
过滤 法
特征 选择
嵌入 法
包装 法 话题 建模
yang 1997
Ding’s 2009
svm-rfe 2002
Wrappersvm/c4.5
2005