自然语言处理一些相关技术以及相关任务浅析

  • 格式:doc
  • 大小:20.00 KB
  • 文档页数:4

下载文档原格式

  / 1
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

自然语言处理一些相关技术以及相关任务浅析

本文根据自己的学习以及查阅相关资料的理解总结,简要的介绍一下自然语言处理(nlp)一些相关技术以及相关任务,nlp技术包括基础技术和应用技术。后续会抽空继续分专题完善这一个系列。限于作者水平有限,其中难免有错漏之处,欢迎读者斧正。

发展

一般认为1950 年图灵提出著名的“图灵测试”是自然语言处理思想的开端。20 世纪50 年代到70 年代自然语言处理主要采用基于规则的方法。基于规则的方法不可能覆盖所有语句,且对开发者的要求极高。这时的自然语言处理停留在理性主义思潮阶段。

70 年代以后随着互联网的高速发展,语料库越来越丰富以及硬件更新完善,自然语言处理思潮由理性主义向经验主义过渡,基于统计的方法逐渐代替了基于规则的方法。

从2008 年到现在,由于深度学习在图像识别、语音识别等领域不断取得突破,人们也逐渐开始引入深度学习来做自然语言处理研究,由最初的词向量到2013 年word2vec,将深度学习与自然语言处理的结合推向了高潮,并且在机器翻译、问答系统、阅读理解等领域取得了一定成功。再到最近的emlo、bert等,也许正在揭开下一个篇章。

定义

自然语言是指汉语、英语等人们日常使用的语言,是随着人类社会发展自然而然的演变而来的语言,不是人造的语言,自然语言是人类学习生活的重要工具。或者说,自然语言是指人类社会约定俗成的,区别于人工语言,如程序设计的语言。

处理包含理解、转化、生成等过程。自然语言处理,是指用计算机对自然语言的形、音、义等信息进行处理,即对字(如果是英文即为字符)、词、句、段落、篇章的输入、输出、识别、分析、理解、生成等的操作和加工。实现人机间的信息交流,是人工智能界、计算机科学和语言学界所共同关注的重要问题。所以自然语言处理也被誉为人工智能的掌上明珠。

可以说,自然语言处理就是要计算机理解自然语言,自然语言处理机制涉及两个流程,包