Computational_Linguistics_01计算语言学概论

第五代计算机要求人们赋予它听觉（识别口语）和更强的视觉（自动识别文字），赋予它说话能力（合成言 语）和听写能力（语音打字），同时还要求人们赋予它理解自然语言并把某种（或多种）自然语言翻译成另一种 （或多种）自然语言的能力。这样，计算语言学工作者又需要提供各种物理参数、语言概率性等方面的数据和各 种应用软件，以便同有关的专家、工程师一道共同解决为计算机增添“翅膀”这个重大课题，使之真正成为“万 能的智能机器” 。
计算机语言都可以用来控制计算机来解决一些实际问题。这些问题可以是数值计算问题，其操作对象就是一 些由符号构成的符号串；也可以是非数值计算问题如声音、图像处理问题，其操作对象就是声音和图像等。我们 应知道各种计算机语言都不是万能的，每种计算机语言都有自己的特点、优势及运行环境，有自己的应用和操作 对象 。
计算语言学之所以有这样长足的发展，是由于社会的需要。当今世界处于新技术革命时代，一个以电子计算 机为基本工具的现代化语言文字信息处理系统正在世界范围内形成，这标志着高度发展的信息化社会的到来。计 算语言学正是为担当这一历史使命而诞生和发展的 。
基本内容
计算语言学发展到今天，按其工作性质和复杂程度，可以归结为以下3个方面:
成果
计算语言学可以说是计算机和语言学相结合的产物。这种结合已经得到丰硕的成果，除了上面说到的那些应 用课题以外，还表现在对语言学理论和方法的影响上。语言的定义扩展了：语言已不仅是人类重要的交际工具， 而且也是人机之间的交际工具。为了满足计算机加工的要求，计算语言学最大的特点就是要求语言的形式化，因 为只有形式化，才能算法化、自动化。根据这项要求，制定出一系列面向语言信息处理的自动分析方法，其中包 括预示分析法、从属分析法、中介成分体系、优选语义学、扩充转移络、概念从属论等等。这些自动分析方法， 已在机器翻译和自然语言理解的系统中得到应用，并证明有效。语言的形式化是分层进行的。语法的形式化相对 来说比较简单，人们已做了不少工作；语义的形式化则是一个复杂的问题，人们进行的工作还不多。而语义形式 化问题解决得好坏，将大大影响语言自动加工的成效。因此，继续发掘行之有效的形式结构分析方法和语义分析 方法，研究它们之间的关系，以及探讨它们在不同系统中各自使用的限度，这是计算语言学中的重点研究课题 。

1.2. Applications of CL
information retrieval, extraction, filtering, classification and summarization, Search engine, digital library, ecommerce etc. query: keywords * English: bank * Chinese word segmentation: 和服 | 务 | 于三日后裁制完毕。 (kimono must) 这个酒店的设施 | 和 | 服务 | 是一流的。 (and service) * unknown word processing: 高海燕 (storm petrel)
第一章 引言 (Part 1)
1.1. What is Computational Linguistics
Object: natural language 6000种（3000-10000种不等） The role of language: * the most natural means of communication between humans
top ten candidates: similarity measures given by OCR: 我 钱 线 载 哦 栽 哉 裁 劣 绥 397 682 700 722 774 781 787 815 838 851 优 仍 们 仿 伦 奶 砧 犯 扔 妨 868 878 929 947 953 964 979 984 1009 1010 要 耍 密 穷 安 壁 驻 努 窑 垂 627 650 730 747 749 802 808 818 836 838 扳 报 叔 嵌 奴 振 技 寂 叙 蔽 663 709 743 746 755 772 799 815 822 824 奋 夯 杏 蚕 香 脊 秀 吞 吝 番 192 381 393 436 438 471 507 534 543 544 精 猜 指 洁 括 治 捐 活 冶 桔 756 787 791 799 824 826 836 875 885 886 种 神 衬 祥 科 钟 拌 样 拎 补 463 548 555 575 636 663 671 681 689 694

15
4.2 詞ê判別-11
其它ê問題(辭典無收ê詞)
定量詞 eg 三張紙、二十五個人、…
定量詞若無處理，會影響台語變調結果
複合詞問題 eg 國中小、上下班、… Prefix/Suffix eg 正確性、相關性、… 重thah詞 eg 歡歡喜喜、輕輕鬆鬆、… 人名、地名 eg 陳水扁、舞鶴、… 組織名、商品名 eg 台大資訊系、可口可樂、… 新名詞、簡省詞 eg E世代、A菜、資工、… 術語(Term)
（語詞）
3. A=[aij]nn , aij = P(qt+1=j | qt=i), 1≦ i ,j ≦N (目前詞
類是i ê情形下，下一個詞類是 j ê機率）
4. B={ bj(k) }, bj(k) = P(vk|j), 1 ≦k ≦M, 1 ≦j ≦N
5. π是開始狀態ê機率分佈
23
4.3 詞性標注-8
實作上
Beh按怎真緊ka詞chhe出來？ 斷詞beh按怎做disambiguity？ 詞類beh按怎做disambiguity？
5
4.2 詞ê判別
英文ê詞 (Tokenization)
White Space / 標點 隔開 有ê詞用標點隔開 eg “I’ll” “can’t” 有ê縮寫詞有句點 eg “U.S” 有ê詞有非字母 eg “AT&T” “Micro$oft” 數字 eg “123,456.789” “23.5%” “2005/12/21”
n個詞類，O(nm)
28
4.3 詞性標注-13
Viterbi : 利用動態規劃 ê觀念
假設每一個詞lóng有n個詞類標記，wm kàu wm+1 êj-th標記，有n個可能ê路徑，假設機 率siong kôan ê是 ti tj這個路徑

The planning of a corpus
Before the texts to be included in a corpus are collected, annotated, and analyzed, it is important to plan the construction of the corpus carefully: what size it will be, what types of texts will be included in it, and what population will be sampled to supply the texts that will comprise the corpus. Ultimately, decisions concerning the composition of a corpus will be determined by the planned uses of the corpus.
/
BNC
In planning the collection of texts for the BNC, a number of decisions were made beforehand:
1. Even though the corpus would contain both speech and writing, more writing would be collected than speech.
Corpus Linguistics
Corpus linguistics is an approach to investigating language structure and use through the analysis of large databases of real language examples stored on computer. In linguistics, a text corpus is a large and structured set of texts usually electronically stored and processed.

• 它是用计算机来研究和处理自然语言 的一门新兴边缘学科，涉及语言学、 计算机科学、数学、心理学等多个领 域。
• 通过建立形式化的数学模型，来分析、 处理自然语言，并在计算机上用程序 来实现分析和处理的过程，从而实现 以机器来模拟人的部分乃至全部语言 能力。 • 以“自然语言”为主的计算语言学可 以看作是“人工智能”的一个分支。
• 首先，计算语言学不是研究“计算机 语言”的学问，而是面向计算机的自 然语言处理，所以研究的是自然语言。 • 语言 ：人工语言、自然语言
• “计算机语言”是一种人工语言，也 是一种机器语言，用于人和机器交换 信息。比如Basic语言、C语言等等，都 是人们专门设计出来用于计算机进行 信息处理的机器语言。
2015-05-25
一、什么是计算语言学 二、计算语言学的发展历史 三、我国计算语言学发展历程 四、计算语言学的研究特点
一、什么是计算语言学
• 计算语言学(Computational Linguistics)，也 称自然语言处理(Natural Language Processing by Computer，NLP)或自然语言理解(Natural Language Understanding by Computer，NLU)， 有时也叫计量语言学(Quantitative Linguistics)、数理语言学(Mathematical Linguistics)、人类语言技术(Human Language Technology，HLT)等。
• 一个好的机器翻译系统应该把原语的语义 准确无误地在译语中表现出来。这样，语 义分析在机器翻译中越来越受到重视。 • 随着计算语言学研究水平的提高，机器翻 译的研究走向了实用化，出现了一大批实 用化的机器翻译系统。

詞義的排歧

詞法分析研究的意義與目的

機器翻譯︰簡繁轉換

后面 後面 ， 皇后 皇後 松绑 鬆綁 ， 松树 鬆樹 開發 土地開發 (開發票) 便衣 便衣警察 (簡便衣物)

訊息檢索︰搜尋引擎


文本處理︰拼寫校對


繁體子 繁體字 于涉 干涉 倒垃圾跌倒

兼類現象

Time flies like an arrow.
n-v v-n q p-v det n
把
這 篇 報導 編輯 一
v-n v-n
下
q-p-v-n r
m-c f-q-v
詞性的標注 – 兼類現象
兼類數量 5 4 3 3 20 126 詞數 百分比 0.01% 0.04% 0.23% 例子 和 c-n-p-q-v 光 a-d-n-v 畫 n-q-v

語音處理︰電腦發音、重音復原

詞法分析研究的意義與目的

詞法分析的過程
1.分詞 : 將句子中的單詞切割出來 2.詞性標注 : 決定每個詞的詞性 3.詞義排岐 : 決定每個詞的意義
文章
句子
分詞
詞串
詞性標注
詞串
詞義排歧
資料庫
漢語的分詞方式

從句子轉換到詞串，會因為切割方式的不同，而有不同的意義

學生會長是誰

學生會 / 長 / 是 / 誰 學生 / 會長 / 是 / 誰 學生 / 會 / 長 / 是 / 誰分詞的基本方法

最大匹配法(Maximum Match based approach) 機率分詞法(Probability approach to Word Segmentation)

本书简介 本教材从“基础”“算法”和“应用”三个方面，较为系统地介绍计算语言学的基础理论、相关的自然语言处理技术和应用。

基础部分（包括一、二、三章）主要讲述计算语言学的数学和语言学基本概念，计算语言学和自然语言处理技术的关系，自然语言处理的基本流程等内容。

此外，作为计算语言学的重要分支之一，语料库语言学得到了较大发展，有关语料库语言学的基础概念、基本理论、近年来的一些发展概况在第三章中加以介绍。

介绍这部分内容的目的，是让读者在不涉及技术细节的情况下，对计算语言学有一个初步的，同时也是较为全面的理解和掌握。

算法部分（包括第四、五章）主要介绍计算语言学的常用技术和算法。

从处理对象来讲，主要包括词法层面的分析技术、句法层面的分析技术和语义层面的处理技术；从处理方法来讲，既有传统的规则方法，也有基于语料库的统计方法的介绍。

这部分内容的主旨是希望通过本章学习后，使学生能对计算语言学的领域中的一些主流技术(比如隐马尔可夫模型在词性标注中的应用，GLR算法，部分分析技术等)有一个概要的认识，并能运用这些技术进行计算语言学相关的工作实践。

应用部分（包括第六、七章）主要讲授自然语言处理应用系统。

需要说明的是，基于语言信息处理技术的应用系统很多，本教材只是重点介绍一些常见的系统，介绍这些系统的工作机理、发展、取得的成绩，也客观介绍这些系统存在的问题和困难。

主要包括机器翻译系统，信息检索系统、信息提取系统，文本分类系统等。

目录第一章　绪论：什么是计算语言学　第一节　计算语言学的研究对象　第二节　计算语言学的研究方法　第三节　计算语言学的实际应用　第四节　小结第二章　语言知识的形式化表达　第一节　语言与语言知识　第二节　形式化表达手段　第三节　语法知识的形式化表述理论体系　第四节　语义知识的形式化表述理论体系　第五节　语篇知识的形式化表述理论体系　第六节　小结第三章　语料库：语言知识的另一种表示形式　第一节　语料库研究概况　第二节　语料的收集与加工　第三节　语料库的应用　第四节　小结第四章　词法分析　第一节　概述　第二节　“词”的识别　第三节　词性标注　第四节　词义标注　第五节　小结第五章　句法分析　第一节　句法分析导引　第二节　广义LR分析算法　第三节　基于线图的分析技术　第四节　其他句法分析技术　第五节　小结第六章　机器翻译　第一节　机器翻译概述　第二节　基于规则的机器翻译　第三节　基于语料库的机器翻译以及混合式机器翻译　第四节　机器翻译的困难、对策和评价　第五节　小结第七章　面向文本的智能信息处理　第一节　信息检索　第二节　信息提取　第三节　文本自动分类　第四节　小结术语表后记下载后 点击此处查看更多内容。

基于神经网络的翻译
通过深度学习技术，构建大规模的神经网络模型进行翻译。这种方法 可以自动学习语言的复杂特征，并实现更加准确的翻译。
机器翻译的方法
基于短语的翻译
将源语言句子划分为短语，并分别对每个短语进行翻译，最后将这些短语的翻译结果组合起 来得到目标语言句子。
基于句子的翻译
将源语言句子整体作为一个单位进行翻译，这种方法需要考虑句子的语法和语义结构，因此 难度较大。
自适应技术 针对不同说话人、不同环境和不同设备进行自适应，以提 高识别性能。
端到端技术 将语音识别视为一个序列到序列的问题，通过端到端模型 （如Transformer、LSTM等）直接对语音信号进行建模， 简化识别流程。
语音合成的原理与技术
语音合成原理
波形拼接合成
参数合成
端到端合成
基于语音产生的机理，通过对 语音信号进行分析和建模，生 成可懂的、自然的语音。
多模态语言处理的深度融合 未来计算语言学将更加注重多模态语言处理的深 度融合，实现文本、语音、图像等多种信息的联 合处理和应用。
语言智能的进一步提升 随着计算语言学技术的不断发展，语言智能将得 以进一步提升，实现更加自然、高效的人机交互 和智能应用。
THANKS
感谢观看
信息抽取与问答系统
研究如何从大量文本中抽取出有 用的信息，并构建能够回答用户
问题的智能系统。
02
CATALOGUE
基础知识
语言学基础知识
词汇学
研究词汇的起源、 发展、变化和结构 的学科。
语义学
研究语言符研究语音、音位、 音变等语言现象的 学科。
句法学
研究句子中词语的 排列和组合规律的 学科。
06
CATALOGUE

分支领域（Subfields） 计算语言学可以分为几个主要领域，根 据语言处理的介质，是口语的还是文本 的；以及任务的执行，是分析语言的， 还是综合语言（生成）的。



Speech recognition and speech synthesis deal with how spoken language can be understood or created using computers. Parsing and generation are subdivisions of computational linguistics dealing respectively with taking language apart and putting it together. Machine translation remains the subdivision of computational linguistics dealing with having computers translate between languages.


为了把一种语言翻译成另一种语言，人 们注意到，必须理解两种语言的语法， 包括两种语言的词法（关于词形式的语 法）和句法（关于句子结构的语法）。 要理解句法，人们还不得不理解语义和 辞典（或词汇），甚至还不得不理解语 言使用即语用的某些东西。 因而，语言之间的翻译从何入手，这牵 涉到致力于理解如何用计算机表示及处 理自然语言的整个领域范畴。


Computational linguistics as a field predates artificial intelligence, a field under which it is often grouped. Computational linguistics originated with efforts in the United States in the 1950s to use computers to automatically translate texts from foreign languages, particularly Russian scientific journals, into English.

计算语言学的重要性
社会需求
随着信息技术的快速发展，社会 对自然语言处理的需求日益增长 ，计算语言学在信息检索、机器 翻译、语音识别等领域具有广泛
的应用前景。
学术价值
计算语言学为语言学、计算机科 学等相关学科提供了新的研究方 法和思路，有助于推动相关学科
的发展。
技术创新
计算语言学的技术突破和创新， 将推动人工智能、大数据等领域 的进步，为社会发展带来更多机
信息抽取是从非结构化文本中提 取结构化信息的过程，如从新闻 报道中提取事件、时间、地点等
关键信息。
信息抽取技术广泛应用于知识图 谱构建、问答系统等领域。
信息抽取的关键技术包括实体识 别、关系抽取、事件抽取等。
机器翻译
机器翻译是利用计算机自动将一 种语言的文本转换为另一种语言
的文本的过程。
机器翻译技术已经取得了显著的 进步，如基于神经网络的机器翻
深度学习在NLP领域的应用取得了显著成果，如词向量表示、序列标注、生成模型 等。
文本挖掘
文本挖掘是从大量文本数据中 提取有用信息的过程，包括文 本分类、聚类、情感分析等。
文本挖掘技术广泛应用于信息 检索、舆情分析、企业竞争情 报等领域。
文本挖掘的关键技术包括特征 提取、文本表示、模型评估等 。
信息抽取
感谢观看
REPORTING
情感分析
计算语言学可以帮助智能客服系统识别用户的情感倾向，从而提供 更加贴心、个性化的服务。
自动回复
利用计算语言学的方法，智能客服系统可以自动回复用户的咨询， 提高服务效率。
在机器翻译中的应用
1 2
语言对齐
计算语言学可以帮助机器翻译系统识别源语言和 目标语言之间的对应关系，提高翻译的准确度。

计算语言学和自然语言处理计算语言学（Computational Linguistics）是计算机科学和语言学的交叉学科，主要研究如何利用计算机来理解和处理自然语言。

而自然语言处理（Natural Language Processing，简称NLP）则是计算语言学的一个子领域，专门研究如何使计算机能够理解、分析和生成自然语言。

计算语言学和自然语言处理的研究目标是让计算机能够像人类一样理解和处理自然语言，从而实现人机交互、信息检索、机器翻译、问答系统等应用。

为了达到这个目标，计算语言学和自然语言处理涵盖了多个研究方向和技术手段。

语言模型是计算语言学和自然语言处理的基础。

语言模型是对自然语言的统计建模，通过分析大量的文本语料库，计算语言学家可以推断出不同词之间的概率分布和语法结构，从而使计算机能够生成合乎语法规则的语句。

词法分析和句法分析是自然语言处理的重要研究方向。

词法分析主要是将自然语言文本分解成单词或词根，并标注词性和语法关系。

句法分析则是分析句子的语法结构，包括短语结构分析和依存关系分析。

通过词法分析和句法分析，计算机可以理解句子的结构和语义，从而进一步实现自动问答、信息检索等功能。

语义分析和语义表示是自然语言处理的关键问题。

语义分析主要是将自然语言文本转换成计算机能够理解的语义表示形式，例如逻辑表示、向量表示等。

语义表示可以帮助计算机理解文本的含义和推理逻辑，从而实现机器翻译、情感分析等应用。

机器学习和深度学习是计算语言学和自然语言处理的重要技术手段。

机器学习可以通过训练数据来自动学习语言模型和各种语言处理任务的模型。

深度学习则是一种基于神经网络的机器学习方法，在自然语言处理中得到了广泛应用，例如词向量表示、语义角色标注、命名实体识别等。

除了上述研究方向和技术手段外，计算语言学和自然语言处理还面临一些挑战和问题。

首先，语言的歧义性是一个重要问题，同样的句子在不同的语境下可能有不同的含义，如何解决这种歧义是一个难题。

《计算语言学基础知识概述》一、引言计算语言学是一门融合了语言学、计算机科学和数学等多学科的交叉领域，旨在利用计算机技术来处理和分析自然语言。

随着信息技术的飞速发展，计算语言学在自然语言处理、机器翻译、语音识别、信息检索等众多领域发挥着至关重要的作用。

本文将对计算语言学的基本概念、核心理论、发展历程、重要实践以及未来趋势进行全面的阐述与分析。

二、基本概念1. 自然语言自然语言是人类日常交流所使用的语言，如汉语、英语、法语等。

它具有复杂性、歧义性和多样性等特点。

与形式语言不同，自然语言的语法和语义规则较为灵活，且存在大量的模糊性和不确定性。

2. 计算语言学计算语言学是研究如何利用计算机技术来处理和分析自然语言的学科。

它涉及自然语言的理解、生成、翻译、检索等多个方面，旨在实现人与计算机之间的自然语言交互。

3. 语言模型语言模型是计算语言学中的一个重要概念，它用于描述自然语言的概率分布。

语言模型可以预测一个句子或文本序列出现的概率，从而为自然语言处理任务提供基础。

常见的语言模型有 n-gram 语言模型、神经网络语言模型等。

三、核心理论1. 形式语言理论形式语言理论是计算语言学的基础理论之一，它主要研究形式语言的语法和语义。

形式语言是一种严格定义的语言，具有明确的语法规则和语义解释。

形式语言理论为自然语言的形式化表示和分析提供了方法和工具。

2. 统计语言模型统计语言模型是基于统计方法的语言模型，它通过对大量文本数据的统计分析来学习语言的概率分布。

统计语言模型在自然语言处理中得到了广泛的应用，如机器翻译、语音识别、信息检索等。

3. 深度学习理论深度学习是近年来发展迅速的一种机器学习方法，它在计算语言学中也取得了显著的成果。

深度学习模型如卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆网络（LSTM）等被广泛应用于自然语言处理任务中，如文本分类、情感分析、机器翻译等。

四、发展历程1. 早期阶段计算语言学的早期发展可以追溯到 20 世纪 50 年代，当时人们开始尝试利用计算机来进行自然语言处理。

第一章计算语言学导论计算语言学（ComputationalLinguistics）指的是这样一门学科，它通过建立形式化的数学模型，来分析、处理自然语言，并在计算机上用程序来实现分析和处理的过程，从而达到以机器来模拟人的部分乃至全部语言能力的目的。

计算语言学的研究内容：（1）从计算的角度来研究语言的性质（2）将语言作为计算对象来研究相应的算法。

从计算角度研究语言：所谓从计算的角度来看语言的性质，就是要求将人们对语言的结构规律的认识以精确的、形式化的、可计算的方式呈现出来，而不是像其他语言学研究那样，在表述语言的结构规律时一般采用非形式化的表达形式。

将语言作为计算对象来研究相应的算法，是研究如何以机械的、规定了严格操作步骤的程序来处理语言对象（主要是自然语言对象，当然也可以是形式语言对象），包括一个语言片断（比如词组、句子或篇章）中大小语言单位的识别，该语言片断的结构和意义的分析（自然语言理解），以及如何生成一个语言片断来表达确定的意思（自然语言生成），等等。

第二章语言知识的形式化表示1.有限状态自动机(FSA)的形式定义：一个有限状态自动机M是一个五元组：(Q, Σ, q0, F, δ)有限个状态组成的状态集: Q有限字母组成的字母表: Σ开始状态q0 ∈Q终止状态的集合F ⊆Q状态转移函数δ(q,i): Q xΣ→Q但是FSA：无法描述自然语言的层次结构特性2.上下文无关文法符号字母表：有限个任意符号组成的非空集合Σ例1：所有汉字组成的集合构成一个字母表。

例2：汉语中所有的词也构成一个字母表。

例3：字母a, b, c也组成一个字母表。

字符串：由字母表Σ上的字符组成的长度有限的序列若字母表Σ＝{a, b}，则a, b, ab, aba, aabb 等等都是字母表上的字符串。

语言：是字母表上的字符串的任意集合。

3.形式文法：形式文法：一个形式文法G由四个部分组成，可记作G={VN , VT , S , P }，其中：VN ：称为文法G的非终结符号字母表，VN不出现在G所表示的语言集合的句子中；VT ：称为文法G的终结符号字母表，G所表示的语言的句子由VT中的元素组成，VN ∩VT =φ；S ：代表句子符号，S∈VN 。

1. 什么是计算机语言学？发展史？计算语言学：指的是这样一门学科，它通过建立形式化的数学模型来分析，处理自然语言，并在计算机上用程序来实现分析和处理的过程，从而达到一机器来模拟人的全部或者部分语言能力的目的。

计算语言学是利用电子数字计算机进行的语言分析。

虽然许多其他类型的语言分析也可以运用计算机，计算分析最常用于处理基本的语言数据－例如建立语音、词、词元素的搭配以及统计它们的频率。

计算语言学是语言学的一个研究分支，用计算技术和概念来阐述语言学和语音学问题。

已开发的领域包括自然语言处理，言语识别，自动翻译，语法的检测，以及许多需要统计分析的领域。

发展史：第一个时期是计算语言的萌芽期（1950 －1960年代）第二个时期是计算语言的发展期（1970 －1980年代）第三那个时期是计算语言的繁荣期（1990 －至今）2什么是语言资料库？它与语言知识库有什么区别？语言库在自然语言处理方面有什么应用？答：语料库顾名思义就是存放语言材料的仓库。

它是以电子计算机为载体承载语言知识的基础资源；语料库中存放的是在语言的实际使用中真实出现过的语言材料；真实语料需要经过加工（分析和处理），才能成为有用的资源；语言资料库与语言知识库的区别是：语料库是一种承载自然语言的形式，它的特点是以语言的真实材料为基础来呈现语言知识的。

语言知识库可以说是由专家从大量的实例中提炼、概括出来的系统的语言知识，语料库则基本上是以知识的原始形态表现出来。

在自然语言处理方面的应用如：基于大规模语料库的语音识别；基于大规模语料库的音字转换技术（中文输入）；基于大规模语料库的自动文本校对技术；利用语料库训练HMM模型进行分词，词性标注，词义标注等等；基于语料库的句法分析；局域原料库的机器翻译；基于机器学习技术，通过语料库获取语言知识，包括搭配特征，句法规则，等等；基于语料钜的语言模型训练以及语言模型的评价；3. 中文自动分词的重要性；举例说明分词算法中的主要难点有哪些类型？答：中文分词的重要性：首先自动分词是汉语信息处理系统的重要组成部分；其次，自动分词是中文信息处理的基础。

第二章 自然语言的 特点及其计算复杂性
2.1. 自然语言的特点
结构性 无限性（递归性）
This is the cat. This is the cat that caught the rat. This is the cat that caught the rat that ate the cheese. ……
2.2. Complexity of Natural Languages Grammar:
G V , T , S , P
Set of (meta) symbols, or variables
V:
T : Set of terminal symbols
S:
Start symbols, from V Set of Production rules
"Does not accept" is not the same as "reject" -- the Turing machine could go into an infinite loop instead, and never get around to either accepting or rejecting the string. The languages generated by unrestricted grammars are precisely the recursively enumerable languages. * A language is recursive if there exists a Turing machine that accepts every string of the language and rejects every string (over the same alphabet) that is not in the language.

计算语言学名词作者：来源：《中国科技术语》2008年第05期全国科学技术名词审定委员会发布试用计算语言学 computational linguistics一种涉及语言学、计算机科学和数学的边缘学科。

用数学、计算机科学和技术的方法研究语言，研制计算机处理语言的软件。

研究成果可用于自然语言理解与生成、语音识别与合成、机器翻译、信息检索、信息挖掘、文献自动分类、文献自动摘要、计算机辅助语言教学等领域。

计算词汇学 computational lexicology计算语言学的一个分支。

用计算机科学或数学的方法从意义、形态、结构等方面研究自然语言的词汇结构和词汇系统，建立面向各种应用目标的机器词典和语料库。

计算语义学 computational semantics计算语言学的一个分支。

运用数学方法（主要是谓词逻辑、内涵逻辑等数理逻辑方法）构建语义模型，把语义分析作为一个计算过程来研究。

数理语言学 mathematical linguistics用数学思想和数学方法研究语言现象的学科。

通常采用集合论、数理逻辑、算法理论等代数方法，或采用概率论、数理统计、信息论等方法来建立语言的数学模型，分析描述语言成分出现和分布的统计规律。

可分为代数语言学（algebraic linguistics）、统计语言学（statistical linguistics）等。

语料库语言学 corpus linguistics语言学的一个分支。

把大规模的真实的自然语言数据（书面文本或言语录音的转写）作为语言学描写、验证语言假说或建立语言学统计模型的依据。

也是一种以语料库为基础的语言研究方法。

包括：1.对自然语料进行加工、标注；2.应用已经标注好的语料进行语言研究和应用开发。

有时也可以使用未加工过的语料进行语言研究或辞书编纂。

自然语言处理 natural language processing研究使用计算机处理在人际交际或人机交际中的自然语言问题的学科。

计算语言学第一节计算语言学概说概念：计算语言学（computational linguistics）是用计算机研究和处理自然语言的一门新兴边缘学科。

涉及语言学、计算机科学、数学等多个领域。

旨在通过建立形式化的数学模型，来分析处理自然语言，并在计算机上用程序来实现分析和处理的过程。

从而实现机器模拟人的部分乃至全部语言能力。

研究对象自然语言&计算机处理（或者简单地说“计算”）自然语言：指日常生活中人们所使用的语言，如汉语、英语、法语等。

自然语言的特性和规则是计算语言学研究的主体。

计算语言学不仅要研究自然语言的书写系统（文字）还要研究自然语言的各级语言单位（音素、音位、语素、词、短语、句子等）的组合规则和这些语言单位与语义产生联系的各种规则【这是我们研究计算语言学的基础，初步工作】（目的：要让计算机能自动理解和产生自然语言）计算机处理：用计算机所能接受的方式来描写和刻画自然语言并把它表示在计算机中。

（计算机是以数值处理的方式来处理信息的，它以二进制数0和1为基本的操作符号，在此基础上建立起一整套形式化处理的方法来进行运转。

因此要让计算机能够理解和生成自然语言，自然语言的特性和每一条规则必须要以形式化的方式表示出来。

自然语言的规则是错综复杂的，而且规则的数量也非常多。

有了自然语言各种规则的形式化表示，并不能保证计算机就能够正确有效地理解和产生自然语言，要想让计算机能够正确有效地处理自然语言，还需要研究自然语言规则之间的关系及其处理策略，并且也要用形式化的方式表示出来。

）有了自然语言和计算机处理的研究基础，人们才能够选择计算机程序设计语言来设计和编写处理自然语言的软件程序，才能最终实现自然语言计算机处理的目的。

整个过程包括四部分：知识挖掘涉及语言学的众多理论问题，首先是语言观问题，然后是语言研究的方法论问题；形式表示算法设计更多涉及语言处理的实际工程问题软件编制知识挖掘即从语言学角度提出自然语言处理的语言问题和理论形式表示即把需要研究的问题在语言学上形式化，使之能以一定的数学形式严密规整地表示出来算法设计即把这种严密而规整的数学形式表示为算法，使之能在计算机上形式化软件编制即根据算法编写计算机程序，使之在计算机上能得以实现计算语言学性质计算语言学是一门交叉性的学科，它是由语言学和计算机科学相互交叉要有语言学的知识，又要有计算机科学的知识。