语言学纲要讲义笔记 导言 一、语言的定义 语言是人类最重要的交际工具和思维工具、是由音义结合的词汇和语法构成的一种符号系统。 二、语言学的对象和任务 语言学是研究语言的科学。 要把语言学跟语文学区分开来 中国传统语文学——“小学” 小学是我国古代语文学的统称，由训诂学、文字学、音韵学三部分组成。 在古印度，公元前4世纪，著名学者潘尼尼在整理、注释婆罗门教经典《吠陀》时，写了一本《梵语语法》，提出3996条规则，被人们称为最完备的语法书。在古希腊，伯拉图和亚里斯多德是从哲学的角度来研究语言的，他们讨论了词为什么具有意义等内容。 三、语言学在科学体系中的地位 语言学既是一门古老的科学，又是一门年轻的科学。 1、与社会科学、自然科学的联系 语言研究的成果是哲学、历史学、考古学、文学、政治学、经济学、逻辑学、社会学、民族学、计算机科学等学科所必须利用的，可见语言研究在这些社会科学中已占重要地位。 语言学与其他学科相交叉产生社会语言学、心理语言学、计算语言学、生物语言学、模糊语言学、实验语音学等。如：运用语言传递信息的过程，可分为五个阶段： 编码——发送——传递——接收——解码 对这一具体过程的解释需要结合物理学、生理学、心理学等其他学科的知识。三、语言学的基本类别 总体上，根据研究对象的不同，语言学可以分为理论语言学和应用语言学两大类。（一）理论语言学可分为： 1、一般/普通语言学
2、个别/具体语言学 具体语言学 （1）历时语言学 （2）共时语言学 （二）应用语言学 1、社会语言学：研究语言与社会集团的关系。如地域方言、社会方言、语言的接触、语言规划等。 2、心理语言学：研究儿童语言习得、语言的接收和发生过程，等。 3、神经语言学 最近二十年才从心理语言学中分离出来的一门新的学科，主要研究语言和大脑结构的关系，中心是大脑如何生成语言。 此外，还有数理语言学、统计语言学、实验语音学等。 第一章语言的功能 第一节语言的社会功能 一、语言的信息传递功能 信息传递功能是语言的最基本的社会功能。 人类还借助语言之外的其他形式传递信息，它们是文字，旗语，信号灯，电报代码，数学符号，化学公式等等。 身势等伴随动作等是非语言的信息传递形式。 身势等非语言的形式多半是辅助语言来传递信息； 文字是建立在语言基础之上的最重要的再编码形式； 旗语之类是建立在语言或文字基础之上的再编码形式； 语言是人类社会信息传递第一性的、最基本的手段，是最重要的交际工具。二、语言的人际互动功能 语言的社会功能的另一个重要方面是建立或保持某种社会关联，这就是语言的人际互动功能。互动包括两个方面：一个是说话者在话语中表达自己的情感、态度、意图，另一方面这些又对受话者施加了影响，得到相应的语言或行动上的反馈，从而达到某种实际效果。
编译原理实验报告实验名称：实验一编写词法分析程序 实验类型：验证型实验 指导教师：何中胜 专业班级：13软件四 姓名：丁越 学号： 电子邮箱： 实验地点：秋白楼B720 实验成绩： 日期：2016年3 月18 日
一、实验目的 通过设计、调试词法分析程序，实现从源程序中分出各种单词的方法；熟悉词法分析 程序所用的工具自动机，进一步理解自动机理论。掌握文法转换成自动机的技术及有穷自动机实现的方法。确定词法分析器的输出形式及标识符与关键字的区分方法。加深对课堂教学的理解；提高词法分析方法的实践能力。通过本实验，应达到以下目标： 1、掌握从源程序文件中读取有效字符的方法和产生源程序的内部表示文件的方法。 2、掌握词法分析的实现方法。 3、上机调试编出的词法分析程序。 二、实验过程 以编写PASCAL子集的词法分析程序为例 1.理论部分 （1）主程序设计考虑 主程序的说明部分为各种表格和变量安排空间。 数组 k为关键字表，每个数组元素存放一个关键字。采用定长的方式，较短的关键字 后面补空格。 P数组存放分界符。为了简单起见，分界符、算术运算符和关系运算符都放在 p表中 （编程时，还应建立算术运算符表和关系运算符表，并且各有类号），合并成一类。 id和ci数组分别存放标识符和常数。 instring数组为输入源程序的单词缓存。 outtoken记录为输出内部表示缓存。 还有一些为造表填表设置的变量。 主程序开始后，先以人工方式输入关键字，造 k表；再输入分界符等造p表。 主程序的工作部分设计成便于调试的循环结构。每个循环处理一个单词；接收键盘上 送来的一个单词；调用词法分析过程；输出每个单词的内部码。 ⑵词法分析过程考虑 将词法分析程序设计成独立一遍扫描源程序的结构。其流程图见图1-1。 图1-1 该过程取名为 lexical，它根据输入单词的第一个字符（有时还需读第二个字符），判断单词类，产生类号：以字符 k表示关键字；i表示标识符；c表示常数；p表示分界符；s表示运算符（编程时类号分别为 1，2，3，4，5）。 对于标识符和常数，需分别与标识符表和常数表中已登记的元素相比较，如表中已有 该元素，则记录其在表中的位置，如未出现过，将标识符按顺序填入数组id中，将常数 变为二进制形式存入数组中 ci中，并记录其在表中的位置。 lexical过程中嵌有两个小过程：一个名为getchar，其功能为从instring中按顺序取出一个字符，并将其指针pint加1；另一个名为error，当出现错误时，调用这个过程， 输出错误编号。 2.实践部分
编译原理 第三章词法分析和词法分析程序
设计扫描器时应考虑的问题 ?词法分析程序亦称为扫描器 ?任务：扫描程序，识别单词 ?扫描器的输出是语法分析程序的输入
词法分析的必要性 ?描述单词的结构比其它语法结构简单，仅用3型文法就够了； ?将单词识别从语法分析识别分离出来，可采用更有效的工具实现； ?有些语言的单词识别与前后文相关，不宜将其与语法分析合并； ?使编译程序各部分独立出来，有利于设计、调试和维护
单词符号的内部表示 ?常用的内部表示方法: (class,value) ?为便于阅读，常用助记符（或常量标识符、宏定义等）表示class。 ?在识别出变量名、函数（过程）名时，还应进行查填符号表的工作。
识别标识符的若干约定和策略 ?在允许长度下，应按最长匹配原则进行识别 ?有时需要超前扫描来进行单词识别。
由正规文法构造状态转换图 例：正规文法如下： 3.2 正规文法和状态转换图 <无符号数> → d.<余留无符号数> <无符号数> → .<十进小数> <无符号数> → E<指数部分> <余留无符号数> → d<余留无符号数> <余留无符号数> → .<十进小数> <余留无符号数> → E<指数部分> <余留无符号数> → ε <十进小数> → d<余留十进小数><余留十进小数> → d<余留十进小数> <余留十进小数> → E<指数部分> <余留十进小数> → ε <指数部分> → d<余留整指数> <指数部分> → +<整指数> <指数部分> → -<整指数> <整指数> → d<余留整指数> <余留整指数> → d<余留整指数> <余留整指数> → ε
实验1-3 《编译原理》S语言词法分析程序设计方案 一、实验目的 了解词法分析程序的两种设计方法之一：根据状态转换图直接编程的方式； 二、实验内容 1．根据状态转换图直接编程 编写一个词法分析程序，它从左到右逐个字符的对源程序进行扫描，产生一个个的单词的二元式，形成二元式（记号）流文件输出。在此，词法分析程序作为单独的一遍，如下图所示。 具体任务有： （1）组织源程序的输入 （2）拼出单词并查找其类别编号，形成二元式输出，得到单词流文件 （3）删除注释、空格和无用符号 （4）发现并定位词法错误，需要输出错误的位置在源程序中的第几行。将错误信息输出到屏幕上。 （5）对于普通标识符和常量，分别建立标识符表和常量表（使用线性表存储），当遇到一个标识符或常量时，查找标识符表或常量表，若存在，则返回位置，否则返回0并且填写符号表或常量表。 标识符表结构：变量名，类型（整型、实型、字符型），分配的数据区地址 注：词法分析阶段只填写变量名，其它部分在语法分析、语义分析、代码生成等阶段逐步填入。 常量表结构：常量名，常量值 三、实验要求 1．能对任何S语言源程序进行分析 在运行词法分析程序时，应该用问答形式输入要被分析的S源语言程序的文件名，然后对该程序完成词法分析任务。 2．能检查并处理某些词法分析错误 词法分析程序能给出的错误信息包括：总的出错个数，每个错误所在的行号，错误的编号及错误信息。 本实验要求处理以下两种错误（编号分别为1，2）： 1：非法字符：单词表中不存在的字符处理为非法字符，处理方式是删除该字符，给出错误信息，“某某字符非法”。 2：源程序文件结束而注释未结束。注释格式为：/* …… */ 四、保留字和特殊符号表
语用学与修辞学讲义 第一章绪论 第一节语用学与修辞学的概念 一、什么是语用学 Pragmatics这一术语由美国哲学家C.Morris在《符号学理论基础》(1938)一书中首次提出。如果以1977年在荷兰创刊的《语用学杂志》为标志，则语用学作为一们独立的学科迄今不过30多年的历史。 1、定义：Charles W.Morris在其《符号理论基础》中提出：语用学研究“符号与符号解释者的关系”，研究“符号与有生命的方面，即研究符号作用下出现的所有心理、生理和社会现象”。 列文森（Levinson S.C.，1983：转引自何兆熊，1989：8-9）有关语用学的几个定义： （1）“语用学是对在一种语言的结构中被语法化后被编码的语言和语境之间的关系的研究”； （2）“语用学是对所有那些未能纳入语义理论的意义侧面研究”； （3）“语用学是对语言和语境之间对于说明语言理解来说是十分根本的那些关系的研究”； （4）“语用学是对语言使用者把句子和使这些句子得以合适的语境相匹配的能力的研究”； （5）“语用学是对指示（至少是其中的一部分）、含义、前提、言语行为以及话语结构各个侧面的研究。” （6）“语用学多要研究的是语言使用者在特定的语境中运用合适的语句的能力。”（英·列文森 S。C。Levinson,Pragmatics,Cambrige University Press。1983 P。24。 再来看看其他学者对语用学的定义（何兆熊，1989：10-11）： （1）“语用学是对语言行为以及实施这些行为的语境所作的研究（Stalnaker，1972）”； “语用学是一种旨在描述说话人如何使用一种语言的句子达致成功交际的理（2） 论（Kempson，1975）”； （3）“语用学是对语言的使用和语言交际进行的研究（Akmajian，1979）”； （4）“语用学可以有效地定义为对话语如何在情景中取得意义的研究。”（英·利奇G。N。Leech,Principles of Pragmatics,Longman,1983。P。X。 何自然：“语用学研究特定情景中的特定话语，研究不同的语言交际环境下如何理解和运用语言。”（《语用学概论》第1页 金定元：“语用学就是研究语境的科学。”（《语用学——研究语境的科学》载《中国语文天地》1986年第1期。） 周礼全：“语用学是符号学的重要部分……它研究：在一个语境中，说话者如何应用话语准确地表达和传达自己的思想感情给听话者，从而达到自己的意图；它也研究：在一个语境中，听话者如何准确地了解说话者通过话语所表达和传达的思想
编译技术实验报告 实验题目：词法分析 学院：信息学院 专业：计算机科学与技术学号： 姓名：
一、实验目的 (1)理解词法分析的功能； (2)理解词法分析的实现方法； 二、实验内容 PL0的文法如下 …< >?为非终结符。 …::=? 该符号的左部由右部定义，可读作“定义为”。 …|? 表示…或?，为左部可由多个右部定义。 …{ }? 表示花括号内的语法成分可以重复。在不加上下界时可重复0到任意次 数，有上下界时可重复次数的限制。 …[ ]? 表示方括号内的成分为任选项。 …( )? 表示圆括号内的成分优先。 上述符号为“元符号”，文法用上述符号作为文法符号时需要用引号…?括起。 〈程序〉∷=〈分程序〉． 〈分程序〉∷= [〈变量说明部分〉][〈过程说明部分〉]〈语句〉 〈变量说明部分〉∷=V AR〈标识符〉{，〈标识符〉}：INTEGER； 〈无符号整数〉∷=〈数字〉{〈数字〉} 〈标识符〉∷=〈字母〉{〈字母〉|〈数字〉} 〈过程说明部分〉∷=〈过程首部〉〈分程序〉{；〈过程说明部分〉}； 〈过程首部〉∷=PROCEDURE〈标识符〉； 〈语句〉∷=〈赋值语句〉|〈条件语句〉|〈过程调用语句〉|〈读语句〉|〈写语句〉|〈复合语句〉|〈空〉 〈赋值语句〉∷=〈标识符〉∶=〈表达式〉 〈复合语句〉∷=BEGIN〈语句〉{；〈语句〉}END 〈条件〉∷=〈表达式〉〈关系运算符〉〈表达式〉 〈表达式〉∷=〈项〉{〈加法运算符〉〈项〉} 〈项〉∷=〈因子〉{〈乘法运算符〉〈因子〉} 〈因子〉∷=〈标识符〉|〈无符号整数〉|'('〈表达式〉')' 〈加法运算符〉∷=+|- 〈乘法运算符〉∷=* 〈关系运算符〉∷=<>|=|<|<=|>|>= 〈条件语句〉∷=IF〈条件〉THEN〈语句〉 〈字母〉∷=a|b|…|X|Y|Z 〈数字〉∷=0|1|2|…|8|9 实现PL0的词法分析
武汉大学文学院简介 文学院中文学科发端于1893年建校之初的自强学堂。起初开设“华文”课，后改称“汉文”。国立武昌高等师范学校时期，于1917年设立国文史地部。1922年正式成立国文系，中文学科从此有了独立的行政建制。1927年改称中国文学系。1928年国立武汉大学成立时设置文学院，闻一多先生出任首任院长。1953年，兄弟学校中文系并入武汉大学组建了新的中国语言文学系。1997年改建文学院。1999年与其他学院合并为人文科学学院。2003年7月恢复文学院建制至今。 文学院暨中文学科创建以来，名流云集，代有传人。在1928 年以前的初创时期，著名学者王葆心、黄福、黄侃、廖立勋、郁达夫、杨振声等等，筚路蓝缕，开启先路，奠定了文学院的坚实基础。其中，黄侃先生与章太炎先生所创立的“章黄学派”饮誉海内外，对文学院的学风和学术发展产生了深远影响。1928年之后的数十年是文学院的发展壮大时期。杨树达、闻一多、刘博平、刘永济、刘异、游国恩、苏雪林、叶圣陶、沈从文、朱东润、高亨、冯沅君、袁昌英、陈西滢、徐天闵、朱光潜、陈登恪、席鲁思、黄焯、程千帆、刘绶松、胡国瑞、李健章、周大璞、李格非等先辈，鞠躬尽瘁，不断开拓，使文学院的中文学科迅速发展壮大、走向辉煌，跃居全国同类学科前列。尤其是五十年代，以“五老八中”为代表的学术中坚声名远播。改革开放以来，是文学院奋发图强、蓬勃向上的时期。这一时期，刘禹昌、吴林伯、王启兴、陆耀东、王文生、吴志达、何国瑞、蔡守湘、易竹贤、罗立乾、陈美兰、李希贤、夏渌、郑远汉、宗福邦、杨合鸣、龙泉明等学者，励精图治，奋起直追，为文学院再铸辉煌做出了重要贡献。 如今的文学院，下设中国文学系、汉语言文化系、大学语文部、古籍整理研究所、《长江学术》杂志社、《写作》杂志社等常设机构，还与“国家汉办”合作建立了“汉语国际推广教学资源研究与开发基地”，建有海外孔子学院。共有教职工88人，其中专任教师65人。教师中教授32人，博士生导师30人，副教授26人。学院拥有中国语言文学一级学科博士学位授予权和博士后流动站；拥有国家重点学科一个，国家重点培育学科一个，中国语言文学一级学科被评为湖北省重点学科，中国现当代文学和中国古代文学分别被评为湖北省优势学科和特色学科。人才培养方面，在国家规定的中国语言文学学科的8个学位点中，除中国少数民族语言文学之
词法分析 一、实验目的 设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。 二、实验要求 2.1 待分析的简单的词法 （1）关键字： begin if then while do end 所有的关键字都是小写。 （2）运算符和界符 ： = + - * / < <= <> > >= = ; ( ) # （3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义： ID = letter (letter | digit)* NUM = digit digit* （4）空格有空白、制表符和换行符组成。空格一般用来分隔ID、SUM、运算符、界符和关键字，词法分析阶段通常被忽略。 2.2 各种单词符号对应的种别码： 输入：所给文法的源程序字符串。 输出：二元组（syn,token或sum）构成的序列。 其中：syn为单词种别码； token为存放的单词自身字符串； sum为整型常数。 例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件，经过词法分析后输出如下序列： (1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)…… 三、词法分析程序的算法思想： 算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。
3.1 主程序示意图： 主程序示意图如图3-1所示。其中初始包括以下两个方面： ⑴关键字表的初值。 关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下： Char *rwtab[6] = {“begin”, “if”, “then”, “while”, “do”, “end”,}; 图3-1 （2）程序中需要用到的主要变量为syn,token和sum 3.2 扫描子程序的算法思想： 首先设置3个变量：①token用来存放构成单词符号的字符串；②sum用来整型单词；③syn用来存放单词符号的种别码。扫描子程序主要部分流程如图3-2所示。
语言学讲义
1/ What is linguistics? 什么是语言学？ Linguistics is generally defined as the scientific study of language. It studies not any particular language, but languages in general. 2/ The scope of linguistics phonology：音韵学, 语言学一门研究各种语言内部语音模式的学科。历时音系学(历史音系学)考查和分析语音声音体系在一段时间内的变化，如英语sea(海)和see(看见)这两个词中的元音曾一度发音不同，而演变至今则发同样的音。共时音系学(描写音系学)研究一种语言在其发展的某一个别阶段的语音，揭示它可能存在的语音模式(如英语里nt和rk这两组音只能出现在词的中间和词尾，而不能出现在词首)。phonetics：语音学, 发音学研究言语的声音学科。语音学研究它们的发音(发音语音学)、声学性质(声学语音学)，以及如何组合起来构成音节、词语和句子(语言语音学)。最早的语音学家为印度学者(约公元前300)，他们试图保存梵文
经文的发音。古代的希腊人被证明是首次以语音字母作为书写系统的人。现代语音学的创立者为A.M.贝尔(1819～1905)，其《语音图解法》(1867)研发一套书写语音的精确符号体系。20世纪时，语言学家专注于开发一种分类系统，可以用来比较所有的人类语音。现代语音学关注的另一个方面是语音感知的心理过程。 morphology（形态学）是对单词的结构的分析，一般认为是syntax的最小单位。morphology is the identification, analysis and description of structure of words ， and words are generally accepted as being (with clitics) the smallest units of syntax. syntax(句法学)指的是对构造句子时应该遵循的原则。（狭义上就是语法）syntax is the study of the principles and rules for constructing sentences in natural languages。 语义学又称作词义学（Semantics，来自于希腊语 semantikos），对中文等方块文字而言，则称为字义学。研究对象是词语，是词汇学的一个分支。主要研究词义。 词和词之间的各种关系是语义学研究的一个主
词法分析器实验报告 一、实验目的 选择一种编程语言实现简单的词法分析程序，设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。 二、实验要求 待分析的简单的词法 （1）关键字： begin if then while do end 所有的关键字都是小写。 （2）运算符和界符 ： = + - * / < <= <> > >= = ; ( ) # （3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义： ID = letter (letter | digit)* NUM = digit digit* （4）空格有空白、制表符和换行符组成。空格一般用来分隔ID、SUM、运算符、界符和关键字，词法分析阶段通常被忽略。 各种单词符号对应的种别码： 表各种单词符号对应的种别码 词法分析程序的功能： 输入：所给文法的源程序字符串。 输出：二元组（syn,token或sum）构成的序列。 其中：syn为单词种别码； token为存放的单词自身字符串； sum为整型常数。 例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件，经过词法分析后输出如下序列： (1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)…… 三、词法分析程序的算法思想： 算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根
据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。 主程序示意图： 主程序示意图如图3-1所示。其中初始包括以下两个方面： ⑴关键字表的初值。 关键字作为特殊标识符处理，把它们预先安排在一张表格中（称为关键字表），当扫描程序识别出标识符时，查关键字表。如能查到匹配的单词，则该单词为关键字，否则为一般标识符。关键字表为一个字符串数组，其描述如下： Char *rwtab[6] = {“begin”, “if”, “then”, “while”, “do”, “end”,}; 图3-1 （2）程序中需要用到的主要变量为syn,token和sum 扫描子程序的算法思想： 首先设置3个变量：①token用来存放构成单词符号的字符串；②sum用来整型单词；③syn 用来存放单词符号的种别码。扫描子程序主要部分流程如图3-2所示。
编译原理实验报告
实验一 一、实验名称：词法分析器的设计 二、实验目的：1，词法分析器能够识别简单语言的单词符号 2，识别出并输出简单语言的基本字.标示符.无符号整数.运算符.和界符。 三、实验要求：给出一个简单语言单词符号的种别编码词法分析器 四、实验原理： 1、词法分析程序的算法思想 算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。 2、程序流程图 （1 （2）扫描子程序
3
五、实验内容： 1、实验分析 编写程序时，先定义几个全局变量a[]、token[]（均为字符串数组),c,s( char型)，i,j,k（int型），a[]用来存放输入的字符串，token[]另一个则用来帮助识别单词符号，s用来表示正在分析的字符。字符串输入之后，逐个分析输入字符，判断其是否‘#’，若是表示字符串输入分析完毕，结束分析程序，若否则通过int digit(char c)、int letter(char c)判断其是数字，字符还是算术符,分别为用以判断数字或字符的情况，算术符的判断可以在switch语句中进行，还要通过函数int lookup(char token[])来判断标识符和保留字。 2 实验词法分析器源程序： #include
信息工程学院实验报告（2010 ~2011 学年度第一学期） 姓名：柳冠天 学号：2081908318 班级：083
词法分析 一、实验目的 设计、编制并调试一个词法分析程序，加深对词法分析原理的理解。 二、实验要求 2.1 待分析的简单的词法 （1）关键字： begin if then while do end 所有的关键字都是小写。 （2）运算符和界符 ：= + - * / < <= <> > >= = ; ( ) # （3）其他单词是标识符（ID）和整型常数（SUM），通过以下正规式定义： ID = letter (letter | digit)* NUM = digit digit* （4）空格有空白、制表符和换行符组成。空格一般用来分隔ID、SUM、运算符、界符和关键字，词法分析阶段通常被忽略。 2.2 各种单词符号对应的种别码： 表2.1 各种单词符号对应的种别码 2.3 词法分析程序的功能： 输入：所给文法的源程序字符串。 输出：二元组（syn,token或sum）构成的序列。 其中：syn为单词种别码； token为存放的单词自身字符串； sum为整型常数。 例如：对源程序begin x:=9: if x>9 then x:=2*x+1/3; end #的源文件，经过词法分析后输出如下序列： (1,begin)(10,x)(18,:=)(11,9)(26,;)(2,if)…… 三、词法分析程序的算法思想： 算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。 3.1 主程序示意图：
本书简介 本教材从“基础”“算法”和“应用”三个方面，较为系统地介绍计算语言学的基础理论、相关的自然语言处理技术和应用。 基础部分（包括一、二、三章）主要讲述计算语言学的数学和语言学基本概念，计算语言学和自然语言处理技术的关系，自然语言处理的基本流程等内容。此外，作为计算语言学的重要分支之一，语料库语言学得到了较大发展，有关语料库语言学的基础概念、基本理论、近年来的一些发展概况在第三章中加以介绍。介绍这部分内容的目的，是让读者在不涉及技术细节的情况下，对计算语言学有一个初步的，同时也是较为全面的理解和掌握。 算法部分（包括第四、五章）主要介绍计算语言学的常用技术和算法。从处理对象来讲，主要包括词法层面的分析技术、句法层面的分析技术和语义层面的处理技术；从处理方法来讲，既有传统的规则方法，也有基于语料库的统计方法的介绍。这部分内容的主旨是希望通过本章学习后，使学生能对计算语言学的领域中的一些主流技术(比如隐马尔可夫模型在词性标注中的应用，GLR算法 ，部分分析技术等)有一个概要的认识，并能运用这些技术进行计算语言学相关的工作实践。
应用部分（包括第六、七章）主要讲授自然语言处理应用系统。需要说明的是，基于语言信息处理技术的应用系统很多，本教材只是重点介绍一些常见的系统，介绍这些系统的工作机理、发展、取得的成绩，也客观介绍这些系统存在的问题和困难。主要包括机器翻译系统，信息检索系统、信息提取系统，文本分类系统等。 目录 第一章 绪论：什么是计算语言学 第一节 计算语言学的研究对象 第二节 计算语言学的研究方法 第三节 计算语言学的实际应用 第四节 小结 第二章 语言知识的形式化表达 第一节 语言与语言知识 第二节 形式化表达手段 第三节 语法知识的形式化表述理论体系 第四节 语义知识的形式化表述理论体系 第五节 语篇知识的形式化表述理论体系 第六节 小结 第三章 语料库：语言知识的另一种表示形式 第一节 语料库研究概况 第二节 语料的收集与加工 第三节 语料库的应用 第四节 小结 第四章 词法分析 第一节 概述 第二节 “词”的识别 第三节 词性标注 第四节 词义标注 第五节 小结 第五章 句法分析 第一节 句法分析导引 第二节 广义LR分析算法 第三节 基于线图的分析技术 第四节 其他句法分析技术 第五节 小结 第六章 机器翻译 第一节 机器翻译概述 第二节 基于规则的机器翻译 第三节 基于语料库的机器翻译以及混合式机器翻译 第四节 机器翻译的困难、对策和评价 第五节 小结 第七章 面向文本的智能信息处理 第一节 信息检索 第二节 信息提取 第三节 文本自动分类 第四节 小结
第三章 词法分析 知识结构： 功能 词法分析器的要求 单词符号分类 词法分析 单词内部形式 器的设计 设计方发 词法分析器的设计 状态图 词法分析器组成 正规表达式 单词描述工具 正规集 词法分析器 正规文法 确定有限自动机（DFA ） 单词识别工具 非确定有限自动机（NFA ） DFA 的最小化 正规式与FA 的等价转换 等价转换 正规文法与FA 的等价转换 第一节 对词法分析器的要求 一、词法分析器的功能 输入源程序，输出单词符号（二元式表示）。
关键字：是由程序语言定义的具有固定意义的标识符。 标识符：用来表示各种名字，如变量等。 常数：常数的类型有整型，实型等。 运算符：算术运算符，关系运算符，逻辑运算符。 界限符：逗号，分号等。 三、单词符号内部的表示形式 内部的单词符号TOKEN字（二元式），TOKEN字占用机器字的长度，依据信息量的多少而定。 1、TOKEN字结构 CLASS：用整数表示。 VALUE：表示单词符号的属性（符号表指针）。 2、TOKEN的作用 CLASS：用于语法分析器对源程序结构的分析。 VALUE：用于语义分析器对源程序具体操作的分析。 3、单词种别码划分原则 CLASS：关键字，运算符，界限符（编译程序定义的符号） 使用一字一种编码。VALUE值省略。 VALUE：标识符，常数（用户定义的符号），存放符号表 常数表的指针。标识符，常数每一类为一种编码。 例：BEGIN A：= B END； 词法分析结果：符号表
（BEGIN，---- ）Array（A ，K1 ） K1 （：= ，--- ） （B ，K3 ） K3 （END ，--- ） （；，--- ） 四、词法分析器的结构 1、一遍扫描（交互式结构）。 2、多遍扫描（独立式结构）。 第二节词法分析器的设计 一、设计步骤 1、确定词法分析器的接口关系； 2、确定单词分类和TOKEN字的结构； 3、对每一类单词构造状态转换图； 4、根据状态转换图设计算法。 二、功能描述 1、组织源程序输入； 2、按词法规则拼读单词符号，并转换成二元式； 3、删除注解行，空格和无用符号； 4、检查词法错误。 三、设计方法 1、输入(读取原文件) 原文件存储方式： 一种方式将原文件一次读入内存，另一种方式利用缓冲区技
第四章 语法 【内容简介及重点】主要要掌握语法结构的基本规律，包括：语法的结构单位——句子、词组、词、语素；语素和词组合成更大的语法单位的类型；语法结构的层次性与递归性特点；语法的聚合规则；句子的变换、语言结构的类型和普遍特征。难点是学会运用已学的语法理论分析和阐释常见的语法现象。 第一节语法和语法单位 一语言结构是有规则的 1.1 语言结构是有规则的 1.1.1 语言语法规则的存在客观性 用什么样的形式体现符号之间的结构关系，是有规则的。 1.1.2 从母语者和二语习得者的材料看 1.2 语法和语法研究 1.2.1 语法 语法是词的构成和变化的规则（词法）以及组词成句的规则（句法）的总和。 The rules of syntax combine words into phrases and phrases into sentences. （1）语言中现成的词不能任意更换其中的构成成分，同时也不能任意挪动它们的位置。 （2）一句话可以只有一个词，也可以有几个词。 （3）词法和句法是不同的语法规则，但二者有密切的关系。 1.2.2 语法是客观存在的，语法研究则是对这种客观存在进行客观的归纳、总结和描写。语法研究不能带有研究者的主观性。 1.2.3 几个概念 （1）语法中的任何成分都是内容和形式的统一体。语法成分的内容是语法意义，语法意义的表达者是语法形式。 （2）在词的范围内的语法形式称为形态，如英语表示“复数”的“-s”就是一种形态。词序表示词与词的关系，超出了词的范围，因此词序不是形态。 （3）把具有共同特点的语法形式概括起来就成为一种语法手段。如附加语素和词序就是两种语法手段。 （4）语法最重要的特点是它的抽象性。 二语法的组合规则和聚合规则 2.1 语法的两个基本规则 2.1.1 组合规则 语法单位互相连接起来构成更大的语言片断的规则叫做语法的组合规则。 2.1.2 聚合规则
编译原理实验报告 实验一 实验题目：词法分析 指导老师：任姚鹏 专业班级：计算机科学与技术系网络工程方向1002班姓名：xxxx
2013年 4月13日 实验类型__验证性__ 实验室_软件实验室三__ 一、实验项目的目的和任务： 了解和掌握词法分析的方法，编程实现给定源语言程序的词法分析器，并利用该分析器扫描源语言程序的字符串，按照给定的词法规则，识别出单词符号作为输出，发现其中的词法错误。 二、实验内容： 1．设计一个简单的程序设计语言（语言中有若干运算符和分界符；有若干关健字；若干标识符及若干常数） 2．确定编译中使用的表格、词法分析器的输出形式、标识符与关键字的区分方法。 3．把词法分析器设计成一个独立的过程。 三、实验要求: 1.从键盘上输入源程序； 2.处理各单词，计算个单词的值和类型； 3.输出个单词名、单词的值和类型。 四、实验代码 #include
一、实验目的 了解词法分析程序的两种设计方法：1.根据状态转换图直接编程的方式；2.利用DFA 编写通用的词法分析程序。 二、实验内容及要求 1．根据状态转换图直接编程 编写一个词法分析程序，它从左到右逐个字符的对源程序进行扫描，产生一个个的单词的二元式，形成二元式（记号）流文件输出。在此，词法分析程序作为单独的一遍，如下图所示。 具体任务有： （1）组织源程序的输入 （2）拼出单词并查找其类别编号，形成二元式输出，得到单词流文件 （3）删除注释、空格和无用符号 （4）发现并定位词法错误，需要输出错误的位置在源程序中的第几行。将错误信息输出到屏幕上。 （5）对于普通标识符和常量，分别建立标识符表和常量表（使用线性表存储），当遇到一个标识符或常量时，查找标识符表或常量表，若存在，则返回位置，否则返回0并且填写符号表或常量表。 标识符表结构：变量名，类型（整型、实型、字符型），分配的数据区地址 注：词法分析阶段只填写变量名，其它部分在语法分析、语义分析、代码生成等阶段逐步填入。 常量表结构：常量名，常量值 2．编写DFA模拟程序 算法如下： DFA（S=S0,MOVE[][],F[],ALPHABET[]） /*S为状态，初值为DFA的初态，MOVE[][]为状态转换矩阵，F[] 为终态集，ALPHABET[] 为字母表，其中的字母顺序与MOVE[][] 中列标题的字母顺序一致。*/ { Char Wordbuffer[10]=“”//单词缓冲区置空 Nextchar=getchar（）；//读 i=0； while（nextchar！=NULL）//NULL代表此类单词 { if （nextcha r！∈ALPHABET[]）{ERROR（“非法字符”），return（“非法字符”）；} S=MOVE[S][nextchar] //下一状态 if（S=NULL）return（“不接受”）；//下一状态为空，不能识别，单词错误 wordbuffer[i]=nextchar ；//保存单词符号 i++； nextchar=getchar（）； } Wordbuffer[i]=‘\0’;
第一部分教材精讲讲义 导言 一、语言学的对象和学科性质 （一）语言学的研究对象 语言学是研究语言的科学，语言是语言学的研究对象。 1．语言现象 语言现象是人类社会普遍具有的现象，它是最早纳入人类研究视野的现象之一。 （1）人类对于世界上的各种自然现象和社会现象的理性认识以及相关的许多抽象观念，是在各个古典文明形成的时期出现的。有关语言的理性思考也是从这一时期开始的。 （2）中国先秦时期的思想家、古希腊的哲学家、古代印度的思想家等，都提出了对语言的一般看法，并且对后人产生了深远影响。这是对语言的最早的理性认识。 2．语言学的发展过程 （1）语言学的三大发源地 在各个文明的发展过程中，古代文化典籍的传承成为文化发展延续的重要途径。这些政治、哲学、宗教、历
史、文学等方面的经典著作要得到学习和继承，都需要语言方面的分析和解释。这样，在许多有着悠久历史文化传统的地区都出现了语文学研究，这是语言的系统研究的开始。中国、印度和希腊一罗马在传统语文学的研究上都取得了辉煌成就，是语言学的三大发源地。 （2）语言学三大发源地的成就 ①中国传统语言研究主要围绕解读文言文典籍的需要进行 a．先秦时期已经出现大量的文化典籍，它们所使用的古代书面语体被后人学习继承，称作文言文。直至20世纪初，正式的书面语一直使用这种文言文的形式。 b．中国传统的语言研究主要是围绕着解读文言文典籍的需要进行的。中国传统语言研究主要是分析汉字的形体，探求它的古代读音和意义，形成了统称“小学”的文字、音韵、训诂之学，也就是中国传统的语文学。 ②古代印度语言研究主要是对宗教经典的解读 a．在印度，文化经典主要是宗教典籍，所用的语言是古代的梵语。最初这些经典是靠口耳相传，后来由文字记载下来。 b．古代印度的语言研究主要是对这些经典的解读。古代印度的学者在对语言一般性质的认识以及具体的语音和语法研究等方面，都有卓越建树，对世界其他地区的语言研究也产生了深远影响。 ③西欧语言研究主要围绕拉丁语进行 a．古希腊有丰富的文化典籍，语文学非常发达，已经有了系统的语法研究成果。 b．罗马人继承了古希腊的语言研究传统，形成了拉丁语的语法研究体系。 c．西欧各国有一千多年时间在正式的场合都使用古典拉丁语，语言研究主要围绕拉丁语进行，语法、修辞、逻辑成为学校传授的主课，编出了种种语法、词典和读本，逐渐形成了传统的西方语言学。 （二）语言学的学科性质 1．语文学时期的语言研究不是独立的学科 （1）语文学时期的语文学研究首先关注的是反映在古代书面文献中的古代思想观念、政治制度等等。 （2）语文学时期语言研究的直接目的是解读古典文献，而不是自觉地探索语言自身的规律。因此，语文学
编译原理词法分析程序实现实验报告实验一词法分析程序实现 一、实验内容 选取无符号数的算术四则运算中的各类单词为识别对象，要求将其中的各个单词识别出来。输入:由无符号数和+，,，*，/, ( , ) 构成的算术表达式，如 1.5E+2,100。输出:对识别出的每一单词均单行输出其类别码(无符号数的值暂不要求计算)。二、设计部分 因为需要选取无符号数的算术四则运算中的各类单词为识别对象，要求将其中的各个单词识别出来，而其中的关键则为无符号数的识别，它不仅包括了一般情况下的整数和小数，还有以E为底数的指数运算，其中关于词法分析的无符号数的识别过程流程图如下: 输入字符p指向第一个字符 符号识别*p=+||-||*||/ YYNN*p=0~9*p=E*p=0~9||"." N无效符号Y *p=“.”GOTO 2 GOTO 1 GOTO 1: NY无符号数GOTO 1*p=0~9*p='/0' YN P++NNP++*p=E*p='+'||'-' YY P++P++continue
YY *p=0~9*p=0~9 NN 无符号数无符号数 P++P++ continuecontinue GOTO 2: GOTO 2 *p=Econtinue Y 无符号数 P++ continue 三、源程序代码部分 #include