词法分析

字符串分解出一个个单词来。 单词符号是程序语言的基本语法单位，具有确定的语
法意义。程序语言的单词符号通常可分为下面五种。 7
(1) 保留字(也称基本字)：如C语言中的if、else、while
和do等，这些字保留了语言所规定的含义，是编译程 序识别各类语法成分的依据。几乎所有程序语言都限
制用户使用保留字来作为标识符。
buildlist( ); break; case '+':
41
/*将常数登录到常数表中*/
return (num，num的常数表入口指针);
return('+'，null);
break;
if (character = = '=')
return(relop,LE);
case '−':
return('−'，null); break; case '*': return('*'，null);
(9) error( )：出现非法字符，显示出错信息。
Hale Waihona Puke 37相对于图2-5的词法分析器构造如下： token= ‘ ’; s=getchar( ); /*对token数组初始化*/
getbe( );
switch(s) { case ‘a’: case ‘b’:
/*滤除空格*/
…
case 'z':
38
单词符号的状态转换图（P12） 单词符号 while if else switch case 标识符 常数 种别编码 1 2 3 4 5 6 7 助忆符 while if else switch case id num 内码值 － － － － － id在符号表 中的位置 num在符号 表中的位置 28

词法分析器原理词法分析器（Lexical Analyzer）是编译器中的重要组成部分，用于将输入的源代码分解为一个个词法单元（Token），为语法分析器（Syntax Analyzer）提供分析的基础。

本文将介绍词法分析器的原理和工作流程。

一、概述词法分析器通过扫描源代码字符流，并识别出其中的合法词法单元。

它将源代码转化为一个个标识符、关键字、常数、运算符等基本构件，以供后续阶段进行进一步的处理和分析。

二、工作原理1. 自动机词法分析器通常使用有限自动机（Finite Automaton）来实现。

有限自动机由一系列状态组成，每个状态所接受的输入决定了自动机的状态转移。

利用状态转移规则，自动机可以根据输入字符逐步分析源代码并产生相应的词法单元。

2. 正则表达式为了方便描述词法分析器对输入的词法单元进行匹配，可以使用正则表达式。

正则表达式是一种描述字符模式的工具，它可以定义一类字符串的集合。

词法分析器将正则表达式与状态机相结合，通过模式匹配的方式识别输入字符流中的词法单元。

3. 词法规则词法分析器通过预先定义的词法规则来描述源代码中的不同词法单元。

例如，某个编程语言的词法规则可能包含关键字、标识符、数字、字符串等。

词法规则的定义中常常使用正则表达式来指定某个词法单元的模式。

4. 符号表为了方便后续的语义处理和编译过程，词法分析器通常会维护一个符号表（Symbol Table）。

符号表记录了源代码中出现的标识符、常量等信息，以供后续的语法分析和语义分析使用。

三、工作流程词法分析器的工作流程可以分为以下几个步骤：1. 读取源代码字符流，并初始化状态机。

2. 通过状态转移规则，逐个输入字符进行状态转移，直到达到某个终止状态。

3. 判断当前状态是否为某个词法单元的终止状态，如果是，产生相应的词法单元，并将其记录在符号表中。

4. 继续读取源代码字符流，重复以上过程，直到扫描完整个源代码。

五、总结词法分析器作为编译器的重要组成部分，负责将源代码分解为一个个词法单元，并提供给语法分析器进行进一步的处理。

CLASS VAL 标识符： 1 常整数： 2 实常数： 3
特殊符： n 0
NAMEL CONSL
单词的识别
词法分析的关键之一是如何识别单 词的问题，其中最重要的是标识符的 识别问题。
4.2 单词的描述工具
定义2.1 正则表达式 设Σ为给定字母表,RE表示Σ上正则
表达式之集,则定义： 1.Λ,ε∈RE 2.若a∈Σ,则a∈RE 3.若e1,e2∈RE,则
转换矩阵
a
b
+s0
s1
s2
s1
s3
s2
s2
s1
s3
-s3
s3
s3
状态转换图：
S1
a
a
+ S0
b
a
b
b
S2
可以识别=aa，abaaa等。
a|b S3 -
4.3.2 非确定自动机
定义2.5 NDA 一个非确定自动机(NDA)A是一个五元组
A=(S, ∑,δ,S0,F) S 是状态集{s0,s1,…,sn}(n≥1)。 ∑是字母表{a1,a2,…,an}(n≥1)。 δ是映射:S×∑→S,不要求是单值的 S0 是初始状态集(非空) F 是终止状态集，FS。
等价的DFA
a
a
A
a
C
b
E
S
ba
a
ab b
b
B
b
D
b
aF
总结：
① 对于简单的ε自动机，利用构 造算法消除ε边，然后进行确定化。
② 对于复杂的ε自动机，利用ε 闭包的算法进行处理。
4.3.4 确定自动机的化简
确定自动机的化简的步骤： εDA →NDA →DA →最小化DA

❖ 数字：继续读，直到非数字字符出现或文件尾。输 出无符号整数的单词记号及数字串；
❖ =、＜、＞、！：读下一个字符，判断是否为双字 符分界符，若是，组成双字符分界符，输出类码； 若不是，输出单分界符记号；
编译原理
❖ 非=、＜、＞、/等与双分界符首字符不同的单分界 字符：输出相应单词记号及单分界符。
1.S是一个有穷集，它的每个元素称为一个状态；
2.Σ是一个有穷字母表，它的每个元素称为一个输入 符号，所以也称Σ为输入符号表；
3.δ是在S×Σ→S上的单值映射，即，如δ (s，a)=s’， (s∈S，s’∈S)就意味着，当前状态为s，输入符为 a时，将转换为下一个状态s’，我们把s’称作s的一 个后继状态；
编译原理 在 入 准初带备整•••始的读输读有个时开入始入头穷模，始，状带：控型读位状态：可制由头置态存以器如状的所三处，处放在：果态符识部于表于输输控读正号别分输示初入入制头好组组符带状移是成成号上态动终的：向发到结字后生最状能移变后态被头每有动化一，该转向读穷个则有移后入控符输限到移一 制号入自下动个器后带动一一符控面上机个个号制，状位，状态置读态，
编译原理
词法分析 读字符
结束 Y
结束
N Y 空字
N 字母 N 数字
Y 组合标识符 Y 组合整数
查保留字Βιβλιοθήκη N 纯单分符Y 输出单分符
N
>,<,!,= Y 读字符
=
N
N
/ Y 读字符
*
N
Y
错误处理
输出保留字
Y 保留字
N 输出标识符
组合整数
读字符
Y 输出双分符
输出单分符 N 输出单分符/
注释处理
读字符