当前位置：文档之家 › C语言词法分析器

C语言词法分析器

  • 格式：doc
  • 大小：79.00 KB
  • 文档页数：8

实验任务6：编写词法分析程序 1.实验目的：体会词法分析程序的工作原理和功能 2.实验内容：编写一个词法分析程序，实现的功能是：输入一个C语言程序，经该词法分析程序处理后，输出单词记号序列。 3.实验要求：提交程序清单（包含注释），提交输入一个C语言程序用词法分析程序处理后的运行结果截图以及运行环境配置说明。 4.验收时间：第12周

（1） main主程序图

是 （2） Scan（）函数流程图

Run=1？ 初始化数组 Program[],words[]

提示输入程序字符串 输入并读取程序字符

初始化 处理每个字符 开始

Scan（）函数，分析并返回每个单词的属性

判断并输出每个单词类型属性。

是否结束 结束 初始化数组，标志符 判断并标志是否为关键字

判断并标志为运算符或标点符号

判断并标志为其它类型

Return返回sign数值 五，原程序代码 #include #include int i,j,k,sign,number,flag,run,sum,autuor; /*flag which is use to judge the string is keywords or not!*/ char ch; char words[10] = {" "}; char program[500]; int Scan(char program[]) { char * keywords[39] = { "auto","default","do", "extern","goto", "int","short","static","struct","switch", "typedef","void","break","case","char", "const","continue","double","else", "enum", "float","for","if","long", "register", "return","signed","zhouhong","sizeof","union", "unsigned","volatile","while","main","printf", "scanf","include","define","string" }; number = 0; flag = 0; j = 0; ch = program[i++]; /* To handle the lettle space ands tab*/ while ((ch == ' ') || (ch == '\t') || (ch == '\r')||(ch=='\n')) ch=program[i++]; /* 跳过不理睬 */ /*handle letters*/ if ((ch >= 'a') && (ch <= 'z' )) { while ((ch >= 'a') && (ch <= 'z' )) { words[j++]=ch; ch=program[i++]; } i--; words[j++] = '\0'; for (k = 0; k < 39; k++) if (strcmp (words,keywords[k]) == 0) {sign=k+1;flag=1; if(k==27) autuor=1; break; } if (flag == 0) { sign = 100; /*为关键字*/ } }/* if 是关键字*/ /*handle digits*/ else if ((ch >= '0') && (ch <= '9')) { number = 0; while ((ch >= '0' ) && (ch <= '9' )) { number = number*10+(ch-'0'); ch = program[i++]; } sign = 200; /*为数字*/ i--; } /*opereation and edge handle*/ else switch (ch) { case '=':{ if (ch == '=') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') {words[j++] = ch; words[j] = '\0'; sign= 401; /* = = */ } else { i--; /*退回一个字符*/ sign = 402; /* = */ } break; } case'>':{ if (ch == '>') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') {words[j++] = ch; words[j] = '\0'; sign = 403; /* >= */ } else if(ch=='>') { words[j++] =ch; words[j] ='\0'; sign =419; /* >> */ } else { i--; sign = 404; /* > */ } break; } case'<': {if (ch == '<') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') { words[j++] = ch; words[j] = '\0'; sign = 405; } else if(ch=='<') { words[j++] = ch; words[j] = '\0'; sign = 420; } else { i--; sign = 406; }break; } case'!': {if (ch == '!') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') {words[j++] = ch; words[j] = '\0'; sign= 407; } else {i--; sign= 408; } break; } case'+':{ if (ch == '+') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') { words[j++] = ch; words[j] = '\0'; sign= 409; } else if (ch == '+') { words[j++] = ch; words[j] = '\0'; sign= 410; } else {i--; sign = 411; } break; } case'-': {if (ch == '-') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') { words[j++] = ch; words[j] = '\0'; sign= 412; } else if( ch == '-') { words[j++] = ch; words[j] = '\0'; sign= 413; } /* 负数的情况 */ else if((ch >= '0') && (ch <= '9')) {while( (ch >= '0') && (ch <= '9') ) {words[j++] = ch; ch = program[i++]; } words[j] = '\0'; sign = 1000; /* 标志为1000 */ /* 负数 */ i--; break; } else { i--; sign = 414; }break; } case'*':{ if (ch == '*') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') {words[j++] = ch; words[j] = '\0'; sign = 415; } else { i--; sign = 416; } break; } case'/':{ if (ch == '/') words[j++] = ch; words[j] = '\0'; ch = program[i++]; if (ch == '=') { words[j++] = ch; words[j] = '\0'; sign = 417; } else { i--; sign = 418; } break; } case'^':{ if(ch=='^') words[j++] = ch; words[j] = '\0'; sign =421; break; } case';':{ words[j] = ch; words[j+1] = '\0'; sign = 501; break; } case'(':{ words[j] = ch; words[j+1] = '\0'; sign = 502; break; } case')':{ words[j] = ch; words[j+1] = '\0'; sign = 503; break; } case'[':{ words[j] = ch; words[j+1] = '\0'; sign = 504; break; } case']':{ words[j] = ch; words[j+1] = '\0'; sign = 505; break; } case'{':{ words[j] = ch; words[j+1] = '\0'; sign = 506; break; } case'}':{ words[j] = ch; words[j+1] = '\0'; sign = 507; break; } case':':{ words[j] = ch; words[j+1] = '\0'; sign = 508; break; } case'"':{ words[j] = ch; words[j+1] = '\0'; sign = 509;

合集下载

第2章 词法分析(new)

第2章 词法分析(new)


字符串分解出一个个单词来。 单词符号是程序语言的基本语法单位，具有确定的语
法意义。程序语言的单词符号通常可分为下面五种。 7
(1) 保留字(也称基本字)：如C语言中的if、else、while
和do等，这些字保留了语言所规定的含义，是编译程 序识别各类语法成分的依据。几乎所有程序语言都限
制用户使用保留字来作为标识符。
buildlist( ); break; case '+':
41
/*将常数登录到常数表中*/
return (num，num的常数表入口指针);
return('+'，null);
break;
if (character = = '=')
return(relop,LE);
case '−':
return('−'，null); break; case '*': return('*'，null);
(9) error( )：出现非法字符，显示出错信息。
Hale Waihona Puke 37相对于图2-5的词法分析器构造如下： token= ‘ ’; s=getchar( ); /*对token数组初始化*/
getbe( );
switch(s) { case ‘a’: case ‘b’:
/*滤除空格*/
…
case 'z':
38
单词符号的状态转换图（P12） 单词符号 while if else switch case 标识符 常数 种别编码 1 2 3 4 5 6 7 助忆符 while if else switch case id num 内码值 － － － － － id在符号表 中的位置 num在符号 表中的位置 28
词法分析及其C语言实现

词法分析及其C语言实现

１ １ 词法分析器的功能与输 出 ． 词 法分 析器的输 入是 源程序 ， 可以看作是特定语言所允
或 Ｅ前面的尾 数部 分必须 有数字 ， 面的指 数部 分必 须是 后
整数 。如果程 序中出现 了 Ｅ ５ －５或 １Ｅ ． ， 法分析 器就应 ０ ０５词
该报错。但是 ， 因为词法分析器只是 掌握 了程 序及 其语言的
１ ３ 词法分析器 的实现模式 ．
在编译程序中 ， 词法分 析器可 以有两种 实现 模式 ： 完全 独立模式和相对独立模式 。编译 程序 采用哪种模 式 实现词
法分析器完全取决 于实现者 的总体考虑 。
１ ４ 词法出错处理 ．
它的主要任务是 逐个地扫 描构成源程序的字符流 ， 把它们 翻
杂得多 ， 仅仅在 词法分析阶段 是无法获得一个标识符的所有 信息 的。
收 稿 日期 ：０ ６ １ ２ 修 回 日期 ：０ ７ １ ２ ２ ０ 一ｌ —２ ２ ０ —０ — ２
中单词识别的方法是 ：） 当前字 符是字母 ， 向判断所 １若 则转 要识别的单词是标识符还是关键字 ， 并将结果插 入到单词 二
填写在符号表 中； 同时把源程序 改造成 等价的计算机 内部表
示——单词记号 ， 以便编译 的后续 阶段使用 。 词法分析器所输 出的 中关键 字表 ， 号表 （ ％ｄ的符 。其 符 运 算符 和分界符 ） 预先建好 。
译 成有 意义的单 词序列 ， 提供给语法分析器。
在词法分析阶段发现 的错误统称为词 法错 误 ， 大多 它们
是单词拼写错误 。有些 单词元素 由特定 的规定 也 能发 现错 误 。例如 ， Ｃ＋ ＋语 言 中 ， 在 实型 常量 的指 数 形式 要求 在 ｅ
１ 词 法分 析器 的设 计
第4章词法分析

第4章词法分析


CLASS VAL 标识符： 1 常整数： 2 实常数： 3
特殊符： n 0
NAMEL CONSL
单词的识别
词法分析的关键之一是如何识别单 词的问题，其中最重要的是标识符的 识别问题。
4.2 单词的描述工具
定义2.1 正则表达式 设Σ为给定字母表,RE表示Σ上正则
表达式之集,则定义： 1.Λ,ε∈RE 2.若a∈Σ,则a∈RE 3.若e1,e2∈RE,则
转换矩阵
a
b
+s0
s1
s2
s1
s3
s2
s2
s1
s3
-s3
s3
s3
状态转换图：
S1
a
a
+ S0
b
a
b
b
S2
可以识别=aa，abaaa等。
a|b S3 -
4.3.2 非确定自动机
定义2.5 NDA 一个非确定自动机(NDA)A是一个五元组
A=(S, ∑,δ,S0,F) S 是状态集{s0,s1,…,sn}(n≥1)。 ∑是字母表{a1,a2,…,an}(n≥1)。 δ是映射:S×∑→S,不要求是单值的 S0 是初始状态集(非空) F 是终止状态集，FS。
等价的DFA
a
a
A
a
C
b
E
S
ba
a
ab b
b
B
b
D
b
aF
总结：
① 对于简单的ε自动机，利用构 造算法消除ε边，然后进行确定化。
② 对于复杂的ε自动机，利用ε 闭包的算法进行处理。
4.3.4 确定自动机的化简
确定自动机的化简的步骤： εDA →NDA →DA →最小化DA
词法分析器的实现与设计

词法分析器的实现与设计

题目：词法分析器的设计与实现一、引言................................ 错误!未定义书签。

二、词法分析器的设计 (3)2.1词的内部定义 (3)2.2词法分析器的任务及功能 (3)32.2.2 功能： (4)2.3单词符号对应的种别码： (4)三、词法分析器的实现 (5)3.1主程序示意图： (5)3.2函数定义说明 (6)3.3程序设计实现及功能说明 (6)错误!未定义书签。

77四、词法分析程序的C语言源代码： (7)五、结果分析： (12)摘要：词法分析是中文信息处理中的一项基础性工作。

词法分析结果的好坏将直接影响中文信息处理上层应用的效果。

通过权威的评测和实际应用表明,IRLAS是一个高精度、高质量的、高可靠性的词法分析系统。

众所周知,切分歧义和未登录词识别是中文分词中的两大难点。

理解词法分析在编译程序中的作用，加深对有穷自动机模型的理解，掌握词法分析程序的实现方法和技术，用c语言对一个简单语言的子集编制一个一遍扫描的编译程序，以加深对编译原理的理解,掌握编译程序的实现方法和技术。

Abstract:lexical analysis is a basic task in Chinese information processing. The results of lexical analysis will directly affect the effectiveness of the application of Chinese information processing. The evaluation and practical application show that IRLAS is a high precision, high quality and high reliability lexical analysis system. It is well known that segmentation ambiguity and unknown word recognition are the two major difficulties in Chinese word segmentation. The understanding of lexical analyse the program at compile, deepen of finite automata model for understanding, master lexical analysis program implementation method and technology, using C language subset of a simple language compilation of a scanned again compiler, to deepen to compile the principle solution, master compiler implementation method and technology.关键词：词法分析器?扫描器?单词符号?预处理Keywords: lexical analyzer word symbol pretreatment scanner一、引言运用C语言设计词法分析器，由指定文件读入预分析的源程序，经过词法分析器的分析，将结果写入指定文件。