编译原理实验-词法分析器的设计与实现.docx

编译原理课程设计（一）——词法分析器1、题目编写程序实现一个简易的词法分析器。

2、实验目的对一段程序代码进行词法分析，将程序段中的关键字、标识符、常数、运算符、界符按照一定的种别编码分析出来。

3、环境及工具操作系统：windows XP ；使用工具：Microsoft Visual C++ 6.0； 编程语言：C 语言；4、分析程序输入：从文件中读入程序段；程序输出：由单词种别和单词符号的属性值组成的二元式；单词种别通常使用整数编码，编码方式可以有多种，在设计词法分析器之前应确定一种程序处理起来较方便的编码方式。

当一个种别中含有多个单词符号时，在分析出其属于哪个种别的时候应同时给出其单词符号属性，本程序为方便起见，采用单词符号本身来作为其属性，以标识同种别种的不同单词符号。

标识符及关键字的识别：字母开头的字母和数字组成的串是多数编程语言的标识符，所以我们的简易词法分析器中，将标识符定义为这种字母数字串。

当第一个字母为字母且紧接着的字符为数字或字母时，应将其串接在一起为一个单词，直到紧跟着的不在是字母数字时。

由于关键字通常为一个单词，则这样得到的串可能是标识符也可能是关键字，又因为一种语言的关键字通常是有限个，则我们可以构造一个存放所有关键字的表，查询关键字表，可以判断得到的串是否为关键字。

界符和运算符的识别：它们多为当个字符，建立两个分别存放界符合运算符的表，读取字符后，进行查表便可以得出它们的类型。

为方便词法分析器的设计，可以使用状态转换图，根据一种特定的编程语言先设计出其状态转换图才能更好将其用代码实现。

典型状态转换图结构如下：(a)有不含回路含分支的状态节点：对应if …else if …else …语句；(b)有含回路的状态节点：对应while …if …语句。

（b ）5、状态转换图6、程序框架描述程序中编写了以下函数，各个函数实现的作用如下：1. GetChar()：将下一输入的字符读入到全局变量ch中，搜素指示器前移一个字符的位置。

《编译原理》课程实验报告实验题目：某种简单程序语言的词法分析器的设计与实现专业：计算机科学与技术班级：11060341学号：11060341姓名：实验目的：设计一个词法分析程序，理解词法分析器实现的原理，掌握程序设计语言中的各类单词的词法分析方法，加深对词法分析原理的理解。

实验任务：词法分析是从左向右扫描每行源程序的符号，拼成单词，换成统一的二元式(单词种别，单词符号的属性值)表示。

对给定的程序通过词法分析器识别一个个单词符号，并以二元式(单词种别，单词符号的属性值)显示，本程序则是通过对给定程序段分析后以单词符号和文字提示显示）实验流程：程序清单：#include<iostream>#include<cstdio>#include<cstring>using namespace std;int k=0;struct word{char name[10];int kind;} word[1000];char key[35][10]= {"scanf","short","int","long","float","double","char","struct","union","printf","typedef","const","unsigned","signed","extern","register","static","volatile","void","if","else","switch","case","for","do","while","goto","continue","break","default","sizeof","return","include","bool"};bool cmp(char a[]){int i;for(int k=0; k<35; k++){if(strcmp(a,key[k])==0)return 1;}return 0;}int main(){#ifdef LOCALfreopen("in.txt", "r", stdin);freopen("out.txt", "w", stdout);#endifint p,q,flag;char a[1000],b[10],ch;while(gets(a)){p=0;int len=strlen(a);while(p<len){ch=a[p];memset(b,0,sizeof(b));while(ch==' '){p++;ch=a[p];}if((ch>='a'&&ch<='z')||(ch>='A'&&ch<='Z')||ch=='_'){flag=0;q=0;while((ch>='a'&&ch<='z')||(ch>='A'&&ch<='Z')||ch=='_'||(ch>='0'&&ch<='9')) {if((ch>='0'&&ch<='9')||ch=='_')flag=1;b[q++]=ch;p++;ch=a[p];}if(flag==1){strcpy(word[k].name,b);word[k++].kind=1;}else if(flag==0){if(ch=='\''||ch=='"'){strcpy(word[k].name,b);word[k++].kind=2;}else if(cmp(b)==1){strcpy(word[k].name,b);word[k++].kind=3;}else{strcpy(word[k].name,b);word[k++].kind=1;}}}else if((ch>='0'&&ch<='9')||ch=='-'){if(a[t]>='0'&&a[t]<='9'||a[t]>='a'&&a[t]<='z'||a[t]>='A'&&a[t]<='Z'){p++;ch=a[p];if(ch=='-'||ch=='='){b[0]='-';b[1]=ch;strcpy(word[k].name,b);word[k++].kind=5;ch=a[++p];}else{b[0]='-';strcpy(word[k].name,b);word[k++].kind=5;}}else{q=0;b[q++]=ch;p++;ch=a[p];while((ch>='0'&&ch<='9')||ch=='.'){b[q++]=ch;p++;ch=a[p];}strcpy(word[k].name,b);word[k++].kind=2;}}elseif(ch=='('||ch==')'||ch=='['||ch==']'||ch=='{'||ch=='}'||ch==','||ch==';'||ch==':'||ch=='\''||ch=='"')//ch=='('| |ch==')'||ch=='['||ch==']'||ch=='{'||ch=='}'||{b[0]=ch;strcpy(word[k].name,b);word[k++].kind=4;}else if(ch=='%'||ch=='^'){b[0]=ch;strcpy(word[k].name,b);word[k++].kind=5;ch=a[++p];}else if(ch=='+'){p++;ch=a[p];if(ch=='+'||ch=='='){b[0]='+';b[1]=ch;strcpy(word[k].name,b);word[k++].kind=5;ch=a[++p];}else{b[0]='+';strcpy(word[k].name,b);word[k++].kind=5;}}else if(ch=='*'){p++;ch=a[p];if(ch=='*'||ch=='='){b[0]='*';b[1]=ch;strcpy(word[k].name,b);word[k++].kind=5;ch=a[++p];}else{b[0]='*';strcpy(word[k].name,b);word[k++].kind=5;}}else if(ch=='/'){p++;ch=a[p];if(ch=='/'||ch=='='){b[0]='/';b[1]=ch;strcpy(word[k].name,b);word[k++].kind=5;ch=a[++p];}else{b[0]='/';strcpy(word[k].name,b);word[k++].kind=5;}}else if(ch=='='){p++;ch=a[p];if(ch=='='){b[0]=b[1]='=';strcpy(word[k].name,b);word[k++].kind=5;ch=a[++p];}else{b[0]='=';strcpy(word[k].name,b);word[k++].kind=5;}}else if(ch=='>'){p++;ch=a[p];if(ch=='>'||ch=='='){b[0]='>';b[1]=ch;strcpy(word[k].name,b);word[k++].kind=5;ch=a[++p];}else{b[0]='>';strcpy(word[k].name,b);word[k++].kind=5;}}else if(ch=='<'){p++;ch=a[p];if(ch=='<'||ch=='='){b[0]='<';b[1]=ch;strcpy(word[k].name,b);word[k++].kind=5;ch=a[++p];}else{b[0]='<';strcpy(word[k].name,b);word[k++].kind=5;}}else if(ch=='!'){p++;ch=a[p];if(ch=='='){b[0]='!';b[1]='=';strcpy(word[k].name,b);word[k++].kind=5;ch=a[++p];}else{b[0]='!';strcpy(word[k].name,b);word[k++].kind=5;}}else if(ch=='&'){p++;ch=a[p];if(ch=='&'){b[0]=b[1]='&';strcpy(word[k].name,b);word[k++].kind=5;ch=a[++p];}else{b[0]='&';strcpy(word[k].name,b);word[k++].kind=5;}}else if(ch=='|'){p++;ch=a[p];if(ch=='|'){b[0]=b[1]='|';strcpy(word[k].name,b);word[k++].kind=5;ch=a[++p];}else{b[0]='|';strcpy(word[k].name,b);word[k++].kind=5;}}}}for(int i=0; i<k; i++){switch(word[i].kind){case 1:{printf("(标识符,");break;}case 2:{printf("(常量,");break;}case 3:{printf("(关键字,");break;}case 4:{printf("(界符,");break;}case 5:{printf("(运算符,");break;}}printf("%s)\n",word[i].name); }int a1=0,a2=0,a3=0,a4=0,a5=0; for(int i=0;i<k;i++){if(word[i].kind==1)a1++;else if(word[i].kind==2)a2++;else if(word[i].kind==3)a3++;else if(word[i].kind==4)a4++;else if(word[i].kind==5)a5++;}printf("标识符：%d\n常量：%d\n关键字：%d\n界符：%d\n运算符：%d\n",a1,a2,a3,a4,a5);return 0;}运行结果：。

一、实验目的和要求：设计并实现一个PL/0语言(或其它语言,如C语言)的词法分析程序，加深对词法分析原理的理解。

二、实验原理：词法分析是从左向右扫描每行源程序的符号，拼成单词，换成统一的机内表示形式——TOKEN字，送给语法分析程序。

TOKEN字是一个二元式：（单词种别码，自身值）。

PL/0语言单词的种别码参见教材（或自行设定），单词自身值按如下规则给出：1 标识符的自身值是它在符号表的入口地址。

2常数的自身值是常数本身（或它的二进制数值）。

3关键字和界限符的自身值为本身。

三、实验步骤与要求1、设计的词法分析器符合软件工程的要求。

2、编制程序,此程序应具有如下功能:1）输入:字符串(待进行词法分析的源程序),输出:由(种别码,自身值)所组成的二元组序列。

2）功能:a.滤空格b.识别保留字c.识别标识符d.拼数e.拼复合单词: 例如：>=、 <=、 :=3）检查如下错误：a.程序语言的字符集以外的非法字符b.单词拼错,如9A88,而对于将begin拼写成begon的错误,只须把begon当成标识符即可3、请指导教师检查程序和运行结果，评定成绩。

4、撰写并上交实验报告。

四、试验设计和算法分析：实验原理：程序流程：置初值→调用扫描子程序→输出串结束→输出单词二元组→是→否→结束词法分析主程序示意图待分析的简单语言的词法(1) 关键字：begin if then while do end所有关键字都是小写。

（2）运算符和界符：：= + - * / < > <= <> >= ; ( ) #(3)：其他单词是标识符（ID）和整型常数（NUM），通过以下正规式定义：ID=letter(letter | digit)*NUM=digit digit*(4)空格由空白、制表符和换行符组成。

空格一般用来分隔ID、NUM、运算符、界符和关键字，词法分析阶段通常被忽略。

、设计的词法分析器符合软件工程的要求。

数学与信息工程学院《编译原理》实验报告一实验名称：词法分析实验室：班级：姓名：学号：词法分析器的设计一、实验目的通过完成词法分析程序，了解词法分析的过程。

编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。

并依次输出各个单词的内部编码及单词符号自身值。

二、实验环境操作系统：window xp编写环境：visual c++ 、c-free、turbo c编写语言：c语言分析语言：PL/0三、实验内容对PL/0语言进行词法分析，把输入的字符串形式的源程序分割成一个个单词符号，其词法描述如下：（1）关键字：begin，call，const，do，end，if，odd，procedure，read，then，var，while，write（2）标识符：用来表示各种名字，必须以字母开头小于10位字符组成（3）数字：以0-9组成小于14位的数字（4）运算符：+，-，*，/，:=，<，<=，>，>=（5）界符：,，.，;，#表1 各种单词符号对应类型表单词符号类型+ plus- minus* times/ slash( lparen) rparen= eql, comma. perio# neq; semicolonbegin beginsymcall callsymconst constsymdo dosymend endsymif ifsym odd oddsym procedure proceduresym read readsym then thensym var varsym while whilesym write writesymNNY Y开始调用GETSYM 取单词输入要分析的文件文件是否存在文件是否结束结束打印分析结果图1 主流程图YNNNNNYY YYGETSYM滤空CH=空?GETCHCH 是字母?K:=0K<10?K:=K+1 A[K]:=CHGETCHCH 是字母或数字?ID:=AID 是否是保留字?SYM:=IDENT相应保留字类别送SYM返回CH 是数字?拼数，将拼数后的值送NUM SYM:=SYM把该字符转换成对应单词，或拼复合单词，将其类别送SYM 中图2 GETSYM 流程图N YGETSYM 函数功能：（1） 滤空格 空格在词法分析时是一种不可缺少的界符，而在语法分析时则是无用的，所以必须过滤（2） 识别保留字 主程序定义了一个以字符为元素的一维数组WORD ，称保留字表。

编译原理实验（一）——词法分析器一．实验描述运行环境：vc++2008对某特定语言A ，构造其词法规则。

该语言的单词符号包括：12状态转换图3程序流程：词法分析作成一个子程序，由另一个主程序调用，每次调用返回一个单词对应的二元组，输出标识符表、常数表由主程序来完成。

二．实验目的通过动手实践，使学生对构造编译系统的基本理论、编译程序的基本结构有更为深入的理解和掌握；使学生掌握编译程序设计的基本方法和步骤；能够设计实现编译系统的重要环节。

同时增强编写和调试程序的能力。

三．实验任务编制程序实现要求的功能，并能完成对测试样例程序的分析。

四．实验原理char set[1000],str[500],strtaken[20];//set[]存储代码,strtaken[]存储当前字符char sign[50][10],constant[50][10];//存储标识符和常量定义了一个Analyzer类class Analyzer{public:Analyzer(); //构造函数 ~Analyzer(); //析构函数int IsLetter(char ch); //判断是否是字母，是则返回 1，否则返回 0。

int IsDigit(char ch); //判断是否为数字，是则返回 1，否则返回 0。

void GetChar(char *ch); //将下一个输入字符读到ch中。

void GetBC(char *ch); //检查ch中的字符是否为空白，若是，则调用GetChar直至ch进入一个非空白字符。

void Concat(char *strTaken, char *ch); //将ch中的字符连接到strToken之后。

int Reserve(char *strTaken); //对strTaken中的字符串查找保留字表，若是一个保留字返回它的数码，否则返回0。

void Retract(char *ch) ; //将搜索指针器回调一个字符位置，将ch置为空白字符。

(完整word版)编译原理词法分析程序实现实验报告实验一词法分析程序实现一、实验内容选取无符号数的算术四则运算中的各类单词为识别对象，要求将其中的各个单词识别出来。

输入：由无符号数和+，－，*，/, ( , ) 构成的算术表达式，如1.5E+2－100。

输出：对识别出的每一单词均单行输出其类别码（无符号数的值暂不要求计算）。

二、设计部分因为需要选取无符号数的算术四则运算中的各类单词为识别对象，要求将其中的各个单词识别出来，而其中的关键则为无符号数的识别，它不仅包括了一般情况下的整数和小数，还有以E为底数的指数运算，其中关于词法分析的无符号数的识别过程流程图如下：GOTO 1:(完整word版)编译原理词法分析程序实现实验报告GOTO 2:三、源程序代码部分#include <stdio.h>#include<stdlib.h>#include <math.h>#define MAX 100#define UNSIGNEDNUMBER 1#define PLUS 2#define SUBTRACT 3#define MULTIPLY 4#define DIVIDE 5#define LEFTBRACKET 6#define RIGHTBRACKET 7#define INEFFICACIOUSLABEL 8#define FINISH 111int count=0;int Class;void StoreType();int Type[100];char Store[20]={'\0'};void ShowStrFile();//已经将要识别的字符串存在文件a中void Output(int a,char *p1,char *p2);//字符的输出过程int Sign(char *p);//'+''-''*''/'整体识别过程int UnsignedNum(char *p);//是否适合合法的正整数0~9int LegalCharacter(char *p);//是否是合法的字符：Sign(p)||UnsignedNum(p)||'E'||'.' void DistinguishSign(char *p);//'+''-''*''/'具体识别过程void TypyDistinguish();//字符的识别过程void ShowType();//将类别码存储在Type[100]中，为语法分析做准备void ShowStrFile()//已经将要识别的字符串存在文件a中{FILE *fp_s;char ch;if((fp_s=fopen("a.txt","r"))==NULL){printf("The FILE cannot open!");exit(0);}elsech=fgetc(fp_s);while(ch!=EOF){putchar(ch);ch=fgetc(fp_s);}printf("\n");}void StoreStr()//将文件中的字符串存储到数组Store[i] {FILE *fp=fopen("a.txt","r");char str;int i=0;while(!feof(fp)){fscanf(fp,"%c",&str);if(str=='?'){Store[i]='\0';break;}Store[i]=str;i++;}Store[i]='\0';}void ShowStore(){int i;for (i=0;Store[i]!='\0';i++)printf("%c",Store[i]);printf("\n");}void Output(int a,char *p1,char *p2){printf("%3s\t%d\t%s\t","CLASS",a,"VALUE");while(p1<=p2){printf("%c",*p1);p1++;}printf("\n");}int Sign(char *p){char ch=*p;if(ch=='+'||ch=='-'||ch=='*'||ch=='/'||ch=='('||ch==')') return 1;elsereturn 0;}int UnsignedNum(char *p){char ch=*p;if('0'<=ch&&ch<='9')return 1;elsereturn 0;}int LegalCharacter(char *p){char ch=*p;if(Sign(p)||UnsignedNum(p)||ch=='E'||ch=='.')。

编译原理实验—词法分析器一、实验目的通过动手实践，使学生对构造编译系统的基本理论、编译程序的基本结构有更为深入的理解和掌握；使学生掌握编译程序设计的基本方法和步骤；能够设计实现编译系统的重要环节。

同时增强编写和调试程序的能力。

二、实验内容及要求对某特定语言A ，构造其词法规则。

该语言的单词符号包括：保留字(见左下表)、标识符（字母大小写不敏感）、整型常数、界符及运算符(见右下表) 。

功能要求如下所示：·按单词符号出现的顺序，返回二元组序列，并输出。

·出现的标识符存放在标识符表，整型常数存放在常数表，并输出这两个表格。

·如果出现词法错误，报出：错误类型，位置（行，列）。

·处理段注释（/* */），行注释（//）。

·有段注释时仍可以正确指出词法错误位置（行，列）。

三、实验过程1、词法形式化描述使用正则文法进行描述，则可以得到如下的正规式:其中ID表示标识符，NUM表示整型常量，RES表示保留字，DEL表示界符，OPR表示运算符。

A→(ID | NUM | RES | DEL | OPR) *ID→letter(letter | didit)*NUM→digit digit*letter→a | … | z | A | … | Zdigit→ 0 | … | 9RES→ program | begin | end | var | int | and | or | not | if | then | else | while | doDEL→( | ) | . | ; | ,OPR→+ | * | := | > | < | = | >= | <= | <>如果关键字、标识符和常数之间没有确定的算符或界符作间隔，则至少用一个空格作间隔。

空格由空白、制表符和换行符组成。

2、单词种别定义；A语言中的单词符号及其对应的种别编码如下表所示：单词符号种别编码单词符号种别编码3、状态转换图；语言A的词法分析的状态转换图如下所示：空格符，制表符或回车符字母或数字4、java旗舰版5、关键算法的流程图及文字解释；程序中用到的函数列表：A类定义各种类函数以及包含主函数public static void main（）变量ch储存当前最新读进的字符的地址strToken存放当前字符串main（） //主函数Analysis（）//分析函数，每次读入一行文件，进行识别处理；char GetChar(); //取得当前位置的字符的内容放入ch，并提前指向下一个字符；char GetNextChar（）；//取得当前位置的下一位置的字符，String ConCat(); //将ch指向的字符连接到strToken后面isLetter(); //判断ch指向的字符是否字母isDigit(); //判断ch指向的字符是否数字add（p，str）; //向p表中插入当前strToken的字符串Boolean findKeyWord(str); //检测当前strToken中的字符串是否保留字,若是,则执行getKeyWordKey（str），返回保留字的id，否则，判别其是否是已存在的标示符，若是，返回标示符的id以及该标示符在表中的位置；findPunctuation（）//判断是否是一个保留的符号；getindex（） //返回已经识别的标示符或者是数字的位置下标；Boolean exist(); //检测当前strToken中的字符串是否在标识符表中已存在,若是,则返回true,否则返回falsevoid callError(); //出错处理过程,将错误的位置报告出来（1）main（）函数的流程图如下:）具体分析流程图：开始类初始化，变量的初始化，准备执行main（）函数调用Analyse（）函数分析输出结果表结束Analyse（str）函数读取第一个字符赋给变量Ch继续判读IndexoutofBound6、测试报告（测试用例，测试结果）；首先输入一个不含错误的程序（两种注释）进行检测：运行后在控制台上得到的结果如下所示：得到的二元组序列如下：经检验，输出的是正确的二元组序列。

编译原理词法分析程序设计实验报【实验目的】1．了解词法分析的主要任务。

2．熟悉编译程序的编制。

【实验内容】根据某文法，构造一基本词法分析程序。

找出该语言的关键字、标识符、整数以及其他一些特殊符号，给出单词的种类和值。

【实验要求】1. 构造一个小语言的文法类 C 小语言文法（以EBNF 表示）＜程序＞：：=＜分程序＞{＜分程序＞} .＜分程序＞：：=＜标识符＞' （变'＜量说明部分＞{,＜变量说明部分＞} ' ）函'数＜体＞V变量说明部分＞：：=int＜标识符＞{,＜标识符＞}＜函数体＞：：=' { '变[量＜说明部分＞;]＜语句序列＞'}'V语句序列＞：：=V语句序列＞;V语句＞∣v语句＞V语句＞：：=V赋值语句＞|＜条件语句＞∣v循环语句＞∣v函数调用语句＞V赋值语句＞：：=V标识符＞=v表达式＞V表达式＞::=[+∣-]v项＞{v加法运算符＞V项＞}V项＞：：=V因子＞{v乘法运算符＞v因子＞}V因子＞：=V标识符＞∣v无符号整数＞V加法运算符＞：：=+1-V乘法运算符＞：：=*|/V条件语句＞：：=ifv条件＞'{语句序列＞'}' [else语句序列＞'}']V条件＞：：=V表达式＞v关系运算符＞v表达式＞V关系运算符＞：：===∣!=∣＞∣v∣＞=∣v=V循环语句＞：：=for '表达式＞;V条件＞;V表达式＞'）” {语句序列＞'}'＜函数调用语句＞：：=＜标识符＞' (标'识＜符＞{,＜标识符＞}|＜空＞' ) '＜标识符＞：：=＜字母＞{＜字母＞|＜数字＞}＜无符号整数＞：：=＜数字＞{＜数字＞}V字母＞：：=a∣b∣c∣…IXlYlZV数字＞::=0∣1∣2∣…|8|9单词分类情况关键字：int if else for标识符：以字母开头的字母和数字的组合关系运算符：==∣!=∣＞∣V∣＞=∣V=加法运算符：+∣-乘法运算符：*|/界符：，；{ }()2. 设计单词的输出形式，单词的种类和值的表示方法种别码单词值如：1 int3. 编写词法分析程序cffx.c实现基本的词法分析器，能够分析关键字、标识符、数字、运算符(需要有“ ==”或之类需要超前搜索的运算符)以及其他一些符号。

编译原理实验-词法分析器⼀、实验⽬的设计、编制、调试⼀个词法分析程序，对单词进⾏识别和编码，加深对词法分析原理的理解。

⼆、实验内容1.选定语⾔，编辑任意的源程序保存在⽂件中；2.对⽂件中的代码预处理，删除制表符、回车符、换⾏符、注释、多余的空格并将预处理后的代码保存在⽂件中；3.扫描处理后的源程序，分离各个单词符号，显⽰分离的单词类型。

三、实验思路对于实验内容1，选择编写c语⾔的源程序存放在code.txt中，设计⼀个c语⾔的词法分析器，主要包含三部分，⼀部分是预处理函数，第⼆部分是扫描判断单词类型的函数，第三部分是主函数，调⽤其它函数；对于实验内容2，主要实现在预处理函数processor()中，使⽤⽂档操作函数打开源程序⽂件(code.txt)，去除两种类型（“//”,“/*…*/”）的注释、多余的空格合并为⼀个、换⾏符、回车符等，然后将处理后的保存在另⼀个新的⽂件(afterdel.txt)中，最后关闭⽂档。

对于实验内容3，打开处理后的⽂件，然后调⽤扫描函数，从⽂件⾥读取⼀个单词调⽤判断单词类型的函数与之前建⽴的符号表进⾏对⽐判断，最后格式化输出。

四、编码设计代码参考了两篇博主的，做了部分改动，添加了预处理函数等1 #include<iostream>2 #include<fstream>3 #include<cstdio>4 #include<cstring>5 #include<string>6 #include<cstdlib>78using namespace std;910int aa;// fseek的时候⽤来接着的11string word="";12string reserved_word[20];//保留13char buffer;//每次读进来的⼀个字符14int num=0;//每个单词中当前字符的位置15int line=1; //⾏数16int row=1; //列数，就是每⾏的第⼏个17bool flag; //⽂件是否结束了18int flag2;//单词的类型192021//预处理函数22int processor(){//预处理函数23 FILE *p;24int falg = 0,len,i=0,j=0;25char str[1000],str1[1000],c;26if((p=fopen("code.txt","rt"))==NULL){27 printf("⽆法打开要编译的源程序");28return0;29 }30else{31//fgets(str,1000,p);32while((c=getc(p))!=EOF){33 str[i++] = c;34 }35 fclose(p);36 str[i] = '\0';37for(i=0;i<strlen(str);i++){38if(str[i]=='/'&&str[i+1]=='/'){39while(str[i++]!='\n'){}40 }//单⾏注释41else if(str[i]=='/'&&str[i+1]=='*'){42while(!(str[i]=='*'&&str[i+1]=='/')){i++;}43 i+=2;44 }//多⾏注释45else if(str[i]==''&&str[i+1]==''){46while(str[i]==''){i++;}47 i--;48if(str1[j-1]!='')49 str1[j++]='';50 }//多个空格，去除空格51else if(str[i]=='\n') {52if(str1[j-1]!='')53 str1[j++]='';54 }//换⾏处理，55else if(str[i]==9){56while(str[i]==9){57 i++;58 }59if(str1[j-1]!='')60 str1[j++]='';61 i--;62 }//tab键处理63else str1[j++] = str[i];//其他字符处理64 }65 str1[j] = '\0';66if((p = fopen("afterdel.txt","w"))==NULL){ 67 printf("can not find it!");68return0;69 }70else{71if(fputs(str1,p)!=0){72 printf("预处理失败！");73 }74else printf("预处理成功！");75 }76 fclose(p);77 }78return0;79 }8081//设置保留字82void set_reserve()83 {84 reserved_word[1]="return";85 reserved_word[2]="def";86 reserved_word[3]="if";87 reserved_word[4]="else";88 reserved_word[5]="while";89 reserved_word[6]="return";90 reserved_word[7]="char";91 reserved_word[8]="for";92 reserved_word[9]="and";93 reserved_word[10]="or";94 reserved_word[11]="int";95 reserved_word[12]="bool";96 }9798//看这个字是不是字母99bool judge_word(char x)100 {101if(x>='a' && x<='z' || x>='A' && x<='Z' ){ 102return true;103 }104else return false;105 }106107//看这个字是不是数字108bool judge_number(char x)109 {110if(x>='0' && x<='9'){111return true;112 }113else return false;114 }115116//看这个字符是不是界符117bool judge_jiefu(char x)118 {119if(x=='('||x==')'||x==','||x==';'||x=='{'||x=='}'){ 120return true;121 }122else return false;123 }124125126//加减乘127bool judge_yunsuanfu1(char x)128 {129if(x=='+'||x=='-'||x=='*')130 {131return true;132 }133else return false;134 }135136//等于赋值，⼤于⼩于⼤于等于，⼩于等于，⼤于⼩于137bool judge_yunsuannfu2(char x)138 {139if(x=='='|| x=='>'||x=='<'||x=='&'||x=='||'){140return true;141 }142else return false;143 }144145146//这个最⼤的函数的总体作⽤是从⽂件⾥读⼀个单词147int scan(FILE *fp)148 {149 buffer=fgetc(fp);//读取⼀个字符150if(feof(fp)){//检测结束符151 flag=0;return0;152 }153else if(buffer=='')154 {155 row++;156return0;157 }158else if(buffer=='\n')159 {160 row=1;161return0;162 }163//如果是字母开头或'_' 看关键字还是普通单词164else if(judge_word(buffer) || buffer=='_')165 {166 word+=buffer;167 row++;168while((buffer=fgetc(fp)) && (judge_word(buffer) || judge_number(buffer) || buffer=='_'))169 {170 word+=buffer;171 row++;172 }173if(feof(fp)){174 flag=0;175return1;176 }177for(int i=1;i<=12;i++){178if(word==reserved_word[i]){179 aa=fseek(fp,-1,SEEK_CUR);//如果执⾏成功，stream将指向以fromwhere为基准，偏移offset（指针偏移量）个字节的位置，函数返回0。

实验2 词法分析程序的设计一、实验目的掌握计算机语言的词法分析程序的开发方法。

二、实验内容编制一个能够分析三种整数、标识符、主要运算符和主要关键字的词法分析程序。

三、实验要求1、根据以下的正规式，编制正规文法，画出状态图；标识符<字母>(<字母>|<数字字符>)*十进制整数0 | (（1|2|3|4|5|6|7|8|9）（0|1|2|3|4|5|6|7|8|9）*)八进制整数0（1|2|3|4|5|6|7）（0|1|2|3|4|5|6|7）*十六进制整数0x（0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f）（0|1|2|3|4|5|6|7|8|9|a|b|c|d|e|f）*运算符和界符+ - * / > < = ( ) ；关键字if then else while do2、根据状态图，设计词法分析函数int scan( )，完成以下功能：1）从文本文件中读入测试源代码，根据状态转换图，分析出一个单词，2）以二元式形式输出单词<单词种类，单词属性>其中单词种类用整数表示：0：标识符1：十进制整数2：八进制整数3：十六进制整数运算符和界符，关键字采用一字一符，不编码其中单词属性表示如下：标识符，整数由于采用一类一符，属性用单词表示运算符和界符，关键字采用一字一符，属性为空3、编写测试程序，反复调用函数scan( )，输出单词种别和属性。

四、实验环境PC微机DOS操作系统或Windows 操作系统Turbo C 程序集成环境或Visual C++ 程序集成环境五、实验步骤1、根据正规式，画出状态转换图；2、根据状态图，设计词法分析算法；观察状态图，其中状态2、4、7、10（右上角打了星号）需要回调一个字符。

声明一些变量和函数：ch: 字符变量，存放最新读进的源程序字符。

strToken: 字符串变量，存放构成单词符号的字符串。

编译原理_词法分析器实验报告一．实验题目和要求。

题目：设计PL / 0语言的词法分析器。

要求：单词（关键字）;begin end if then else while write read docall const var procedure repeat until运算符：+ - * / := = <>(#) < <= > >=界符：， . ； ( )标识符：字母打头的字母数字串，长度不超过10.常数：整数，所含数字的个数不超过14.返回单词形式：二元式（种别，属性值）二．实验平台。

PC机： Windows XP操作系统编程环境： Turbo C 2.0编程语言： C语言三．实验算法说明。

定义2个全局变量char ch和char strtoken分别用来存放最新读入的源程序字符和构成单词符号的字符串。

然后用各个子函数的功能和读文件内容的操作，实现对源程序的词法分析，分别进行关键字，标识符，常数，运算符和界符的分析确认，然后将对应的二元式结果输出。

首先用户输入要读文件的名称，然后程序会把文件的内容读到定义的够大的字符数组str（相当于词法分析的一个缓冲区）里，然后开始从str里一个一个的读出字符并放在专门用来暂时存放单词数组strtoken里进行词法分析，若符合语言的规则，则打印出相关的说明信息，即该字符或字符串的二元式信息，可以清楚的明白该字符的种别和属性值。

如果读入的字符或字符串是非法的，即不是语法规定或是没有意义的字符或字符串，程序会提示相关的错误信息并进行一定四．程序子函数功能说明。

1.void getChar( ) 将下一个输入字符读到ch中，搜索指示器前移一个字符的位置。

2. void getBc( ) 检查ch中的字符是否为空白，若是，则调用getChar( )，直到ch中进入一个非空的字符。

3.void retract( ) 将搜索指示器回调一个字符位置，将ch置为空白字符。

编译原理实验报告姓名：关海超学号：200807010209专业：计算机科学与技术班级：08—02班一、实验目的通过设计调试词法分析程序，实现从源程序中分出各种单词的方法；加深对课堂教学的理解；提高词法分析方法的实践能力。

二、词法分析器的实现1、词法分析过程的考虑词法分析器的任务是将程序源代码看做一个字符串，只需从中分离出一个个具有独立意义的单词（包括标识符，符号和常量）即可，而无需考虑其在上下文环境中的正确性。

基于此认识，词法分析的过程可如下描述：本程序中用户源程序存储在文件“E:\prog.txt”文件中，程序首先调用readFromFile()函数将源程序代码从文件中读出，放到数组中暂存，然后主函数调用scaner()函数对其进行逐个扫描，分离出的每个独立单词进行分类判断，构成二元组形式，再将其输出的文件“E:\result.txt”中进行保存。

2、各种单词符号对应的种别码0 标识符21 ret 42 ++ 63 ||1 整型常量22 sho 43 -- 64 ?:2 auto 23 sig 44 - 65 =3 brea 24 siz 45 * 66 +=4 case 25 sta 46 & 67 -=5 char 26 str 47 / 68 *=6 cons 27 swi 48 % 69 /=7 cont 28 typ 49 + 70 %=8 defa 29 uni 50 - 71 >>=9 do 30 uns 51 << 72 <<=10 dou 31 voi 52 >> 73 &=11 els 32 vol 53 < 74 ^=12 enu 33 whi 54 <= 75 |=13 ext 34 ( 55 > 76 ,14 flo 35 ) 56 >= 77 '15 for 36 [ 57 == 78 ;16 got 37 ] 58 != 79 :17 if 38 -> 59 & 80 \{18 int 39 . 60 ^ 81 }19 lon 40 ! 61 | 82 //20 reg 41 ~ 62 &&3、关键数据结构的描述计数器count：将二元组写入文件时通过count判断是否是首次写入，若是则清空文件，否则追加写入；字符串常量endStr：其值为“end”，在分析判断每一单词的种类时，该字符串作为rwtab表的结束标志；数组prog[200]：暂存从文件中读取的源程序代码，该词法分析器约定源代码长度不超过199；数组token[20]：暂存每次分离出的单个具有独立意义的单词，该词法分析器约定每个单词的长度不超过19；结构体result：存放一个单词的种别码和单词本身的值，在写入文件时以结构体中的元素为单位依次写入；4、程序结构的描述本程序采用结构化设计方法，共有两个文件，六个模块，分别介绍如下：rwtab.h文件包含一个模块，即各种单词符号对应的种别码，作为外部文件被main.cpp文件引用。

洛阳理工学院实验报告}a[l] = '#';do{m = wordanalysis();switch (m){case -1:i++; break;case 0: i++; break;case 3: i++; break;}} while (m != 0);fclose(fin);fclose(fout);printf("\n--------词法分析执行完毕--------\n");_getch();return 0;}4.上机调试时发现的问题，以及解决的过程:1）文件读取错误。

运行程序后，输入文件路径后，显示“打开词法分析输入文件有错”。

解决：我看了下程序，没发现什么明显错误，然后看了文件名111.txt，也是对的，点开文件属性，发现文件名显示的是111.txt.txt，意识到机房电脑默认没显示后缀，自己起名字的时候多加了一个.txt；2）运行过程中强行停止。

解决：检查了一下程序，发现关键字表数组下标溢出，后来改了循环的条件。

3）运行不能正常停止。

解决：MS-DOS命令窗口未关闭的时候，检查输出文件是否存在，发现存在但是打开为空，然后关闭运行窗口后再打开发现输出结果已经写入了文件，只是没有执行fclose()所以打开后看不到内容。

4）某些关键字被作为标识符输出。

解决：检查程序发现关键字表不够完整，所以不能输出不存在于关键字表中的种别码，然后完善了关键字表。

5）单词、数字、符号重复出现时，序号不一致。

解决：增加了一个标识符表、数字表以及符号表，判断过词性时，先判断一下是否存在于其词性表中，然后在输出。

5.所使用的测试数据及结果：5.1测试数据：5.2运行效果5.3输出结果实验总结：通过这次实验，我利用C语言做出了词性分析的程序，理解了该知识点以及学科之间的融合渗透，全面系统的理解了词性分析的具体过程。

把死板的课本知识变得生动有趣，激发了学习的积极性。

我学会了遇到问题独立思考，增强了自己整体的学习能力，把学过的计算机编译原理和C语言的知识强化，能够把课堂上学的知识通过自己设计的程序表示出来，加深了对理论知识的理解。

集美大学计算机工程学院实验报告课程名称：编译原理班级：指导教师：姓名：实验项目编号:实验一学号：实验项目名称:词法分析器的设计实验成绩:一、实验目的通过设计编制调试一个具体的词法分析程序,加深对词法分析原理的理解．并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。

二、实验内容编写一个词法分析器,从输入的源程序（编写的语言为C语言的一个子集)中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类.并依次输出各个单词的内部编码及单词符号自身值.(遇到错误时可显示“Errｏr”，然后跳过错误部分继续显示)三、实验要求1、词法分析器的功能和输出格式词法分析器的功能是输入源程序，输出单词符号。

词法分析器的单词符2词的类型，将标识符和常量分别插入到相应的符号表中,增加错误处理等。

3、编程语言不限。

四、实验设计方案1、数据字典本实验用到的数据字典如下表所示：3、实验程序#ｉnclｕde〈ｓｔdio.h〉#iｎcludｅ〈ｓtrｉng.h〉#ｉnｃludｅ〈ctypｅ.h〉#ｉnclude〈ｗindows。

h>//判断读入的字符是否为字母booｌｉsLetｔeｒ(ｃhar c）｛iｆ(（c >= 'a’＆＆c〈= 'z’) || (ｃ＞= 'A’ && c 〈= ’Z’）)｛ﻩreturn true;ﻩ}ﻩelsｅﻩrｅturn faｌse;｝/／判断读入的字符是否为数字ｂoｏl isＤｉgit(chaｒc）{if(c >=’0＇＆& c ＜= ＇9’){ﻩﻩrｅｔuｒn trｕe;}ﻩelsereturnｆaｌsｅ；}//判断是否为关键字boｏl isＫｅy(ｃhar *strｉｎg）｛ﻩiｆ（!ｓtrｃｍp(ｓｔrｉng，"void”）|| !ｓtrcｍｐ(strｉng,”iｆ")｜| ！s ｔrcmｐ(strinｇ,”foｒ”)｜｜!sｔrcmp(string，＂whiｌe")ﻩﻩﻩ｜｜！ｓtrcmｐ(striｎg,"dｏ”)｜| !strcｍｐ(striｎg,"ｒeturn＂)|| !stｒcmｐ(ｓtrｉnｇ,”brｅａk”)ﻩﻩ|| !stｒcmp（sｔrｉnｇ,”main”)|| !strcmp(striｎg,＂inｔ”)｜|!ｓtrcm ｐ(ｓｔrinｇ,”flｏat”）｜| !strcｍp(stｒing,”cｈaｒ")ﻩﻩ｜| ！stｒｃｍp(strinｇ,”douｂｌｅ”)|｜！strcmp(string，"Sｔring”)) ﻩ｛rｅtuｒn tｒuｅ；｝ﻩｅlse return faｌｓe；}bool isError（chａr ch){if(ch == ’@' |｜ch =＝’＄’｜｜ch ＝= ’&' || cｈ== '#' ｜| ｃh == ’~’ || ｃh =＝’^＇）ﻩ｛ﻩretｕrｎｔruｅ；｝eｌsｅﻩreturn ｆａlｓｅ；｝void ｍaｉn(){ｃhaｒsｔriｎg[５00］=＂";/／存放文件中读出来的字符串chａr str[10]=””;//存放需要对比的字符串chａr ｃh,ｃ;//ｃh存放文件中的单个字符（翻译时用），c存放文件中的单个字符(从文件中提取信息时用)char fｉleｎame［20］;／／文件名ﻩiｎｔｊ=0；prｉnｔｆ（"请输入文件名进行词法翻译:”)；ﻩｓcａｎｆ(”%s”，ｆiｌeｎame）;ﻩFILＥ＊cfPｔr；if(（cfPtr＝fopeｎ（fｉlｅnaｍe,”r"））＝=NULL)ﻩprintf(”文件未找到!"）;ﻩelse｛ﻩﻩｗｈile（！fｅｏf（cfPtｒ)）{ﻩｉf(iｓspace（c=ｆgetc（cfPtr）)）{//判断是否是字符串ﻩ;ﻩ}elｓe｛ﻩstring[ｊ］=ｃ;／/从文件中一一提取字符ﻩﻩﻩj++;ﻩ}ﻩ}ﻩ}iｎt m=0,ｋ=0;／/m翻译时用，k是str数组的下标sｔrinｇ[j]＝’ ';ﻩｊ＋＋；ｂool cｈeck=true,error=ｆalse;//用于判断标识ﻩfｏr（int i ＝0；i 〈ｊ;i+＋){/／实现语法翻译器ﻩﻩswｉtch (m)ﻩﻩ{ﻩcase 0：ﻩch ＝sｔｒinｇ[i］；ﻩｉf(ch ＝= ’+' || ch ＝='－’｜｜ch =='*’ |｜ch == ＇/＇｜｜cｈ=＝’='ﻩﻩﻩﻩ||ｃｈ== ’>’ || ch ==’〈’)ﻩﻩﻩ{ﻩﻩﻩﻩﻩif(ｅrror){ﻩﻩﻩpriｎtｆ（"%s,此字符无法是识别!\n”,sｔr);ﻩﻩﻩeｒror=false；ﻩﻩﻩﻩchecｋ=truｅ；ﻩﻩﻩ}eｌse if(！chｅcｋ){ﻩﻩﻩｐrintf("（2,％s）标示符\ｎ＂,str)；ﻩﻩﻩﻩcｈeｃk=truｅ；ﻩ}ﻩﻩm= 4;ﻩﻩﻩ｝ﻩﻩｅｌse if（ch==',’ || ch ＝= ＇;' |｜cｈ=＝'｛' || ch == '}’ |｜ｃh＝= '(' ||ch== ')')ﻩ{ﻩﻩﻩﻩﻩｉf(ｅｒror)｛ﻩﻩﻩｐrintf(”％s此字符无法识别\n”,sｔｒ);ﻩﻩﻩerror=fａｌsｅ;ﻩchｅｃｋ=trｕe;ﻩﻩ}elｓe if(!checｋ)｛ﻩｐｒｉntf("(２,％s）标示符\n",str）;ﻩﻩﻩﻩchecｋ=tｒue;ﻩﻩﻩ}ﻩﻩﻩｍ＝5;ﻩﻩﻩ}ﻩﻩｅlse ｉf ( isＤigｉt（（ch ＝sｔriｎg［ｉ]) ）)ﻩ{ﻩﻩﻩiｆ（chｅck){ﻩﻩﻩﻩｍeｍｓeｔ(sｔr，０, ｓtrｌｅｎ(sｔｒ）);/／清空ﻩﻩﻩk=０;ﻩﻩﻩｓtr［k]=ｃh;ﻩﻩﻩﻩﻩk++;ﻩﻩﻩﻩﻩm＝3;ﻩﻩcheck＝false;ﻩﻩﻩﻩ}else{ﻩﻩﻩﻩstr［ｋ]=ch;ﻩﻩﻩk++;ﻩﻩﻩ｝ﻩﻩ}ﻩelｓe iｆ( isLettｅｒ(ch =striｎｇ［ｉ]）) ﻩﻩ{ﻩﻩﻩif(cｈecｋ）{ﻩchecｋ＝falsｅ；ﻩﻩﻩﻩmemｓet（ｓｔr, ０,ｓｔｒlen（sｔｒ)）；ﻩﻩﻩﻩk=0;ﻩﻩﻩﻩﻩstr［k]=ch；ﻩﻩﻩk＋+；ﻩ}else｛ﻩstr[k]=ch;ﻩﻩｋ++；ﻩﻩﻩiｆ(isKey(str))ﻩﻩﻩﻩ｛ﻩﻩprｉntf(”(１,%s)关键字\n＂,stｒ);ﻩﻩﻩﻩcheck=true;ﻩﻩﻩ｝｝ﻩ}eｌｓe if(ｉsＥｒror(ch = ｓｔrｉnｇ［i])){ ﻩﻩif(cheｃｋ）｛ﻩﻩﻩﻩﻩｍｅmset（sｔr, 0, ｓtｒlｅn（sｔr))；//清空ﻩﻩﻩﻩﻩk=0;ﻩﻩstr［ｋ]=ch；ﻩﻩk++；ﻩﻩﻩcｈecｋ＝ｆａlse;ﻩerｒｏr=true；ﻩﻩﻩﻩ}eｌse｛ﻩﻩstr[k]=ｃｈ;ﻩﻩﻩk＋+；ﻩﻩﻩﻩerrｏｒ＝true;ﻩﻩ}ﻩ｝else{｝ﻩﻩﻩbrｅａk；ﻩﻩcasｅ3:ﻩiｆ(isLeｔter(ch =stｒing［ｉ])){ﻩﻩﻩpｒｉntf(”程序有错误!！！\n”）；ﻩﻩsｔr［k] ＝ch;ﻩﻩﻩk++；ﻩﻩﻩﻩerror=truｅ;ﻩﻩm = 0;ﻩﻩbreaｋ；ﻩﻩ｝ﻩﻩｉf（ｉsEｒｒor(ch = stｒing［i])){ﻩﻩﻩprintf(”程序有错误!!!\n");ﻩﻩﻩｓｔr[ｋ］＝ch；ﻩﻩk＋+；ﻩﻩｅｒroｒ=true；ﻩﻩﻩﻩﻩm = ０;ﻩｂreａｋ；}ﻩiｆ(isDｉgit((ch =string［i] ) )）ﻩ｛ﻩﻩｓtr[k]= ch;ﻩﻩﻩk＋+;ﻩ}else if(cｈ==’。