词法分析实验报告

编译原理词法分析实验报告实验名称:词法分析器的设计与实现一、实验目的：1.熟悉编译原理中词法分析的基本概念和原理；2.掌握正则表达式的使用方法；3.实现一个简单的词法分析器。

二、实验内容：1.设计一个简单的编程语言，包含如下几种类型的词法单元：关键字、标识符、常量、运算符和界符。

2.使用正则表达式定义每种词法单元的模式。

3.设计一个词法分析器，将源代码中的每个词法单元识别出来并输出。

三、实验步骤：1. 确定编程语言的词法单元类型和正则表达式模式，定义相应的单词类型（如 TokenType）和模式（如 regex）。

2. 实现一个词法分析器的类 Lexer，包含以下方法：(1)一个构造方法，用于初始化词法分析器的输入源代码。

(2) 一个getNextToken方法，用于获取源代码中的下一个词法单元。

3. 在getNextToken方法中，使用正则表达式逐个识别源代码中的词法单元，并返回相应的Token对象。

4. 设计一个Token类，包含以下属性：词法单元类型、词法单元的值和位置信息等。

5.在主程序中使用词法分析器，将源代码中的每个词法单元识别出来并输出。

四、实验结果：1.设计一个简单的编程语言，包含如下词法单元类型（示例）：(1) 关键字：if、else、while、for等；(2)标识符：变量名等；(3)常量：整数、浮点数、字符串等；(4)运算符：+、-、*、/、=等；(5)界符：(、)、{、}、;等。

2. 实现一个词法分析器，识别出源代码中的每个词法单元，并输出相应的Token对象。

五、实验总结：通过本次实验，我熟悉了编译原理中词法分析的基本概念和原理，并掌握了正则表达式的使用方法。

我成功完成了一个简单的词法分析器的设计与实现，实现了源代码中每个词法单元的识别与输出。

这次实验对我深化了对编译原理中词法分析的理解，并提高了我的编程能力。

词法分析程序实验报告篇一：词法分析器_实验报告词法分析器实验报告实验目的：设计、编制、调试一个词法分析子程序－识别单词，加深对词法分析原理的理解。

实验要求：该程序要实现的是一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分界符五大类。

并依次输出各个单词的内部编码及单词符号自身值。

（一）实验内容（1）功能描述：对给定的程序通过词法分析器弄够识别一个个单词符号，并以二元式(单词种别码，单词符号的属性值)显示。

而本程序则是通过对给定路径的文件的分析后以单词符号和文字提示显示。

（2）程序结构描述：函数调用格式:参数含义：String string;存放读入的字符串 String str; 存放暂时读入的字符串 char ch; 存放读入的字符 int rs 判断读入的文件是否为空 char []data 存放文件中的数据 int m；通过switch用来判断字符类型，函数之间的调用关系图:函数功能：Judgement（）判断输入的字符并输出单词符号，返回值为空； getChar() 读取文件的，返回值为空；isLetter(char c) 判断读入的字符是否为字母的，返回值为Boolean类型； switch (m) 判断跳转输出返回值为空；isOperator(char c)判断是否为运算符的，返回值为Boolean类型； isKey(String string)判断是否为关键字的，返回值为Boolean类型； isDigit(char c) 判断读入的字符是否为数字的，返回值为Boolean类型。

（二）实验过程记录：本次实验出错3次，第一次无法输出双运算符，于是采用双重if条件句进行判断，此方法失败，出现了重复输出，继续修改if语句，仍没有成功。

然后就采用了直接方法调用解决此问题。

对于变量的判断，开始忘了考虑字母和数字组成的变量，结果让字母和数字分家了，不过改变if语句的条件，解决了此问题。

词法分析实验报告词法分析实验报告引言词法分析是自然语言处理中的一个重要环节，它负责将输入的文本分割成一个个的词语，并确定每个词语的词性。

本次实验旨在通过实现一个简单的词法分析器，来探索词法分析的原理和实践。

实验内容本次实验中，我们使用Python编程语言来实现词法分析器。

我们选取了一段简单的英文文本作为输入，以便更好地理解和演示词法分析的过程。

1. 文本预处理在进行词法分析之前，我们首先需要对输入文本进行预处理。

预处理的目的是去除文本中的标点符号、空格和其他无关的字符，以便更好地进行后续的分词操作。

2. 分词分词是词法分析的核心步骤之一。

在这个步骤中，我们将文本分割成一个个的词语。

常见的分词方法包括基于规则的分词和基于统计的分词。

在本次实验中，我们选择了基于规则的分词方法。

基于规则的分词方法通过事先定义一系列的分词规则来进行分词。

这些规则可以是基于语法的，也可以是基于词典的。

在实验中，我们使用了一个简单的基于词典的分词规则，即根据英文单词的常见前缀和后缀来进行分词。

3. 词性标注词性标注是词法分析的另一个重要步骤。

在这个步骤中，我们为每个词语确定其词性。

词性标注可以通过事先定义的规则和模型来进行。

在本次实验中，我们使用了一个简单的基于规则的词性标注方法。

基于规则的词性标注方法通过定义一系列的词性标注规则来进行词性标注。

这些规则可以是基于词法的，也可以是基于语法的。

在实验中，我们使用了一个简单的基于词法的词性标注规则，即根据英文单词的后缀来确定其词性。

实验结果经过实验，我们得到了输入文本的分词结果和词性标注结果。

分词结果如下：- I- love- natural- language- processing词性标注结果如下：- I (代词)- love (动词)- natural (形容词)- language (名词)- processing (名词)讨论与总结通过本次实验，我们深入了解了词法分析的原理和实践。

词法分析器实验报告词法分析器实验报告一、引言词法分析器是编译器中的重要组成部分，它负责将源代码分解成一个个的词法单元，为之后的语法分析提供基础。

本实验旨在设计和实现一个简单的词法分析器，以深入理解其工作原理和实现过程。

二、实验目标本实验的目标是设计和实现一个能够对C语言代码进行词法分析的程序。

该程序能够将源代码分解成关键字、标识符、常量、运算符等各种词法单元，并输出其对应的词法类别。

三、实验方法1. 设计词法规则：根据C语言的词法规则，设计相应的正则表达式来描述各种词法单元的模式。

2. 实现词法分析器：利用编程语言（如Python）实现词法分析器，将源代码作为输入，根据词法规则将其分解成各种词法单元，并输出其类别。

3. 测试和调试：编写测试用例，对词法分析器进行测试和调试，确保其能够正确地识别和输出各种词法单元。

四、实验过程1. 设计词法规则：根据C语言的词法规则，我们需要设计正则表达式来描述各种词法单元的模式。

例如，关键字可以使用'|'操作符将所有关键字列举出来，标识符可以使用[a-zA-Z_][a-zA-Z0-9_]*的模式来匹配，常量可以使用[0-9]+的模式来匹配等等。

2. 实现词法分析器：我们选择使用Python来实现词法分析器。

首先，我们需要读取源代码文件，并将其按行分解。

然后，针对每一行的代码，我们使用正则表达式进行匹配，以识别各种词法单元。

最后，我们将识别出的词法单元输出到一个结果文件中。

3. 测试和调试：我们编写了一系列的测试用例，包括各种不同的C语言代码片段，以测试词法分析器的正确性和鲁棒性。

通过逐个测试用例的运行结果，我们可以发现和解决词法分析器中的问题，并进行相应的调试。

五、实验结果经过多次测试和调试，我们的词法分析器能够正确地将C语言代码分解成各种词法单元，并输出其对应的类别。

例如，对于输入的代码片段：```cint main() {int a = 10;printf("Hello, world!\n");return 0;}```我们的词法分析器将输出以下结果：```关键字：int标识符：main运算符：(运算符：)运算符：{关键字：int标识符：a运算符：=常量：10运算符：;标识符：printf运算符：(常量："Hello, world!\n"运算符：)运算符：;关键字：return常量：0运算符：;```可以看到，词法分析器能够正确地将代码分解成各种词法单元，并输出其对应的类别。

实验一词法分析一、实验目的通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。

并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。

编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。

并依次输出各个单词的内部编码与单词符号自身值。

（遇到错误时可显示“Error”，然后跳过错误部分继续显示）二、实验要求使用一符一种的分法关键字、运算符和分界符可以每一个均为一种标识符和常数仍然一类一种三、实验内容功能描述：1、待分析的简单语言的词法（1）关键字：begin if then while do end（2）运算符和界符：（3）其他单词是标识符（ID）和整型常数（NUM），通过以下正规式定义：ID=letter（letter| digit）*NUM=digit digit *（4）空格由空白、制表符和换行符组成。

空格一般用来分隔ID、NUM,运算符、界符和关键字，词法分析阶段通常被忽略。

2、各种单词符号对应的种别码图 1程序结构描述：符号界符等符号四、实验结果输入begin x:=9: if x>9 then x:=2*x+1/3; end # 后经词法分析输出如下序列：(begin 1)(x 10)(：17)(= 18)(9 11)(；26)(if 2)……如图3所示：图3输入private x:=9;if x>0 then x:=2*x+1/3; end#后经词法分析输出如下序列：(private 10)(x 10)(：17)(= 18)(9 11)(；26)(if 2)……如图4所示：图4显然，private是关键字，却被识别成了标示符，这是因为图1中没有定义private关键字的种别码，所以把private当成了标示符。

输入private x:=9;if x>0 then x:=2*x+1/3; @ end#后经词法分析输出如下序列：(private 10)(x 10)(：17)(= 18)(9 11)(；26)(if 2)……如图5所示图5显然，@没有在图一中定义种别，所以输出了“Error in row 1!”的报错信息。

词法分析实验报告一、实验目的和背景词法分析是编译原理中的重要部分之一，其主要作用是将源程序中的字符序列转化为有意义的单词序列，以便于后续的处理和分析。

为了更好地理解词法分析的实现原理以及掌握相关算法和工具，本次词法分析实验旨在通过手动编写正则表达式、确定有限自动机的状态转移函数和实现词法分析程序来实现词法分析。

二、实验内容在本次实验中，我们需要完成以下任务：1.手动编写正则表达式；2.确定有限自动机的状态转移函数；3.实现词法分析程序。

三、实验过程1.手动编写正则表达式对于给定的源程序，我们首先需要根据其语法规则手动编写正则表达式。

例如，对于一个简单的算术表达式，其正则表达式可以如下所示：i. 数字（0-9）：[0-9]+ii. 加号（+）：\+iii. 减号（-）：-iv. 乘号（*）：\*v. 除号（/）：/vi. 左括号（（）：\(vii. 右括号（））：\)2.确定有限自动机的状态转移函数根据正则表达式，我们可以确定有限自动机的状态转移函数。

例如，对于上述算术表达式的正则表达式，其有限自动机的状态转移函数如下所示：i. 初始状态（S）：判断下一个字符，如果是数字则进入数字状态，如果是左括号则进入左括号状态；ii. 数字状态（D）：继续判断下一个字符，如果是数字则保持在数字状态，如果是运算符则输出数字记号，返回初始状态，如果是右括号则输出数字记号，返回初始状态；iii. 左括号状态（L）：输出左括号记号，返回初始状态；iv. 右括号状态（R）：输出右括号记号，返回初始状态。

3.实现词法分析程序根据以上的正则表达式和有限自动机的状态转移函数，我们可以编写一个简单的词法分析程序。

该程序的主要流程如下所示：i. 读取源程序的字符序列；ii. 根据有限自动机的状态转移函数，逐个字符进行状态转移；iii. 如果当前状态为接受状态，则输出相应的记号；iv. 继续进行状态转移，直至读取完整个源程序。

四、实验结果通过以上步骤，我们成功完成了对给定源程序的词法分析。

实验一词法分析1．实验要求（1）从源程序文件中读取有效字符和并将其转换成二元组内部表示形式输出。

（2）掌握词法分析的实现方法。

（3）实验时间4学时。

（4）实验完成后，要上交实验报告（包括源程序清单）。

2．实验内容2.1主程序设计考虑：主程序的说明部分为各种表格和变量安排空间（关键字和特殊符号表）。

id 和ci 数组分别存放标识符和常数；还有一些为造表填表设置的变量。

主程序的工作部分建议设计成便于调试的循环结构。

每个循环处理一个单词；接收键盘上送来的一个单词；调用词法分析过程；输出每个单词的内部码（种别编码，属性值）。

2.2词法分析过程考虑该过程根据输入单词的第一个有效字符（有时还需读第二个字符），判断单词种别，产生种别编码。

对于标识符和常数，需分别与标识符表和常数表中已登记的元素相比较，如表中已有该元素，则记录其在表中的位置，如未出现过，将标识符按顺序填入数组id 中，将常数存入数组中ci 中，并记录其在表中的位置。

注：所有识别出的单词都用二元组表示。

第一个表示单词的种别编码。

例如：关键字的t=1；标识符的t=2；常数t=3；运算符t=4；界符t=5。

第二个为该单词在各自表中的指针或内部码值（常数表和标识符表是在编译过程中建立起来的。

其i 值是根据它们在源程序中出现的顺序确定的）。

将词法分析程序设计成独立一遍扫描源程序的结构。

其主流程图如下：图1 词法分析程序流程图程序源代码：#include<stdio.h>#include<stdlib.h>#include<string.h>char *keychar[14]={"int","char","float","void","const","if", "else","do","while","scanf","printf","return","main","read"};//关键字表，全局变量(种别编码为1)char *operatchar[18]={"+","-","*","/","%","=","==",">","<","!=",">=","<=","&&","||","!","<>","++","--"};//运算符表，全局变量（种别编码为2）char *boundschar[8]={"(",")","{","}",";",",","\"","'"};//保留字表，全局变量（种别编码为3）char *markchar[40];//标示符数组（种别编码为4）int markc=0;//记录已经记录的标示符的个数char *conster[40];//常数数组（种别编码为5）int markn=0;//记录已经记录的常数的个数char tempchar[40];//临时用来存放读入的字符int already=0;//全局变量，记录从文件中读出字符的个数char Read()//从文件中读出一个字符{FILE * fcode;char temp;if((fcode=fopen("code.txt","r"))==NULL){printf("无法打开此文件！\n");exit(0);}fseek(fcode,already*sizeof(char),0);//将文件位置移动到标记位置while(!feof(fcode)){already++;temp=fgetc(fcode);if(feof(fcode)){fclose(fcode);exit(0);}fclose(fcode);return temp;}}void ShowCode()//显示文件中的代码{printf("文件中的代码为：\n\n");FILE * fcode;if((fcode=fopen("code.txt","r"))==NULL){printf("无法打开此文件！\n");exit(0);}rewind(fcode);while(!feof(fcode)){putchar(fgetc(fcode));}putchar('\n');fclose(fcode);}void FirstLetter()//处理当程序的首字符为字母时的情况{void Judge();int i=1;char tempch;tempch=Read();while (((tempch>='A'&&tempch<='Z')||(tempch>='a'&&tempch<='z')) ||tempch>='0'&&tempch<='9'){tempchar[i]=tempch;tempch=Read();i++;}if (tempch!=' '){already--;//读出的文件的位置退1}printf("读出的字符为：%s\n",tempchar);int flag=0;for (int j=0;j<14;j++){if (!(strcmp(keychar[j],tempchar)))//若该字符串为关键字{printf("该字符为关键字,二元组为：");printf("<%s,->\n\n",tempchar);flag=1;break;}}if (flag==0)//若字符串为标示符{int flag1=0;char *p;for (int k=0;k<markc;k++)//查找标示符表，是否已存在该标示符{if (!(strcmp(markchar[k],tempchar))){p=markchar[k];flag1=1;break;}if (flag1==0){markchar[markc]=(char*)malloc(strlen(tempchar));strcpy(markchar[markc],tempchar);p=markchar[markc];markc++;}printf("该字符为标示符，二元组为：");printf("<2,%d>\n\n",p);}int l0=strlen(tempchar);for (int l=0;l<l0;l++)//将临时字符数组清零{tempchar[l]='\0';}Judge();}void FirstNum()//处理当程序的首字符为数字时的情况{void Judge();char *p;int i=1;char tempch;tempch=Read();while ((tempch>='0'&&tempch<='9')||tempch=='.'){tempchar[i]=tempch;tempch=Read();i++;}if (tempch!=' '){already--;//读出的文件的位置退1}int flag=0;printf("读出的字符为：%s\n",tempchar);for (int j=0;j<markn;j++){if (!strcmp(conster[j],tempchar)){p=conster[j];flag=1;break;}if (flag==0){conster[markn]=(char*)malloc(strlen(tempchar));strcpy(conster[markn],tempchar);p=conster[markn];markn++;}printf("该字符为常数，二元组为：");printf("<3,%d>\n\n",p);int l0=strlen(tempchar);for (int l=0;l<l0;l++)//将临时字符数组清零{tempchar[l]='\0';}Judge();}void FirstBound()//处理处理当程序的首字符为界符时的情况{void Judge();int i=0;printf("读出的字符为：%s\n",tempchar);printf("该字符为界符，二元组为：");printf("<%s,->\n\n",tempchar);if(tempchar[0]=='"'){do{i++;tempchar[i]=Read();} while (tempchar[i]!='"');if (tempchar[i-1]!='\\'){char*temp1=(char*)malloc(i*sizeof(char));int n=0;for (int j=0;j<i-1;++j){*(temp1+j)=tempchar[j+1];n++;}temp1[i-1]='\0';printf("读出的字符为：%s\n",temp1);conster[markn]=(char*)malloc((i-1)*sizeof(char));strcpy(conster[markn],temp1);char*p=conster[markn];markn++;printf("该字符为常量，二元组为：<3,%d>\n\n",p);free(temp1);}printf("读出的字符为：%c\n",tempchar[i]);printf("该字符为界符，二元组为：<%c,->\n\n",tempchar[i]);}for (int j=0;j<=i;j++){tempchar[j]='\0';}Judge();}void Firstoperat()//处理处理当程序的首字符为界符时的情况{void Judge();tempchar[1]=Read();int flag=0;for (int i=0;i<18;i++){if(!strcmp(tempchar,operatchar[i])){printf("读出的字符为：%s\n",operatchar[i]);printf("该字符为运算符，二元组为：<%s,->\n\n",operatchar[i]);tempchar[1]='\0';flag=1;break;}}if (flag==0){already--;tempchar[1]='\0';for (int i=0;i<18;i++){if (!strcmp(tempchar,operatchar[i])){printf("读出的字符为：%s\n",operatchar[i]);printf("该字符为运算符，二元组为：<%s,->\n\n",operatchar[i]);flag=2;break;}if (flag==0){printf("读出的字符为：%s\n",tempchar);printf("警告！该字符无法识别！\n\n");}}tempchar[0]='\0';Judge();}void Judge() //用来判断第一个读入的字符是数字，字母或者其他字符{do{tempchar[0]=Read();}while ((tempchar[0]==' ')||(tempchar[0]=='\n'));//判断字符类型，并作出处理if ((tempchar[0]>='A'&&tempchar[0]<='Z')||(tempchar[0]>='a'&&tempchar[0]<='z')){FirstLetter();}else if (tempchar[0]>='0'&&tempchar[0]<='9'){FirstNum();}elseif(tempchar[0]=='('||tempchar[0]==')'||tempchar[0]=='{'||tempchar[0]=='}'||tempchar[0]==';'||tempchar[0]==',' ||tempchar[0]=='"'||tempchar[0]=='\''){FirstBound();}else{Firstoperat();}}void main(){ShowCode();Judge();}实验心得：通过此次上机实验，是我掌握了词法分析器的实现过程，以前只是在课堂上学习词法分析器的理论，通过实践，也真正了解到了它的原理，为以后的语法分析打下基础，同时也熟悉了C语言，夯实了C语言的功底！。

编译原理词法分析实验报告软工082班兰洁200831104044一、实验内容二、实验目的三、实验预期四、程序规定五、实验原理●程序流程图●判别浮点功能扩展流程图●状态转换图六、程序代码与浮点判别功能扩展七、测试用例●扩展功能测试用例；●普通功能测试用例八、输出结果九、实验心得一、实验内容：词法分析：1、识别简单语言的单词符号；2、识别关键字、标识符、数字、运算符等。

并扩展浮点识别功能。

二、实验目的调试词法分析程序，加深对词法分析原理的理解，掌握编写简单词法分析程序的一般步骤。

三、实验预期结果：经过调试源代码程序，程序能够成功运行编译，对输入的简单字符串，能够别关键字、标识符、数字、运算符等，并且给出单词符号的对应编码。

四、程序规定：1、关键字："function","if","then","while","do","endfunc"；2、算术运算符：”+”,”-”,”*”,”/”,”=”；3、关系运算符："<" ">" "<=" ">=" "==" "!="；4、界符："(" ")" ";" "#"；5、标识符规定以字母开头,字母均为小写；6、空格和换行符跳过；7、单词对应编码：十、实验原理：输入串--------------------〉词法分析程序————————〉单词符号串输入：字符串以#结束。

输出：单词的二元组(syn，token/sum)程序流程图分析浮点数功能扩展部分流程图：shuzi()函数状态转换图六、程序代码：备注：红色字体部分为程序功能的功能扩展，使程序能够分析浮点数！我把浮点数的syn设置为80！/*词法分析源代码*/#include<stdio.h>#include<string.h>scaner();char prog[80],token[8];char ch;int syn,p,m,n,sum;char * rwtab[6]={"function","if","then","while","do","endfunc"}; int i=0,k,c,sumint,f;char fenshu[80],sum1[80];double sumf=0,fudian;int shuzi(){if(ch>='0' && ch<='9')syn=80;elsesyn=-2;return syn;}main(){p=0;printf("\n please input string :\n");do{scanf("%c",&ch);prog[++p]=ch;}while(ch!='#');p=0;do{scaner();switch(syn){ case 11:printf("\n(%d,%d)",syn,sum);break;case -1:printf("\n error");break;case 80:printf("\n(%d,%f)",syn,fudian);break; default:printf("\n(%d,%s)",syn,token);}}while(syn!=0);}scaner(){for(n=0;n<8;n++)token[n]=NULL;//if(1+2!=3)ch=prog[++p];while(ch==' ' || ch=='\n')ch=prog[++p];//跳过空格if(ch>='a' && ch<='z'){m=0;while(ch>='a' && ch<='z' || ch>='0' && ch<='9') {token[m++]=ch;//token[0]=f,m=1ch=prog[++p];}token[m]='\0';ch=prog[--p];syn=10;for(n=0;n<6;n++){if(strcmp(token,rwtab[n])==0){syn=n+1;break;}}}elseif(ch>='0' && ch<='9'){c=p;k=0;do{ sum1[k]=ch;ch=prog[++c]; //ch取后一个数字k++;shuzi();//这个函数用来分析浮点数的整数部分是否已经输入到数组里f=syn;} while(f==80)if(ch=='.'){for(n=0;n<k;n++){sumint=sumint*10+sum1[n]-'0';} //计算整数部分i=0;do{ch=prog[++c];fenshu[i]=ch;i++;shuzi();//这个函数用来分析浮点数的小数部分是否已经输入到数组里} while(syn==80);sumf=0;for(k=i-2;k>=0;k--){sumf=sumf*0.1+(fenshu[k]-'0')*0.1;} //计算浮点数的小数部分fudian=sumint+sumf; //浮点数计算syn=80;p=--c;}else{ch=prog[p];//若是整数，ch等于原来的值 sum=0;while(ch>='0' && ch<='9'){sum=sum*10+ch-'0';ch=prog[++p];}ch=prog[--p];syn=11;}}elseswitch(ch){case'<':m=0;token[m++]=ch;ch=prog[++p];if(ch=='='){syn=22;token[m++]=ch;}elseif(ch=='>'){syn=21;token[m++]=ch;}else{syn=20;ch=prog[--p];}break;case'>':m=0;token[m++]=ch;ch=prog[++p];if(ch=='='){syn=24;token[m++]=ch;}else{syn=23;ch=prog[--p];}break;case'=':m=0;token[m++]=ch;ch=prog[++p];if(ch=='='){syn=25;token[m++]=ch;}else{syn=18;ch=prog[--p];}break;case'!':m=0;token[m++]=ch;ch=prog[++p];if(ch=='='){syn=22;token[m++]=ch;}else{syn=-1;p--;}break;case'+':syn=13;token[0]=ch;break;case'-':syn=14;token[0]=ch;break;case'*':syn=15;token[0]=ch;break;case'/':syn=16;token[0]=ch;break;case';':syn=26;token[0]=ch;break;case'(':syn=27;token[0]=ch;break;case')':syn=28;token[0]=ch;break; case'#':syn=0;token[0]=ch;break;default:syn=-1;}}七、测试用例：补充：功能扩展测试用例：八、程序输出结果：功能扩展测试用例输出结果用例一：用例二：用例三：普通功能测试用例显示结果九、实验心得通过编译原理实验一词法分析实验，使得自己对词法分析的流程有了更深刻的了解，虽然源代码并非由自己设计，但是在调试程序的过程中，尤其是进行测序功能扩展的过程中，想了很多种办法，终于找到了最合适的方法，而且还进行了代码的优化，这个过程虽然有时有些枯燥，但是更多时候是欣喜的，不仅复习了c语言的许多内容，并且有了更深的理解。

实验一：词法分析一、实验目的：1、通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。

并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。

2、编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本关键字、标识符、常数、运算符、分隔符五大类。

并依次输出各个单词的内部编码及单词符号自身值。

（遇到错误时可显示“Error”，然后跳过错误部分继续显示）二、实验预习提示1、词法分析器的功能和输出格式词法分析器的功能是输入源程序，输出单词符号。

词法分析器的单词符号常常表示成以下的二元式(单词种别码，单词符号的属性值)。

本实验中，采用的是一类符号一种别码的方式。

2、单词的BNF表示<标识符>-> <字母><字母数字串><字母数字串>-><字母><字母数字串>|<数字><字母数字串>|<下划线><字母数字串>|ε<无符号整数>-> <数字><数字串><数字串>-> <数字><数字串> |ε<加法运算符>-> +<减法运算符>->-<大于关系运算符>->><大于等于关系运算符>-> >=3、“超前搜索”方法词法分析时，常常会用到超前搜索方法。

如当前待分析字符串为“a>+”,当前字符为’>’，此时，分析器到底是将其分析为大于关系运算符还是大于等于关系运算符呢？显然，只有知道下一个字符是什么才能下结论。

于是分析器读入下一个字符’+’，这时可知应将’>’解释为大于运算符。

但此时，超前读了一个字符’+’，所以要回退一个字符，词法分析器才能正常运行。

在分析标识符，无符号整数等时也有类似情况。

一、实验目的1. 深入理解词法分析的基本原理和过程。

2. 掌握词法分析器的设计与实现方法。

3. 熟悉C语言编程，并能够将其应用于词法分析程序的开发。

4. 培养问题分析和解决能力，提高编程技能。

二、实验原理词法分析是编译过程中的第一步，其主要任务是将源程序中的字符序列转换为一系列具有独立意义的单词符号（Token）。

词法分析器通过识别单词的构词规则，将源程序分解为一个个单词符号，为后续的语法分析和语义分析提供基础。

三、实验内容1. 词法分析器的设计本实验采用C语言实现一个简单的词法分析器，主要功能如下：- 识别并分类单词符号，包括关键字、标识符、常量、运算符和界符等。

- 对输入的源程序进行词法分析，输出每个单词符号及其对应的种别码。

- 处理词法错误，并给出错误提示。

2. 词法分析器的实现（1）数据结构- 关键字表：存储C语言中的关键字。

- 标识符表：存储用户自定义的标识符。

- 常量表：存储整型常量。

- 运算符表：存储C语言中的运算符。

- 界符表：存储C语言中的界符。

（2）主要函数- `isLetter(char c)`：判断字符是否为字母。

- `isDigit(char c)`：判断字符是否为数字。

- `alpha(char c)`：识别字母。

- `number(char c)`：识别整数。

- `anotation(char c)`：处理除号、注释以及其他特殊字符。

- `other(char c)`：处理其他字符。

（3）词法分析过程- 读取源程序中的字符。

- 根据字符类型调用相应的函数进行识别。

- 将识别出的单词符号及其种别码存储在相应的表中。

四、实验步骤1. 编写源程序，实现词法分析器。

2. 编写测试用例，对词法分析器进行测试。

3. 分析测试结果，验证词法分析器的正确性。

五、实验结果与分析1. 测试用例- 测试用例1：包含关键字、标识符、常量、运算符和界符的简单C程序。

- 测试用例2：包含错误标识符和运算符的C程序。

编译技术实验报告实验题目：词法分析学院：信息学院专业：计算机科学与技术学号：姓名：一、实验目的(1)理解词法分析的功能；(2)理解词法分析的实现方法；二、实验内容PL0的文法如下‘< >’为非终结符。

‘::=’ 该符号的左部由右部定义，可读作“定义为”。

‘|’ 表示‘或’，为左部可由多个右部定义。

‘{ }’ 表示花括号内的语法成分可以重复。

在不加上下界时可重复0到任意次数，有上下界时可重复次数的限制。

‘[ ]’ 表示方括号内的成分为任选项。

‘( )’ 表示圆括号内的成分优先。

上述符号为“元符号”，文法用上述符号作为文法符号时需要用引号‘’括起。

〈程序〉∷=〈分程序〉．〈分程序〉∷= [〈变量说明部分〉][〈过程说明部分〉]〈语句〉〈变量说明部分〉∷=VAR〈标识符〉{，〈标识符〉}：INTEGER；〈无符号整数〉∷=〈数字〉{〈数字〉}〈标识符〉∷=〈字母〉{〈字母〉|〈数字〉}〈过程说明部分〉∷=〈过程首部〉〈分程序〉{；〈过程说明部分〉}；〈过程首部〉∷=PROCEDURE〈标识符〉；〈语句〉∷=〈赋值语句〉|〈条件语句〉|〈过程调用语句〉|〈读语句〉|〈写语句〉|〈复合语句〉|〈空〉〈赋值语句〉∷=〈标识符〉∶=〈表达式〉〈复合语句〉∷=BEGIN〈语句〉{；〈语句〉}END〈条件〉∷=〈表达式〉〈关系运算符〉〈表达式〉〈表达式〉∷=〈项〉{〈加法运算符〉〈项〉}〈项〉∷=〈因子〉{〈乘法运算符〉〈因子〉}〈因子〉∷=〈标识符〉|〈无符号整数〉|'('〈表达式〉')'〈加法运算符〉∷=+|-〈乘法运算符〉∷=*〈关系运算符〉∷=<>|=|<|<=|>|>=〈条件语句〉∷=IF〈条件〉THEN〈语句〉〈字母〉∷=a|b|…|X|Y|Z〈数字〉∷=0|1|2|…|8|9实现PL0的词法分析三、实验分析与设计PL0词法分析程序是一个独立的过程，其功能是为语法语义分析提供单词，把输入的字符串形式的源程序分割成一个个单词符号传递给语法语义分析。

词法分析程序实验报告词法分析程序实验报告一、实验目的1. 理解词法分析器的基本功能2. 理解词法规则的描述方法3. 理解状态转换图及其实现4. 能够编写简单的词法分析器二、实验要求给出单词序列对应的状态识别。

单词符号State 对应的值单词符号State 对应的值function 1 = 18if 2 < 20else 3 <= 21for 4 != 22then 5 > 23while 6 >= 24do 7 == 25 endfunction 8 ; 26letter(letter|digit)* 10 ( 27digit digit* 11 ) 28+ 13 { 29- 14 } 30* 15 # 0/ 162、主程序流程图N程序开始初始化输入源程序调用scanner()函数，识别单词序列输出单词序列Y结束输入串结束？三、识别单词的状态转换图Scanner()函数流程图变量初始化忽略空格和换行num 读取常数state=11Token[]读入关键字、标识符关键字？判断关键字 statestate=10判断运算符和分界符 state 其余符号 state=-1 ReturnNY{)(;其他其他===其他!其他</* - + 非数字数字数字开始空格或换行字母0 1返回’10’或关键字234 返回’11’567 8返回’13’ 返回’14’ 返回’15’ 返回’16’ 910111213 14 1516171819 20 >=222425返回’20’返回’21’返回’-1’返回’22’ 返回’23’ 返回’24’返回’18’返回’25’ 返回’26’ 返回’27’ 返回’28’ 返回’29’} #2. 分析直接转向法和表驱动法的优缺点状态转换图的实现通常有两种方法：状态转换表和直接转向法(1) :状态转换表法又称数据中心，是把状态转换图看作一种数据结构，由控制程序控制字符在其上运行，从而完成词法分析。

词法分析器实验报告一、实验目的本实验旨在通过构建一个简单的词法分析器来加深对编译原理中词法分析的理解，并掌握基本的词法分析算法和程序设计技巧。

二、实验环境操作系统：Windows 10编程语言：C/C++开发环境：Visual Studio 2019三、实验内容1. 设计并实现一个词法分析器，要求具备以下功能：（1）能够识别并区分关键字、标识符、字符常量、字符串常量、整型常量和浮点型常量等基本单词；（2）能够跳过注释、空格、制表符和换行符等无用字符；（3）能够给出错误提示并指明错误所在位置。

2. 对设计的词法分析器进行测试，并记录测试结果，分析测试结果的正确性和效率。

四、实验方法1. 分析待处理的源程序，并确定需要识别的词法单元；2. 设计状态转换图或状态转换表，并将其转化为程序代码；3. 开发测试程序，对所设计的词法分析器进行测试。

五、实验结果1. 实现的词法分析器程序可以正确识别出源程序中的各个单词，并能够跳过无用字符；2. 在测试过程中发现了一些错误，比如未能正确识别一些特殊情况下的单词，或者给出了错误的错误提示等。

经过修改后，程序可以正确识别这些情况，并给出正确的错误提示信息；3. 程序的效率较高，能够在短时间内对源程序进行词法分析。

六、实验体会通过本次实验，我对编译原理中词法分析的概念、算法和程序设计技巧有了更加深入的了解和掌握。

在实践中，我遇到了许多问题，比如如何设计状态转换图，如何正确识别一些特殊的单词等。

这些问题一一解决后，我对词法分析有了更加深刻的理解。

通过本次实验，我还深刻体会到了编译器设计过程中的思维方式和技术要求。

编译器是计算机科学中的一项重要技术，对于提高程序运行效率、保证程序安全性、增强程序可读性和扩展程序功能等都有重要作用。

因此，编译原理作为计算机科学的重要组成部分，对于我以后的学习和研究具有重要意义。

实现词法分析实验报告一、实验目的本次实验的目的是通过编写代码实现一个简单的词法分析器，可以对一段输入的代码进行词法分析，识别出其中的各种标识符、关键字、常数和运算符等。

二、实验原理词法分析是编译过程中的第一个阶段，它负责将源代码按照规定的规则划分为一个个的单词（Token），每个单词代表一个最基本的语法单元。

在词法分析中，我们通过预先定义好的正则表达式规则来描述各个单词类型，并自动从源代码中提取出这些单词。

本次实验采用基于正则表达式的文法描述方式，针对不同的单词类型，使用不同的正则表达式来匹配。

通过遍历源代码字符串，逐一尝试匹配各个正则表达式，从而实现对单词的划分。

在匹配过程中，我们使用一个状态机来记录当前的匹配状态，以便处理不同的情况。

三、实验过程1. 定义Token的数据结构，包括单词类型和单词值两个字段。

使用枚举类型来表示所有的单词类型，如关键字、标识符、常数等。

2. 编写正则表达式的匹配函数，用于判断给定的字符串是否符合某个模式。

在这个函数中，使用系统提供的正则表达式库或者手动实现正则表达式匹配算法。

3. 设计一个状态机，用于记录当前匹配的状态。

状态机的状态包括开始、正在匹配、匹配成功和匹配失败等。

在状态机中，根据当前字符和当前状态进行不同的处理。

4. 在状态机中，当一个完整的Token被匹配出时，根据其类型和值创建一个Token对象，并将其添加到Token列表中。

5. 将源代码字符串按照换行符划分成多行，逐行进行处理。

对于每一行，调用状态机进行匹配，将得到的Token添加到Token列表中。

6. 输出Token列表，观察结果。

四、实验结果经过实验，我们成功实现了一个简单的词法分析器。

通过对输入的代码进行词法分析，我们可以得到每个单词的类型和值。

在本次实验中，我们测试了一段C语言代码，并成功提取出其中的关键字、标识符、常数和运算符等。

五、实验总结本次实验让我初步了解了词法分析的原理和过程。

一、实验目的1.1总体目的1.1.1 掌握词法分析的基本原理；1.1.2.理解词法分析在编译程序过程中的作用；1.1.3.熟悉关键字表等相关的数据结构与单词的分类方法.1.1.4.加深对编译原理的理解，掌握词法分析器的实现方法和技术，同时，将JA V A 的理论知识结合实际，锻炼编程技术，强调良好的程序设计风格。

1.2程序目的利用JAVA语言针对C语言编制一个一遍扫描的编译程序。

从文件中识别出各个单词, 识别出所取的单词的类型, 并且对代码中的词法错误进行提示。

二、实验内容根据编译原理中的词法分析原理, 利用Java语言针对C语言编写一个词法分析程序: 输入: 打开一个C语言程序的源代码文件, 将其读入程序输入框。

处理: 对输入框中的代码进行词法分析,分离出关键字、标识符、数值、运算符和界符。

输出：在词法分析结果表中输出每个单词所在行号、类型以及它所对应的编码。

其中, 编码是自定义的,一种类型对应一组编码。

词法分析结果显示在词法分析错误信息栏, 提示错误个数、错误所在行号, 并对某些词法错误原因进行说明。

三、实验需求针对C语言程序代码进行词法分析器, 从指定文件中读入预分析的源程序, 从左至右扫描源程序的字符串, 按照词法规则（正则文法规则）识别出一个个正确的单词, 并转换成该单词相应的二元式（种别码、属性值）以便之后进行语法分析使用。

同时, 按照给定的规则, 识别出单词符号作为输出, 发现其中的语法错误, 不同类别的字符通过相应的函数模块来分析识别, 使程序能够正确识别文法所规定的任何组织形式的字符组合, 将所有的分析状态显示在词法分析器中。

最后在错误分析栏中显示该文件中C语言代码的词法错误个数、错误所在行, 并对错误原因进行说明。

四、主要数据结构介绍4.1关键字编码4.2标识符统一编码1004.3数值统一编码2004.4界符编码4.5运算符编码4.6全局变量含义int row: 语法错误出现的所在列数int line: 语法错误出现的所在行数int err: 语法错误的个数int begin: 当前程序扫描在字符串中的开始位置int end: 当前程序扫描在字符串中的结束位置4.7局部变量定义int i: 选择第i 个字符进行检测 int state: 单词类型判断标志 int N: 文件长度char c: 当前遍历的字符 string str: 输入字符串 int flag: 退出标志五、主要模块算法介绍5.1总体流程介绍说明: state 为输入字符状态标志, 根据输入字符不同类型选择不同处理。

实验一词法分析设计实验学时：4实验类型：综合实验要求：必修一、实验目的通过本实验的编程实践，使学生了解词法分析的任务，掌握词法分析程序设计的原理和构造方法，使学生对编译的基本概念、原理和方法有完整的和清楚的理解，并能正确地、熟练地运用。

二、实验内容用VC++/VB/JAVA语言实现对C语言子集的源程序进行词法分析。

通过输入源程序从左到右对字符串进行扫描和分解，依次输出各个单词的内部编码及单词符号自身值；若遇到错误则显示“Error”，然后跳过错误部分继续显示；同时进行标识符登记符号表的管理。

以下是实现词法分析设计的主要工作：（1）从源程序文件中读入字符。

（2）统计行数和列数用于错误单词的定位。

（3）删除空格类字符，包括回车、制表符空格。

（4）按拼写单词，并用（内码，属性）二元式表示。

(属性值——token的机内表示)（5）如果发现错误则报告出错（6）根据需要是否填写标识符表供以后各阶段使用。

单词的基本分类：◆关键字：由程序语言定义的具有固定意义的标识符。

也称为保留字例如if、 for、while、printf ；单词种别码为1。

◆标识符：用以表示各种名字，如变量名、数组名、函数名；◆常数：任何数值常数。

如 125, 1,0.5,3.1416；◆运算符：+、-、*、/；◆关系运算符： <、<=、= 、>、>=、<>；◆分界符：；、，、（、）、[、]；三、实验要求1、编程时注意编程风格：空行的使用、注释的使用、缩进的使用等。

2、将标识符填写的相应符号表须提供给编译程序的以后各阶段使用。

3、根据测试数据进行测试。

测试实例应包括以下三个部分:◆全部合法的输入。

◆各种组合的非法输入。

◆由记号组成的句子。

4、词法分析程序设计要求输出形式:例：输入VC++语言的实例程序：If i=0 then n++;a﹤= 3b %);输出形式为：单词二元序列类型位置（行，列）（单词种别，单词属性）for (1,for ) 关键字（1，1）i ( 6,i ) 标识符（1，2）= ( 4，= ) 关系运算符（1，3）0 ( 5，0 ) 常数（1，4）then ( 1，then) 关键字（1，5）n (6,n ) 标识符（1，6）++ Error Error （1，7）； ( 2, ; ) 分界符（1，8）a (6,a ) 标识符（2，1）﹤= (4,<= ) 关系运算符（2，2）3b Error Error （2，4）% Error Error （2，4）) ( 2, ) ) 分界符（2，5）； ( 2, ; ) 分界符（2，6）实验报告正文：◆功能描述：该程序具有词法分析功能，即面对一段程序源代码，通过该程序，能检查出源代码是否由词法错误。

一、实验目的1. 理解词法分析的基本概念和原理。

2. 掌握词法分析器的实现方法。

3. 熟悉C语言在词法分析中的应用。

4. 提高编程能力和问题解决能力。

二、实验环境1. 操作系统：Windows 102. 编程语言：C3. 开发环境：Visual Studio 2019三、实验内容1. 设计词法分析器，实现对源代码的词法分析。

2. 将源代码分解为单词序列。

3. 输出单词序列及对应的词法类型。

四、实验步骤1. 分析源代码中的词法单位，确定词法类型。

2. 设计词法分析器的状态转换表。

3. 编写词法分析器代码。

4. 测试词法分析器，验证其正确性。

五、实验过程1. 分析源代码中的词法单位在C语言中，词法单位包括标识符、关键字、运算符、分隔符、常量等。

本实验以C语言为例，分析源代码中的词法单位，确定词法类型。

2. 设计词法分析器的状态转换表根据词法单位，设计词法分析器的状态转换表。

状态转换表包括当前状态、输入字符、下一状态、输出词法类型和对应动作。

3. 编写词法分析器代码根据状态转换表，编写词法分析器代码。

以下为词法分析器的主要功能模块：（1）初始化：设置初始状态、词法类型和单词长度。

（2）读取字符：从源代码中读取字符，并判断字符类型。

（3）状态转换：根据状态转换表，更新当前状态、输出词法类型和单词长度。

（4）输出结果：将单词序列及对应的词法类型输出到屏幕。

4. 测试词法分析器编写测试用例，验证词法分析器的正确性。

测试用例包括以下几种情况：（1）包含各种词法单位的源代码。

（2）包含注释的源代码。

（3）包含错误标识符的源代码。

六、实验结果与分析1. 实验结果通过测试，词法分析器能够正确识别源代码中的各种词法单位，并将单词序列及对应的词法类型输出到屏幕。

以下为部分测试结果：```int a = 10; // 输出：int, 标识符if (a > 0) // 输出：if, 关键字{// 输出：{, 分隔符// ...// 输出：}, 分隔符}// 输出：//, 注释开始注释内容// 输出：//, 注释结束```2. 实验分析（1）实验过程中，通过对词法分析原理的学习，加深了对编译原理的理解。