词法分析器-计算器-设计与实现实验报告

编译原理词法分析实验报告实验名称:词法分析器的设计与实现一、实验目的：1.熟悉编译原理中词法分析的基本概念和原理；2.掌握正则表达式的使用方法；3.实现一个简单的词法分析器。

二、实验内容：1.设计一个简单的编程语言，包含如下几种类型的词法单元：关键字、标识符、常量、运算符和界符。

2.使用正则表达式定义每种词法单元的模式。

3.设计一个词法分析器，将源代码中的每个词法单元识别出来并输出。

三、实验步骤：1. 确定编程语言的词法单元类型和正则表达式模式，定义相应的单词类型（如 TokenType）和模式（如 regex）。

2. 实现一个词法分析器的类 Lexer，包含以下方法：(1)一个构造方法，用于初始化词法分析器的输入源代码。

(2) 一个getNextToken方法，用于获取源代码中的下一个词法单元。

3. 在getNextToken方法中，使用正则表达式逐个识别源代码中的词法单元，并返回相应的Token对象。

4. 设计一个Token类，包含以下属性：词法单元类型、词法单元的值和位置信息等。

5.在主程序中使用词法分析器，将源代码中的每个词法单元识别出来并输出。

四、实验结果：1.设计一个简单的编程语言，包含如下词法单元类型（示例）：(1) 关键字：if、else、while、for等；(2)标识符：变量名等；(3)常量：整数、浮点数、字符串等；(4)运算符：+、-、*、/、=等；(5)界符：(、)、{、}、;等。

2. 实现一个词法分析器，识别出源代码中的每个词法单元，并输出相应的Token对象。

五、实验总结：通过本次实验，我熟悉了编译原理中词法分析的基本概念和原理，并掌握了正则表达式的使用方法。

我成功完成了一个简单的词法分析器的设计与实现，实现了源代码中每个词法单元的识别与输出。

这次实验对我深化了对编译原理中词法分析的理解，并提高了我的编程能力。

词法分析程序实验报告篇一：词法分析器_实验报告词法分析器实验报告实验目的：设计、编制、调试一个词法分析子程序－识别单词，加深对词法分析原理的理解。

实验要求：该程序要实现的是一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分界符五大类。

并依次输出各个单词的内部编码及单词符号自身值。

（一）实验内容（1）功能描述：对给定的程序通过词法分析器弄够识别一个个单词符号，并以二元式(单词种别码，单词符号的属性值)显示。

而本程序则是通过对给定路径的文件的分析后以单词符号和文字提示显示。

（2）程序结构描述：函数调用格式:参数含义：String string;存放读入的字符串 String str; 存放暂时读入的字符串 char ch; 存放读入的字符 int rs 判断读入的文件是否为空 char []data 存放文件中的数据 int m；通过switch用来判断字符类型，函数之间的调用关系图:函数功能：Judgement（）判断输入的字符并输出单词符号，返回值为空； getChar() 读取文件的，返回值为空；isLetter(char c) 判断读入的字符是否为字母的，返回值为Boolean类型； switch (m) 判断跳转输出返回值为空；isOperator(char c)判断是否为运算符的，返回值为Boolean类型； isKey(String string)判断是否为关键字的，返回值为Boolean类型； isDigit(char c) 判断读入的字符是否为数字的，返回值为Boolean类型。

（二）实验过程记录：本次实验出错3次，第一次无法输出双运算符，于是采用双重if条件句进行判断，此方法失败，出现了重复输出，继续修改if语句，仍没有成功。

然后就采用了直接方法调用解决此问题。

对于变量的判断，开始忘了考虑字母和数字组成的变量，结果让字母和数字分家了，不过改变if语句的条件，解决了此问题。

c词法分析器实验报告篇一：词法分析器设计实验报告计算机与信息学院（信息工程系）编译原理实验报告专业班级课程教学班任课教实验指导教师实验地点XX ~XX学年第一学期实验一词法分析器设计一、实验目的通过本实验的编程实践，使学生了解词法分析的任务，掌握词法分析程序设计的原理和构造方法，使学生对编译的基本概念、原理和方法有完整的和清楚的理解，并能正确地、熟练地运用。

二、实验内容用 VC++/VB/JAVA 语言实现对 C 语言子集的源程序进行词法分析。

通过输入源程序从左到右对字符串进行扫描和分解，依次输出各个单词的内部编码及单词符号自身值；若遇到错误则显示“Error”，然后跳过错误部分继续显示；同时进行标识符登记符号表的管理。

以下是实现词法分析设计的主要工作：（1）从源程序文件中读入字符。

（2 （3 （4(属性值——token 的机内表示)（5）如果发现错误则报告出错 7（6三、实验流程图四、实验步骤12、编制好源程序后，设计若干用例对系统进行全面的上机测试，并通过所设计的词法分析程序；直至能够得到完全满意的结果。

3、书写实验报告；实验报告正文的内容：五、实验结果篇二：C语言词法分析器实验报告计算机科学与工程系编译原理课程设计实验报告姓名：__ ******__ 学号_ *******__ 年级专业及班级___08计算机科学与技术成绩- 1 -- 2 -- 3 -- 4 -- 5 -篇三：词法分析器实验报告实验报告实验题目：词法分析器院系班级：计科系0901班姓名学号： XX210603实验时间：XX-10-21设计。

编制并调试一个词法分析程序，加深对词法分析原理的理解。

实验要求设计出一个简单的词法分析程序，能够识别关键字（包含begin、if、end、 while、else、 then）、标识符、数字及数种符号（+、-、*、/、（、）、：、=、：=、#、>、、=、；）。

返回并打印各类字符所对应的种类编码及该字符所组成的二元组。

词法分析器实验报告引言：词法分析器（Lexical Analyzer）是编译器的重要组成部分，其主要任务是将源代码转化为一个个独立的词法单元，为语法分析器提供输入。

在本次实验中，我们设计并实现了一个简单的词法分析器，通过对其功能和性能的测试，评估其在不同场景下的表现。

实验目的：1. 确定词法分析器的输入和输出要求；2. 通过构建适当的正则表达式规则，匹配不同类型的词法单元；3. 实现一个高效的词法分析器，确保在处理大型源代码时性能不受影响；4. 对词法分析器的功能和性能进行测试和评估。

实验过程：1. 设计词法分析器的接口：1.1 确定输入：源代码字符串。

1.2 确定输出：词法单元流，每个词法单元包含类型和对应的字符串值。

2. 构建正则表达式规则：2.1 识别关键字：根据编程语言的关键字列表构建正则表达式规则，将关键字与标识符区分开。

2.2 识别标识符：一般由字母、下划线和数字组成，且以字母或下划线开头。

2.3 识别数字：整数和浮点数可以使用不同的规则来识别。

2.4 识别字符串：使用引号（单引号或双引号）包裹的字符序列。

2.5 识别特殊符号：各类操作符、括号、分号等特殊符号需要单独进行规则设计。

3. 实现词法分析器：3.1 读取源代码字符串：逐个字符读取源代码字符串，并根据正则表达式规则进行匹配。

3.2 保存词法单元：将匹配到的词法单元保存到一个词法单元流中。

3.3 返回词法单元流：将词法单元流返回给调用者。

4. 功能测试：4.1 编写测试用例：针对不同类型的词法单元编写测试用例，包括关键字、标识符、数字、字符串和特殊符号。

4.2 执行测试用例：将测试用例作为输入传递给词法分析器，并检查输出是否和预期一致。

4.3 处理错误情况：测试词法分析器对于错误输入的处理情况，如非法字符等。

5. 性能测试：5.1 构建大型源代码文件：生成包含大量代码行数的源代码文件。

5.2 执行词法分析：使用大型源代码文件作为输入，测试词法分析器的性能。

词法分析器实验报告词法分析器实验报告词法分析器设计一、实验目的：对C语言的一个子集设计并实现一个简单的词法分析器，掌握利用状态转换图设计词法分析器的基本方法。

利用该词法分析器完成对源程序字符串的词法分析。

输出形式是源程序的单词符号二元式的代码，并保存到文件中。

二、实验内容：1. 设计原理词法分析的任务：从左至右逐个字符地对源程序进行扫描，产生一个个单词符号。

理论基础：有限自动机、正规文法、正规式词法分析器(Lexical Analyzer) 又称扫描器(Scanner)：执行词法分析的程序2. 词法分析器的功能和输出形式功能:输入源程序、输出单词符号程序语言的单词符号一般分为以下五种：关键字、标识符、常数、运算符,界符3. 输出的单词符号的表示形式:单词种别用整数编码，关键字一字一种，标识符统归为一种，常数一种，各种符号各一种。

4. 词法分析器的结构单词符号5. 状态转换图实现三、程序设计1．总体模块设计/*用来存储目标文件名*/string file_name;/*提取文本文件中的信息。

*/string GetText();/*获得一个单词符号,从位置i开始查找。

并且有一个引用参数j，用来返回这个单词最后一个字符在str的位置。

*/string GetWord(string str,int i,int& j);/*这个函数用来除去字符串中连续的空格和换行int DeleteNull(string str,int i);/*判断i当前所指的字符是否为一个分界符，是的话返回真，反之假*/bool IsBoundary(string str,int i);/*判断i当前所指的字符是否为一个运算符，是的话返回真，反之假*/bool IsOperation(string str,int i);/*此函数将一个pair数组输出到一个文件中*/void OutFile(vector<pair > v);</pair/*此函数接受一个字符串数组，对它进行词法分析，返回一个pair型数组*/vector<pair > analyst(vector vec);</pair/*此函数判断传递的参数是否为关键字，是的话，返回真，反之返回假*/ bool IsKey(string str);2．各模块设计（1）.首先根据上面单词符号表及ID和NUM的正规定义式，构造出状态转换图；（2）.定义相关的变量和数据结构。

词法分析器实验报告⼀、实验⽬的通过设计⼀个词法分析程序，对词法进⾏分析，加强对词法的理解，掌握对程序设计语⾔的分解和理解。

⼆、实验内容和要求在原程序中输⼊源代码对字符串表⽰的源程序从左到右进⾏扫描和分解根据词法规则识别出⼀个⼀个具有独⽴意义的单词符号以供语法分析之⽤发现词法错误，则返回出错信息在源程序中，⾃动识别单词，把单词分为五种，并输出对应的单词种别码。

1. 识别关键字：main if int for while do return break continue，该类的单词码为1.2. 识别标识符：表⽰各种名字，如变量名、数组名、函数名等，如char ch, int syn, token,sum，该类的单词码为2.3. 运算符：+、-、*、/、=、>、<、>=、<=、!=4. 分隔符：,、;、{、}、(、)5. 常数，例：123各种单词符号对应的种别码。

输出形式：⼆元式– （单词种别，单词⾃⾝的值）单词种别，表明单词的种类，语法分析需要的重要信息– 整数码关键字、运算符、界符：⼀符⼀码标识符：10, 常数：11单词⾃⾝的值– 标识符token、常数sum– 关键字、运算符、界符token三、实验⽅法、步骤及结果测试1.源程序#include <stdio.h>#include <string.h>char string[80],simbol[8],ch;int wordID,index,m,n,sum;char *rwtab[6]={"begin","if","then","while","do","end"};void scaner(void);main(){int index=0;printf("请输⼊代码，并以串#号键结束:\n");do{scanf("%c",&ch);string[index++]=ch;}while(ch!='#');index=0;do{scaner();switch(wordID)case11:printf("( %-10d%5d )\n",sum,wordID);break;case -1:printf("错误\n");return0;break;default:printf("( %-10s%5d )\n",simbol,wordID);break;}}while(wordID!=0);return0;}void scaner(void){sum=0;for(m=0;m<8;m++)simbol[m++]= NULL;ch=string[index++];m=0;while((ch=='')||(ch=='\n'))ch=string[index++];if(((ch<='z')&&(ch>='a'))||((ch<='Z')&&(ch>='A')))//判断输⼊的字符是否为英⽂字母 {while(((ch<='z')&&(ch>='a'))||((ch<='Z')&&(ch>='A'))||((ch>='0')&&(ch<='9'))){simbol[m++]=ch;ch=string[index++];}index--;wordID=10;for(n=0;n<6;n++)if(strcmp(simbol,rwtab[n])==0){wordID=n+1;break;}}else if((ch>='0')&&(ch<='9'))//判断输⼊的字符是否为数字{while((ch>='0')&&(ch<='9')){sum=sum*10+ch-'0';ch=string[index++];}index--;wordID=11;}else{switch(ch)//通过循环判断输⼊的字符是否为运算符{case'<':simbol[m++]=ch;ch=string[index++];if(ch=='='){wordID=22;simbol[m++]=ch;}else{wordID=20;index--;}break;case'>':simbol[m++]=ch;ch=string[index++];if(ch=='='){wordID=24;simbol[m++]=ch;else{wordID=23;index--;}break;case'+':simbol[m++]=ch;ch=string[index++];if(ch=='+'){wordID=17;simbol[m++]=ch;}else{wordID=13;index--;}break;case'-':simbol[m++]=ch;ch=string[index++];if(ch=='-'){wordID=29;simbol[m++]=ch;}else{wordID=14;index--;}break;case'!':ch=string[index++];if(ch=='='){wordID=21;simbol[m++]=ch;}else{wordID=31;index--;}break;case'=':simbol[m++]=ch;ch=string[index++];if(ch=='='){wordID=25;simbol[m++]=ch;}else{wordID=18;index--;}break;case'*':wordID=15;simbol[m++]=ch;break;case'/':wordID=16;simbol[m++]=ch;break;case'('://判断输⼊的字符是否为分隔符 wordID=27;simbol[m++]=ch;break;case')':wordID=28;simbol[m++]=ch;break;case'{':wordID=5;simbol[m++]=ch;break;case'}':wordID=6;simbol[m++]=ch;break;case';':wordID=26;simbol[m++]=ch;break;case'\"':wordID=30;simbol[m++]=ch;break;case'#':wordID=0;simbol[m++]=ch;break;case':':wordID=17;simbol[m++]=ch;break;default:wordID=-1;break;}}simbol[m++]='\0'; }四.运⾏结果及分析。

词法分析器实验报告词法分析器实验报告一、引言词法分析器是编译器中的重要组成部分，它负责将源代码分解成一个个的词法单元，为之后的语法分析提供基础。

本实验旨在设计和实现一个简单的词法分析器，以深入理解其工作原理和实现过程。

二、实验目标本实验的目标是设计和实现一个能够对C语言代码进行词法分析的程序。

该程序能够将源代码分解成关键字、标识符、常量、运算符等各种词法单元，并输出其对应的词法类别。

三、实验方法1. 设计词法规则：根据C语言的词法规则，设计相应的正则表达式来描述各种词法单元的模式。

2. 实现词法分析器：利用编程语言（如Python）实现词法分析器，将源代码作为输入，根据词法规则将其分解成各种词法单元，并输出其类别。

3. 测试和调试：编写测试用例，对词法分析器进行测试和调试，确保其能够正确地识别和输出各种词法单元。

四、实验过程1. 设计词法规则：根据C语言的词法规则，我们需要设计正则表达式来描述各种词法单元的模式。

例如，关键字可以使用'|'操作符将所有关键字列举出来，标识符可以使用[a-zA-Z_][a-zA-Z0-9_]*的模式来匹配，常量可以使用[0-9]+的模式来匹配等等。

2. 实现词法分析器：我们选择使用Python来实现词法分析器。

首先，我们需要读取源代码文件，并将其按行分解。

然后，针对每一行的代码，我们使用正则表达式进行匹配，以识别各种词法单元。

最后，我们将识别出的词法单元输出到一个结果文件中。

3. 测试和调试：我们编写了一系列的测试用例，包括各种不同的C语言代码片段，以测试词法分析器的正确性和鲁棒性。

通过逐个测试用例的运行结果，我们可以发现和解决词法分析器中的问题，并进行相应的调试。

五、实验结果经过多次测试和调试，我们的词法分析器能够正确地将C语言代码分解成各种词法单元，并输出其对应的类别。

例如，对于输入的代码片段：```cint main() {int a = 10;printf("Hello, world!\n");return 0;}```我们的词法分析器将输出以下结果：```关键字：int标识符：main运算符：(运算符：)运算符：{关键字：int标识符：a运算符：=常量：10运算符：;标识符：printf运算符：(常量："Hello, world!\n"运算符：)运算符：;关键字：return常量：0运算符：;```可以看到，词法分析器能够正确地将代码分解成各种词法单元，并输出其对应的类别。

词法分析器的实验报告词法分析器的实验报告引言：词法分析器是编译原理中的重要组成部分，它负责将源代码中的字符序列转换为有意义的词法单元，为后续的语法分析提供基础。

本实验旨在设计和实现一个简单的词法分析器，并对其进行测试和评估。

实验设计：1. 词法规则设计：在开始实验之前，我们首先需要设计词法规则，即定义源代码中的合法词法单元。

例如，对于一门类C的语言，我们可以定义关键字（如if、while、int等）、标识符、运算符（如+、-、*等）、分隔符（如()、{}等）等。

2. 有限自动机（DFA）的设计：基于词法规则，我们可以设计一个有限自动机，用于识别和分析源代码中的词法单元。

有限自动机是一个状态转换图，其中每个状态代表一种词法单元，而边表示输入字符的转换关系。

3. 实现代码：根据有限自动机的设计，我们可以使用编程语言（如Python、C++等）实现词法分析器的代码。

代码的主要功能包括读取源代码文件、逐个字符进行词法分析、识别和输出词法单元。

实验过程：1. 词法规则设计：我们以一门简单的算术表达式语言为例，设计了以下词法规则：- 数字：由0-9组成的整数或浮点数。

- 运算符：包括+、-、*、/等。

- 分隔符：包括括号()和逗号,。

- 标识符：以字母开头，由字母和数字组成的字符串。

2. 有限自动机（DFA）的设计：我们基于词法规则，设计了一个简单的有限自动机。

该自动机包含以下状态：- 初始状态：用于读取和识别源代码中的字符。

- 数字状态：用于识别和输出数字。

- 运算符状态：用于识别和输出运算符。

- 分隔符状态：用于识别和输出分隔符。

- 标识符状态：用于识别和输出标识符。

3. 实现代码：我们使用Python编程语言实现了词法分析器的代码。

代码主要包括以下功能：- 读取源代码文件。

- 逐个字符进行词法分析，根据有限自动机的设计进行状态转换。

- 识别和输出词法单元。

实验结果：我们对几个测试样例进行了词法分析，并对结果进行了评估。

编译原理实验（一）——词法分析器一．实验描述运行环境：vc++2008对某特定语言A ，构造其词法规则。

该语言的单词符号包括：12状态转换图3程序流程：词法分析作成一个子程序，由另一个主程序调用，每次调用返回一个单词对应的二元组，输出标识符表、常数表由主程序来完成。

二．实验目的通过动手实践，使学生对构造编译系统的基本理论、编译程序的基本结构有更为深入的理解和掌握；使学生掌握编译程序设计的基本方法和步骤；能够设计实现编译系统的重要环节。

同时增强编写和调试程序的能力。

三．实验任务编制程序实现要求的功能，并能完成对测试样例程序的分析。

四．实验原理char set[1000],str[500],strtaken[20];//set[]存储代码,strtaken[]存储当前字符char sign[50][10],constant[50][10];//存储标识符和常量定义了一个Analyzer类class Analyzer{public:Analyzer(); //构造函数 ~Analyzer(); //析构函数int IsLetter(char ch); //判断是否是字母，是则返回 1，否则返回 0。

int IsDigit(char ch); //判断是否为数字，是则返回 1，否则返回 0。

void GetChar(char *ch); //将下一个输入字符读到ch中。

void GetBC(char *ch); //检查ch中的字符是否为空白，若是，则调用GetChar直至ch进入一个非空白字符。

void Concat(char *strTaken, char *ch); //将ch中的字符连接到strToken之后。

int Reserve(char *strTaken); //对strTaken中的字符串查找保留字表，若是一个保留字返回它的数码，否则返回0。

void Retract(char *ch) ; //将搜索指针器回调一个字符位置，将ch置为空白字符。

中北大学软件学院实验报告
专业软件工程
课程名称编译原理
学号
姓名
辅导教师张静成绩
//test.cpp 测试程序路径：D:\test.cpp
main()
{
int score;
char grade;
printf("please input a score\n");
scanf("%d",amp;score);
grade=score>=90?'A':(scoregt;=60?'B':'C'); printf("%d belongs to %c",score,grade);
}
$
7、测试及结果
1、登陆界面：
2、出错异常处理：
3、结果分析：
8、心得
在本次实验中，我纠正了一个一直以来的概念错误：main不是关键字，它定义为程序的入口，是主函数！在本实验中，虽然我把main初始化在关键字表
（字符指针类型数组）*Key[10]中，当与该数组中字符串进行比较时，若与main匹配成功，则返回2，若为其他关键字则返回1，以此来把main从关键字中区别出来。

在本实验中的关键字表只初始化了几个常用的关键字，还可继续扩充（只需扩大数组，向其中补充要添加的关键字）。

如果要对本程序中未识别的c语言中的一些其他的字符进行扩充（目前处理为不可识别字符），可在程序代码中继续添加case选项，分别对相应要识别的特殊字符加以描述。