当前位置：文档之家 › 编译原理-词法分析器

编译原理-词法分析器

  • 格式：doc
  • 大小：209.50 KB
  • 文档页数：11

词法分析程序一、实验目的通过设计编制调试一个具体的词法分析程序，加深对词法分析原理的理解。

并掌握在对程序设计语言源程序进行扫描过程中将其分解为各类单词的词法分析方法。

编制一个读单词过程，从输入的源程序中，识别出各个具有独立意义的单词，即基本保留字、标识符、常数、运算符、分隔符五大类。

并依次输出各个单词的类型码及单词符号的自身值。

（遇到错误时可显示“Error”，然后跳过错误部分继续显示）二、实验要求用C或C++写一个简单的词法分析程序，程序可以满足下列要求：1、能分析如下几种简单的语言词法(1) 标识符： ID=letter(letter|digit)*(2) 关键字（全部小写）main int float double char if then else switch case break continue while do for(3)整型常量：NUM=digit digit*(4)运算符: = + - * / < <= == != > >= ; （）? :(5)空格由空白、制表符和换行符组成，用以分隔ID、NUM、运算符等，字符分析时被忽略。

2、单词符号和相应的类别码假定单词符号和相应的类别码如下：单词符号种别码int 1 = 17 float 2 < 20 if 3 <= 21 switch 4 == 22 while 5 != 23 Do 6 > 24标识符 10 >= 25 整型常量 11 ; 26 + 13 ( 27- 14 ) 28 * 15 ? 29 / 16 : 303、词法分析程序实现的功能输入：单词序列（以文件形式提供），输出识别的单词的二元组序列到文件和屏幕输出：二元组构成：（syn，token或sum）其中： syn 为单词的种别码token 为存放的单词自身符号串sum 为整型常数例：源程序： int ab； float ef=20；ab=10+ef；输出：(保留字--1,int) (标识符--10,ab) (分号--26,;)(保留字--2,float) (标识符--10,ef) (等号--17,=)(整数--11,20) (分号--26,;) (标识符--10,ab)(等号--17,=) (整数--11,10) (加号--13,+)(标识符--10,ef) (分号--26,;)4、自己准备测试数据存放于TestData.txt文件中，测试数据中应覆盖有以上5种数据，测试结果要求以原数据与结果对照的形式输出并保存在Result.txt中，同时要把结果输出到屏幕。

5、提前准备①实验前,先编制好程序,上机时输入并调试程序。

②准备好多组测试数据(存放于文件TestData.txt中)。

6、写出实验报告报告格式：要求有实验名称、实验目的、实验要求、实验内容、实验小结。

其中实验内容包括算法分析、程序流程图及程序代码。

一,系统介绍本系统使用面象对象语言C#语言编写,对C语言源程序的一个词法分析的程序, 实现界面化,并且可以以手动输入,和导入等两种方式对源程序的输入.分析得到的分析结果,可以能过手动地保存在本地电脑中,也可以自动保存在”词法分析器\词法分析器\bin\Debug\Text”目录下.并且运行的结果可以在显示器上观看…分析部分算法:1.把文本的内容赋值为一个字符串2.从头到尾扫描这个字串,把它分为两类,一类为标识符,别一类为符号3.对标识符进行为类,分为关键字,数字,标准标识符和错误的字符串.分类方法为,先将其它为分数字与非数字.是数字则打印数字信息.不是数字则与关键字表对照,有则打印关键字信息,无则再根据标识符的规则判断是否为标识符,是则打印标识符信息,不是则打印错误信息.4.对符号进行分类,分为运算符和界符,分类方法为用现有的字符串与标准的种别码进行比较,有则打印相应信息,无则打印错误信息.5.最后统计错误信息,并且保存相应的源文件与分析结果文件三,调试运行:界面四,原码:using System;using System.Collections.Generic;using ponentModel;using System.Data;using System.Drawing;using System.Text;using System.Windows.Forms;using System.IO;namespace词法分析器{public partial class词法分析器 : Form{public string path1 = "", path2 = "";//路径1,路径2public词法分析器(){InitializeComponent();}private void ListViewer_Load(object sender, EventArgs e) //Load{this.saveFiles.Enabled = false; //控件隐藏this.button1.Enabled = false;bel1.Visible = false;bel2.Visible = false;this.linkLabel1.Visible = false;this.linkLabel2.Visible = false;}//打开文件的函数private void openFiles_Click(object sender, EventArgs e){openFileDialog1.InitialDirectory = "";openFileDialog1.Title = "请选择文件";openFileDialog1.FileName = "";openFileDialog1.Filter = "文本文档(*.txt)|*.txt";if (openFileDialog1.ShowDialog() != DialogResult.Cancel){System.IO.StreamReader sr = newSystem.IO.StreamReader(openFileDialog1.FileName);this.textBox1.Text = sr.ReadToEnd();sr.Close();sr.Dispose();}bel1.Visible = false; //控件隐藏bel2.Visible = false;this.linkLabel1.Visible = false;this.linkLabel2.Visible = false;}//保存源文件的函数private void saveFiles_Click(object sender, EventArgs e){string stringTemp = this.textBox1.Text;saveFileDialog1.Title = "请输入要保存的文件名";saveFileDialog1.Filter = "文本文档(*.txt)|*.txt";saveFileDialog1.OverwritePrompt = true;if (saveFileDialog1.ShowDialog() == DialogResult.OK){path1 = saveFileDialog1.FileName;StreamWriter sw = new StreamWriter(path1);sw.Write(stringTemp);sw.Close();sw.Dispose();bel1.Visible = true;this.linkLabel1.Visible = true;this.linkLabel1.Text = path1.Substring(stIndexOf("\\") + 1); }this.saveFiles.Enabled = false;}private void button1_Click(object sender, EventArgs e) //保存结果{string[] stringTemp = new string[this.resultListBox1.Items.Count]; saveFileDialog1.Title = "请输入要保存的文件名";saveFileDialog1.Filter = "文本文档(*.txt)|*.txt";saveFileDialog1.OverwritePrompt = true;if (saveFileDialog1.ShowDialog() == DialogResult.OK){path2 = saveFileDialog1.FileName;StreamWriter sw = new StreamWriter(path2);for(int counter = 0; counter < this.resultListBox1.Items.Count; counter++) sw.WriteLine(this.resultListBox1.Items[counter].ToString()); sw.Close();sw.Dispose();bel2.Visible = true;this.linkLabel2.Visible = true;this.linkLabel2.Text = path2.Substring(stIndexOf("\\") + 1); }this.button1.Enabled = false;}private void save()//自动保存结果{try{bel1.Visible = true; //控件显示bel2.Visible = true;this.linkLabel1.Visible = true;this.linkLabel2.Visible = true;string stringTemp1 = this.textBox1.Text; //保存源文件string date = DateTime.Now.ToString("HH-mm-ff");string zipath1 = "TestData(" + date + ").txt";path1 = Application.StartupPath + "\\Text\\" + zipath1;StreamWriter sw1 = new StreamWriter(path1);sw1.Write(stringTemp1);this.linkLabel1.Text = zipath1;sw1.Close();sw1.Dispose();string zipath2 = "Result(" + date + ").txt";//保存分析结果path2 = Application.StartupPath + "\\Text\\" + zipath2;StreamWriter sw2 = new StreamWriter(path2);for(int counter = 0; counter < this.resultListBox1.Items.Count; counter++) sw2.WriteLine(this.resultListBox1.Items[counter].ToString());this.linkLabel2.Text = zipath2;sw2.Close();sw2.Dispose();}catch{MessageBox.Show("保存失败, 请手动保存!", "警告",MessageBoxButtons.OK, MessageBoxIcon.Warning);this.saveFiles.Enabled = true;this.button1.Enabled = true;bel1.Visible = false; //控件显示bel2.Visible = false;this.linkLabel1.Visible = false;this.linkLabel2.Visible = false;}}//分析函数private void BeginToAnalyse_Click(object sender, EventArgs e){if (MessageBox.Show("您要在分析完成后,自动保存分析结果吗?", "温馨提示", MessageBoxButtons.YesNo, MessageBoxIcon.Warning) == DialogResult.Yes){//判断列表是否为空，否则清空列表if (this.resultListBox1.Items.Count != 0)this.resultListBox1.Items.Clear();char[] getch = textToCharArray();//字符数组。

合集下载

编译原理-实验二-FLEX词法分析器

编译原理-实验二-FLEX词法分析器

编译原理-实验⼆-FLEX词法分析器FLEX词法分析器⼀、Lex和Yacc介绍Lex 是⼀种⽣成扫描器的⼯具。

扫描器是⼀种识别⽂本中的词汇模式的程序。

⼀种匹配的常规表达式可能会包含相关的动作。

这⼀动作可能还包括返回⼀个标记。

当 Lex 接收到⽂件或⽂本形式的输⼊时，它试图将⽂本与常规表达式进⾏匹配。

它⼀次读⼊⼀个输⼊字符，直到找到⼀个匹配的模式。

如果能够找到⼀个匹配的模式，Lex 就执⾏相关的动作（可能包括返回⼀个标记）。

另⼀⽅⾯，如果没有可以匹配的常规表达式，将会停⽌进⼀步的处理，Lex 将显⽰⼀个错误消息。

Yacc代表 Yet Another Compiler Compiler 。

Yacc 的 GNU 版叫做 Bison。

它是⼀种⼯具，将任何⼀种编程语⾔的所有语法翻译成针对此种语⾔的 Yacc 语法解析器。

（下载下载flex和bison。

⽹址分别是/packages/flex.htm和/packages/bison.htm。

）⼆、配置环境（win7）①下载flex和bison并安装到D:\GnuWin32（尽量是根⽬录）②由于我们使⽤的flex和bison都是GNU的⼯具，所以为了⽅便，采⽤的C/C++编译器也采⽤GNU的编译器GCC，当然我们需要的也是Windows版本的GCC了。

所以提前准备好VC 6.0③检验是否可以进⾏lex⽂件编译1.新建⽂本⽂件，更改名称为lex.l，敲⼊下⾯代码%{int yywrap(void);%}%%%%int yywrap(void){return 1;}2.新建⽂本⽂件，更改名称为yacc.y,敲⼊下⾯代码%{void yyerror(const char *s);%}%%program:;%%void yyerror(const char *s){}int main(){yyparse();}我们暂且不讨论上⾯代码的意思。

打开控制台，进⼊到刚才所建⽴⽂件（lex.l,yacc.y）所在的⽂件夹。

编译原理课程设计-词法分析器

编译原理课程设计-词法分析器

计算机与信息学院编译原理课程设计实验报告专业班级计算机科学与技术专业08-4班学生姓名及学号胡义涛20082645课程教学班号0001任课教师王仲宾实验指导教师王仲宾实验地点逸夫楼5072010~2011 第三学年第一学期一、实验目的和要求：设计并实现一个C语言(或C++语言)的词法分析程序，加深对词法分析原理的理解。

二、试验设计和算法分析：实验原理：程序流程：置初值→调用扫描子程序→输出串结束→输出单词二元组→是→否→结束词法分析主程序示意图待分析的简单语言的词法(1) 关键字：begin if then while do end所有关键字都是小写。

（2）运算符和界符：：= + - * / < > <= <> >= ; ( ) #(3)空格由空白、制表符和换行符组成。

词法分析程序的算法思想算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。

三、源代码：#include "stdio.h"#include "string.h"#include "conio.h"#include "ctype.h"char prog[80]={'\0'},token[8]; /*存放构成单词符号的字符串*/char ch;int syn, /*存放单词字符的种别码*/n,sum, /*存放整数型单词*/m,p; /*p是缓冲区prog的指针，m是token的指针*/char*rwtab[6]={"begin","if","then","while","do","end" };void scaner(){m=0;sum=0;for(n=0;n<8;n++){token[n]='\0';}ch=prog[p++];while(ch==' '){ch=prog[p++];}if(isalpha(ch)) //ch为字母字符{while(isalpha(ch)||isdigit(ch))//ch 为字母字符或者数字字符{token[m++]=ch;ch=prog[p++];}token[m++]='\0';ch=prog[p--];syn=10;for(n=0;n<6;n++){ if(strcmp(token,rwtab[n])==0) //字符串的比较{syn=n+1;break;}}}elseif(isdigit(ch)) //ch是数字字符{while(isdigit(ch)) //ch是数字字符{sum=sum*10+ch-'0';ch=prog[p++];}ch=prog[p--];syn=11;}elseswitch(ch) //匹配表示符{case'<':m=0;token[m++]=ch;ch=prog[p++];if(ch=='>'){syn=21;token[m++]=ch;}else if(ch=='='){syn=22;token[m++]=ch;}else{syn=20;ch=prog[p--];}break;case'>':m=0;token[m++]=ch;ch=prog[p++];if(ch=='=')syn=24;token[m++]=ch;}else{syn=23;ch=prog[p--];}break;case':':m=0;token[m++]=ch;ch=prog[p++];if(ch=='='){syn=18;token[m++]=ch;}else{syn=17;ch=prog[p--];break;case'10':syn=12;token[0]='n';break;case'11':syn=12;token[0]='n';break;case'+':syn=13;token[0]=ch;break;case'-':syn=14;token[0]=ch;break;case'*':syn=15;token[0]=ch;break;case'/':syn=16;token[0]=ch;break;case'=':syn=25;token[0]=ch;break;case';':syn=26;token[0]=ch;break;case'(':syn=27;token[0]=ch;break;case')':syn=28;token[0]=ch;break;case'#':syn=0 ;token[0]=ch;break;default:syn=-1;}}main(){printf("\n\n对应信息:\n""1.1-6为关键字\n""2.10-11为字符或常量\n""3.12-28为表示符\n");p=0;printf("\nplease input string:\n");do {ch=getchar();prog[p++]=ch;}while(ch!='#');p=0;do{scaner();switch(syn){case 11: printf("(%d,%d)\n",syn,sum);break;case -1: printf("\n ERROR;\n");break;default: printf("(%d,%s)\n",syn,token); }}while(syn!=0);getch();}四、实验结果及总结：输出：总结：通过该实验，主要有以下几方面收获：一、对实验原理有更深的理解。

编译原理词法分析实验报告

编译原理词法分析实验报告

编译原理词法分析实验报告实验名称:词法分析器的设计与实现一、实验目的：1.熟悉编译原理中词法分析的基本概念和原理；2.掌握正则表达式的使用方法；3.实现一个简单的词法分析器。

二、实验内容：1.设计一个简单的编程语言，包含如下几种类型的词法单元：关键字、标识符、常量、运算符和界符。

2.使用正则表达式定义每种词法单元的模式。

3.设计一个词法分析器，将源代码中的每个词法单元识别出来并输出。

三、实验步骤：1. 确定编程语言的词法单元类型和正则表达式模式，定义相应的单词类型（如 TokenType）和模式（如 regex）。

2. 实现一个词法分析器的类 Lexer，包含以下方法：(1)一个构造方法，用于初始化词法分析器的输入源代码。

(2) 一个getNextToken方法，用于获取源代码中的下一个词法单元。

3. 在getNextToken方法中，使用正则表达式逐个识别源代码中的词法单元，并返回相应的Token对象。

4. 设计一个Token类，包含以下属性：词法单元类型、词法单元的值和位置信息等。

5.在主程序中使用词法分析器，将源代码中的每个词法单元识别出来并输出。

四、实验结果：1.设计一个简单的编程语言，包含如下词法单元类型（示例）：(1) 关键字：if、else、while、for等；(2)标识符：变量名等；(3)常量：整数、浮点数、字符串等；(4)运算符：+、-、*、/、=等；(5)界符：(、)、{、}、;等。

2. 实现一个词法分析器，识别出源代码中的每个词法单元，并输出相应的Token对象。

五、实验总结：通过本次实验，我熟悉了编译原理中词法分析的基本概念和原理，并掌握了正则表达式的使用方法。

我成功完成了一个简单的词法分析器的设计与实现，实现了源代码中每个词法单元的识别与输出。

这次实验对我深化了对编译原理中词法分析的理解，并提高了我的编程能力。

编译原理课程设计—词法分析器

编译原理课程设计—词法分析器

编译原理课程设计（一）——词法分析器1、题目编写程序实现一个简易的词法分析器。

2、实验目的对一段程序代码进行词法分析，将程序段中的关键字、标识符、常数、运算符、界符按照一定的种别编码分析出来。

3、环境及工具操作系统：windows XP ；使用工具：Microsoft Visual C++ 6.0； 编程语言：C 语言；4、分析程序输入：从文件中读入程序段；程序输出：由单词种别和单词符号的属性值组成的二元式；单词种别通常使用整数编码，编码方式可以有多种，在设计词法分析器之前应确定一种程序处理起来较方便的编码方式。

当一个种别中含有多个单词符号时，在分析出其属于哪个种别的时候应同时给出其单词符号属性，本程序为方便起见，采用单词符号本身来作为其属性，以标识同种别种的不同单词符号。

标识符及关键字的识别：字母开头的字母和数字组成的串是多数编程语言的标识符，所以我们的简易词法分析器中，将标识符定义为这种字母数字串。

当第一个字母为字母且紧接着的字符为数字或字母时，应将其串接在一起为一个单词，直到紧跟着的不在是字母数字时。

由于关键字通常为一个单词，则这样得到的串可能是标识符也可能是关键字，又因为一种语言的关键字通常是有限个，则我们可以构造一个存放所有关键字的表，查询关键字表，可以判断得到的串是否为关键字。

界符和运算符的识别：它们多为当个字符，建立两个分别存放界符合运算符的表，读取字符后，进行查表便可以得出它们的类型。

为方便词法分析器的设计，可以使用状态转换图，根据一种特定的编程语言先设计出其状态转换图才能更好将其用代码实现。

典型状态转换图结构如下：(a)有不含回路含分支的状态节点：对应if …else if …else …语句；(b)有含回路的状态节点：对应while …if …语句。

（b ）5、状态转换图6、程序框架描述程序中编写了以下函数，各个函数实现的作用如下：1. GetChar()：将下一输入的字符读入到全局变量ch中，搜素指示器前移一个字符的位置。