编译原理-设计c语言的词法分析器知识分享

编译原理词法分析与语法分析的核心算法编译原理是计算机科学与技术领域中的一门重要课程。

在编程中，我们常常需要将高级语言编写的程序翻译成机器语言，使计算机能够理解并执行我们编写的程序。

而编译原理中的词法分析和语法分析是编译器的两个核心算法。

一、词法分析词法分析是编译器的第一个阶段，它负责将输入的字符序列（源代码）划分为一个个的有意义的词素（Token），并生成相应的词法单元（Lexeme）。

词法分析的核心算法主要包括以下两个步骤：1. 正则表达式到有限自动机的转换：正则表达式是一种描述字符串匹配模式的表达式，它可以用来描述词法分析中各种词素的规则。

而有限自动机则是一种用来识别或匹配正则表达式所描述的模式的计算模型。

将正则表达式转换为有限自动机是词法分析的关键步骤之一。

2. 词法分析器的生成：在将正则表达式转换为有限自动机后，我们可以使用生成器工具（如Lex、Flex等）来生成词法分析器。

词法分析器可以按照预定的规则扫描源代码，并将识别出的词素转换成相应的词法单元，供后续的语法分析使用。

二、语法分析语法分析是编译器的第二个阶段，它负责分析和处理词法分析阶段生成的词法单元序列，并根据预定的语法规则确定语法正确的序列。

语法分析的核心算法主要包括以下两个步骤：1. 上下文无关文法的定义：上下文无关文法（Context-Free Grammar，简称CFG）是一种用于描述形式语言的文法。

它由一组产生式和终结符号组成，可以用于描述语法分析中的语法规则。

在语法分析中，我们需要根据具体编程语言的语法规则，编写相应的上下文无关文法。

2. 语法分析器的生成：通过使用生成器工具（如Yacc、Bison等），我们可以根据上下文无关文法生成语法分析器。

语法分析器可以根据预先定义的文法规则，对词法单元序列进行分析，并构建出语法树（Parse Tree）供后续的语义分析和代码生成使用。

综上所述，词法分析与语法分析是编译原理中的两个重要阶段，也是实现编译器的核心算法。

计算机与信息学院编译原理课程设计实验报告专业班级计算机科学与技术专业08-4班学生姓名及学号胡义涛20082645课程教学班号0001任课教师王仲宾实验指导教师王仲宾实验地点逸夫楼5072010~2011 第三学年第一学期一、实验目的和要求：设计并实现一个C语言(或C++语言)的词法分析程序，加深对词法分析原理的理解。

二、试验设计和算法分析：实验原理：程序流程：置初值→调用扫描子程序→输出串结束→输出单词二元组→是→否→结束词法分析主程序示意图待分析的简单语言的词法(1) 关键字：begin if then while do end所有关键字都是小写。

（2）运算符和界符：：= + - * / < > <= <> >= ; ( ) #(3)空格由空白、制表符和换行符组成。

词法分析程序的算法思想算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。

三、源代码：#include "stdio.h"#include "string.h"#include "conio.h"#include "ctype.h"char prog[80]={'\0'},token[8]; /*存放构成单词符号的字符串*/char ch;int syn, /*存放单词字符的种别码*/n,sum, /*存放整数型单词*/m,p; /*p是缓冲区prog的指针，m是token的指针*/char*rwtab[6]={"begin","if","then","while","do","end" };void scaner(){m=0;sum=0;for(n=0;n<8;n++){token[n]='\0';}ch=prog[p++];while(ch==' '){ch=prog[p++];}if(isalpha(ch)) //ch为字母字符{while(isalpha(ch)||isdigit(ch))//ch 为字母字符或者数字字符{token[m++]=ch;ch=prog[p++];}token[m++]='\0';ch=prog[p--];syn=10;for(n=0;n<6;n++){ if(strcmp(token,rwtab[n])==0) //字符串的比较{syn=n+1;break;}}}elseif(isdigit(ch)) //ch是数字字符{while(isdigit(ch)) //ch是数字字符{sum=sum*10+ch-'0';ch=prog[p++];}ch=prog[p--];syn=11;}elseswitch(ch) //匹配表示符{case'<':m=0;token[m++]=ch;ch=prog[p++];if(ch=='>'){syn=21;token[m++]=ch;}else if(ch=='='){syn=22;token[m++]=ch;}else{syn=20;ch=prog[p--];}break;case'>':m=0;token[m++]=ch;ch=prog[p++];if(ch=='=')syn=24;token[m++]=ch;}else{syn=23;ch=prog[p--];}break;case':':m=0;token[m++]=ch;ch=prog[p++];if(ch=='='){syn=18;token[m++]=ch;}else{syn=17;ch=prog[p--];break;case'10':syn=12;token[0]='n';break;case'11':syn=12;token[0]='n';break;case'+':syn=13;token[0]=ch;break;case'-':syn=14;token[0]=ch;break;case'*':syn=15;token[0]=ch;break;case'/':syn=16;token[0]=ch;break;case'=':syn=25;token[0]=ch;break;case';':syn=26;token[0]=ch;break;case'(':syn=27;token[0]=ch;break;case')':syn=28;token[0]=ch;break;case'#':syn=0 ;token[0]=ch;break;default:syn=-1;}}main(){printf("\n\n对应信息:\n""1.1-6为关键字\n""2.10-11为字符或常量\n""3.12-28为表示符\n");p=0;printf("\nplease input string:\n");do {ch=getchar();prog[p++]=ch;}while(ch!='#');p=0;do{scaner();switch(syn){case 11: printf("(%d,%d)\n",syn,sum);break;case -1: printf("\n ERROR;\n");break;default: printf("(%d,%s)\n",syn,token); }}while(syn!=0);getch();}四、实验结果及总结：输出：总结：通过该实验，主要有以下几方面收获：一、对实验原理有更深的理解。

编译原理----词法分析程序----C语⾔版#include<stdio.h>#include<string.h>#include<stdlib.h>char KeyWord[20][100]={"begin","end","if","while","var","procedure","else","for","do","int","read","write"};char yunsuanfu[]="+-*/<>%=";char fenjiefu[]=",;(){}:";int main(){char test[]="var a=10;\nvar b,c;\nprocedure p; \n\tbegin\n\t\tc=a+b\n\tend\n";int len_yunsuanfu=strlen(yunsuanfu);int len_fenjiefu=strlen(fenjiefu);puts(test);int length=strlen(test),i,j,k;for(i=0;i<length;i++){if(test[i]==' '||test[i]=='\n'||test[i]=='\t')continue;int tag=0;for(j=0;j<len_fenjiefu;j++){if(fenjiefu [j]==test[i]){printf("分界符\t%c\n",test[i]);tag=1;break;}}if(tag==1)continue;tag=0;for(j=0;j<len_yunsuanfu;j++){if(yunsuanfu[j]==test[i]){printf("运算符\t%c\n",test[i]);tag=1;break;}}if(tag==1)continue;if(test[i]>='0'&&test[i]<='9'){printf("数字\t");while(test[i]>='0'&&test[i]<='9'){printf("%c",test[i]);i++;}printf("\n");continue;}char temp[100];j=0;while(test[i]>='0'&&test[i]<='9'||test[i]>='a'&&test[i]<='z'||test[i]>='A'&&test[i]<='Z'||test[i]=='_') {temp[j++]=test[i];i++;}i--;temp[j++]='\0';tag=0;for(j=0;j<20;j++){if(strcmp(temp,KeyWord[j])==0){tag=1;printf("关键字\t%s\n",temp);break;}}if(tag==0)printf("标识符\t%s\n",temp);}}。

编译方法课程设计词法分析器设计学院：计算机与信息工程学院专业：软件工程学号：姓名：指导教师：职称：设计报告日期：二О一二年十二月目录1设计概述 (2)1.1设计题目 (2)1.2 设计目的 (3)1.3 设计任务内容： (3)1.4 设计时间 (3)2 设计环境与工具 (3)3设计要求 (3)4分析与概要设计 (4)5算法描述与框图 (4)6 源程序清单 (6)7 软件测试 (10)7.1 设计的测试题目 (10)7.2测试结果截图 (10)8 总结 (10)8 参考文献 (11)1设计概述1.1设计题目词法分析器的设计与实现。

1.2 设计目的词法分析是编译程序第一个阶段的工作，它的任务是对输入的字符串形式的源程序进行扫描，在扫描的同时，根据源语言的词法规则识别具有独立意义的单词。

本设计是C++高级程序语言，数据结构和变异原理中词法分析原理等知识的综合运用。

掌握生成词法分析器的方法，加深对词法分析原理的理解，掌握设计，编制并调试词法分析程序的思想和方法。

1.3 设计任务内容：1、格式输入：将C++语言的源代码从文本文档中读入。

处理：对输入框中的代码进行词法分析，分离出关键字、标示符、数值、运算符和界符。

输出：在文本文档中输出每个单词对应的编码和值。

2、编译对象声明和其他标记赋值语句分支结构语句循环语句1.4 设计时间2012年12月23日至2012年12月28日2 设计环境与工具Windows7环境下使用 C++语言。

3设计要求1、使用任何一种编程语言编制一个词法分析程序。

2、该程序能够识别的单词有5类：（1）关键字："long", "float", "static", "char", "short", "switch", "int", "const", "if", "then", "else", "for", "while", "break"。

2011—2012学年第一学期《编译原理》课程设计报告专业：计算机科学与技术学生姓名：张金荣指导教师：孔繁茹完成时间：2017年8月15日目录第 1 节课程设计目的 (1)第 2 节课程设计要求 (1)第 3 节课程设计内容 (2)第 4 节状态转换图 (4)第 5 节实现工具 (4)第 6 节实现函数 (4)第7 节测试结果 (5)第8 节实验源代码 (6)第9 节参考文献 (9)致谢感设计目的①理解词法分析器的基本功能。

词法分析的任务是：从左至右逐个字符地对源程序进行扫描，产生一个个的单词符号（token），把作为字符串的源程序改造成单词符号串的中间程序。

因此，词法分析是编译的基础。

②理解词法规则的描述方法。

程序设计语言一般可以用标识符、关键字、运算符、分隔符、常量、字符串和注释符来描述④理解状态转换图及其实现。

一个状态转换图可用于识别（或接受)一定的字符。

大多数程序语言的单词符号都可以用转换图予以识别。

转换图非常易于用程序实现，最简单的办法是让每个状态结对应一小段程序。

④能够编写简单的词法分析器。

2.课程设计的要求手工构造一个简单的词法分析程序, 能够识别标识符、整数、关键字、算符、界符。

①画出识别单词的状态转换图。

(若状态转换图过于复杂,可以只画出主要部分；若依旧复杂，可只识别标识符和整数)②根据状态转换图手工构造词法分析程序。

从以下方法中选一：✧词法分析器作为独立的一遍。

词法分析结果输出到屏幕上或存入文件。

✧词法分析器作为一个子程序被语法分析器调用。

每次调用返回一个单词同时将单词及属性存入符号表③实现状态转换图。

从以下方法中选一：✧直接转向法✧表驱动法四、选做实验☻使用缓冲技术3.课程设计内容程序语言的单词符号一般可分为下列五种。

(1)关键字是由程序语言定义的具有固定意义的标志符。

本程序定义char,short,int,unsigned,long,float,double,struct,union,void,enum,cons t,typedef,auto,static,break,case,continue,default,do,else,for,if,retu rn,switch,while,sizeof,printf,FILE,fopen,NULL,fclose,exit,read,closef ，printf为关键字。

编译原理中的词法分析与语法分析原理解析编译原理是计算机科学中的重要课程，它研究的是如何将源程序翻译成目标程序的过程。

而词法分析和语法分析则是编译过程中的两个重要阶段，它们负责将源程序转换成抽象语法树，为接下来的语义分析和代码生成阶段做准备。

本文将从词法分析和语法分析的原理、方法和实现技术角度进行详细解析，以期对读者有所帮助。

一、词法分析的原理1.词法分析的定义词法分析（Lexical Analysis）是编译过程中的第一个阶段，它负责将源程序中的字符流转换成标记流的过程。

源程序中的字符流是没有结构的，而编程语言是有一定结构的，因此需要通过词法分析将源程序中的字符流转换成有意义的标记流，以便之后的语法分析和语义分析的进行。

在词法分析的过程中，会将源程序中的字符划分成一系列的标记（Token），每个标记都包含了一定的语义信息，比如关键字、标识符、常量等等。

2.词法分析的原理词法分析的原理主要是通过有限状态自动机（Finite State Automaton，FSA）来实现的。

有限状态自动机是一个数学模型，它描述了一个自动机可以处于的所有可能的状态以及状态之间的转移关系。

在词法分析过程中，会将源程序中的字符逐个读取，并根据当前的状态和字符的输入来确定下一个状态。

最终，当字符读取完毕时，自动机会处于某一状态，这个状态就代表了当前的标记。

3.词法分析的实现技术词法分析的实现技术主要有两种，一种是手工实现，另一种是使用词法分析器生成工具。

手工实现词法分析器的过程通常需要编写一系列的正则表达式来描述不同类型的标记，并通过有限状态自动机来实现这些正则表达式的匹配过程。

这个过程需要大量的人力和时间，而且容易出错。

而使用词法分析器生成工具则可以自动生成词法分析器的代码，开发者只需要定义好源程序中的各种标记，然后通过这些工具自动生成对应的词法分析器。

常见的词法分析器生成工具有Lex和Flex等。

二、语法分析的原理1.语法分析的定义语法分析（Syntax Analysis）是编译过程中的第二个阶段，它负责将词法分析得到的标记流转换成抽象语法树的过程。

C语言编译原理词法分析和语法分析编程语言的编写和使用离不开编译器的支持，而编译器的核心功能之一就是对代码进行词法分析和语法分析。

C语言作为一种常用的高级编程语言，也有着自己的词法分析和语法分析规则。

一、词法分析词法分析是编译器的第一阶段，也是将源代码拆分为一个个独立单词（token）的过程。

在C语言中，常见的单词包括关键字（如if、while等）、标识符（如变量名）、常量（如数字、字符常量）等。

词法分析器会根据预定义的规则对源代码进行扫描，并将扫描到的单词转化为对应的符号表示。

词法分析的过程可以通过有限自动机来实现，其中包括各种状态和状态转换规则。

词法分析器通常会使用正则表达式和有限自动机的方法来进行实现。

通过词法分析，源代码可以被分解为一个个符号，为后续的语法分析提供基础。

二、语法分析语法分析是编译器的第二阶段，也是将词法分析得到的单词序列转换为一棵具有语法结构的抽象语法树（AST）的过程。

在C语言中，语法分析器会根据C语言的文法规则，逐句解析源代码，并生成相应的语法树。

C语言的语法规则相对复杂，其中包括了各种语句、表达式、声明等。

语法分析的过程主要通过递归下降分析法、LR分析法等来实现。

语法分析器会根据文法规则建立语法树的分析过程，对每个语法结构进行逐步推导和分析，最终生成一棵完整的语法树。

三、编译器中的词法分析和语法分析在编译器中实现词法分析和语法分析是一项重要的技术任务。

编译器通常会将词法分析和语法分析整合在一起，形成一个完整的前端。

在C语言编译器中，词法分析和语法分析器会根据C语言的词法规则和文法规则，对源代码进行解析，并生成相应的中间表示形式，如语法树或者中间代码。

词法分析和语法分析的结果会成为后续编译器中各个阶段的输入，如语义分析、中间代码生成、目标代码生成等。

编译器的优化和错误处理也与词法分析和语法分析有密切关系。

因此，对词法分析和语法分析的理解和实现对于编译器开发者而言是非常重要的。

编译原理课程设计报告题目：学院：教师：：学号：班级：评分：签字：编译原理课程设计一：设计c语言的词法分析器一、实验目的了解高级语言单词的分类，了解状态图以及如何表示并识别单词规则，掌握状态图到识别程序的编程，加深对词法原理的理解。

二、实验要求了解高级语言单词的分类，了解状态图以及如何表示并识别单词规则，掌握状态图到识别程序的编程。

三、实验设计3.1．单词分类及表示3.1.1 C语言的子集分类（1）标识符：以字母开头的字母数字串（2）整数或浮点型。

（3）保留字：for,while,do,else,if,static,int,sizeof,break,continue（4）运算符：+，-，*，/，%,>,<,=,!=,==,<=,>=,!,&,&&,||;（5）界符："(",")",",",":",";","{","}"3.1.2单词二元组（单词分类号、单词自身值）3.2 词法分析器的设计3.2.1算法设计3.2.1.1概要设计从文件中逐个读取字符，只要这五大类的状态序列则继续读取，否则回退字符，在对应类别进行查找，输出单元二次组至另一文件夹。

3.2.1.2状态图设计开始打开txt文件读取c语言代码扫描是否读取到相应字符常数？标识符保留字运算符记录标号结束界符？YY Y3.2.2输入输出设计输入：通过文件指针从文件中一个一个读取字符输出：输出单词二元组至文件。

格式为（种别码，值）3.2.3主要函数void Getchar(FILE *fp ) //读入一个字符void GetBC(FILE *fp)//读入一个非空字符void contacat()//连接字符int letter()//判断是否为字母int digit()//判断是否为字母void retract(FILE *fp,char *c)//回退int reserve (char **k)//处理保留字int sysmbol(identifier *id)//处理标识符，查找符号表并存放位置若没有则添加int constant(constnumber *con)//存入常数表，并返回它在常数表中的位置void Tofile(int num, int val, identifier *id, constnumber *con, FILE *fw)//写到文件void WordAnalyze(char **k,char *c, char **CODE, identifier *id, constnumber *con, FILE *fp, FILE *fw)//词法分析函数四、结果测试文件输入int main(){int a=1,b=3;if(a>1)b=b-2;}输出结果：结论：程序输出结果与期望输出结果相符。

编译原理实验—词法分析器一、实验目的通过动手实践，使学生对构造编译系统的基本理论、编译程序的基本结构有更为深入的理解和掌握；使学生掌握编译程序设计的基本方法和步骤；能够设计实现编译系统的重要环节。

同时增强编写和调试程序的能力。

二、实验内容及要求对某特定语言A ，构造其词法规则。

该语言的单词符号包括：保留字(见左下表)、标识符（字母大小写不敏感）、整型常数、界符及运算符(见右下表) 。

功能要求如下所示：·按单词符号出现的顺序，返回二元组序列，并输出。

·出现的标识符存放在标识符表，整型常数存放在常数表，并输出这两个表格。

·如果出现词法错误，报出：错误类型，位置（行，列）。

·处理段注释（/* */），行注释（//）。

·有段注释时仍可以正确指出词法错误位置（行，列）。

三、实验过程1、词法形式化描述使用正则文法进行描述，则可以得到如下的正规式:其中ID表示标识符，NUM表示整型常量，RES表示保留字，DEL表示界符，OPR表示运算符。

A→(ID | NUM | RES | DEL | OPR) *ID→letter(letter | didit)*NUM→digit digit*letter→a | … | z | A | … | Zdigit→ 0 | … | 9RES→ program | begin | end | var | int | and | or | not | if | then | else | while | doDEL→( | ) | . | ; | ,OPR→+ | * | := | > | < | = | >= | <= | <>如果关键字、标识符和常数之间没有确定的算符或界符作间隔，则至少用一个空格作间隔。

空格由空白、制表符和换行符组成。

2、单词种别定义；A语言中的单词符号及其对应的种别编码如下表所示：单词符号种别编码单词符号种别编码3、状态转换图；语言A的词法分析的状态转换图如下所示：空格符，制表符或回车符字母或数字4、java旗舰版5、关键算法的流程图及文字解释；程序中用到的函数列表：A类定义各种类函数以及包含主函数public static void main（）变量ch储存当前最新读进的字符的地址strToken存放当前字符串main（） //主函数Analysis（）//分析函数，每次读入一行文件，进行识别处理；char GetChar(); //取得当前位置的字符的内容放入ch，并提前指向下一个字符；char GetNextChar（）；//取得当前位置的下一位置的字符，String ConCat(); //将ch指向的字符连接到strToken后面isLetter(); //判断ch指向的字符是否字母isDigit(); //判断ch指向的字符是否数字add（p，str）; //向p表中插入当前strToken的字符串Boolean findKeyWord(str); //检测当前strToken中的字符串是否保留字,若是,则执行getKeyWordKey（str），返回保留字的id，否则，判别其是否是已存在的标示符，若是，返回标示符的id以及该标示符在表中的位置；findPunctuation（）//判断是否是一个保留的符号；getindex（） //返回已经识别的标示符或者是数字的位置下标；Boolean exist(); //检测当前strToken中的字符串是否在标识符表中已存在,若是,则返回true,否则返回falsevoid callError(); //出错处理过程,将错误的位置报告出来（1）main（）函数的流程图如下:）具体分析流程图：开始类初始化，变量的初始化，准备执行main（）函数调用Analyse（）函数分析输出结果表结束Analyse（str）函数读取第一个字符赋给变量Ch继续判读IndexoutofBound6、测试报告（测试用例，测试结果）；首先输入一个不含错误的程序（两种注释）进行检测：运行后在控制台上得到的结果如下所示：得到的二元组序列如下：经检验，输出的是正确的二元组序列。

精选课程设计任务书引言 (4)第一章概述 (5)1.1设计内容 (5)1.2设计要求 (5)第二章设计的基本原理 (6)2.1 (6)2.2 (6)第三章程序设计 (7)3.1 总体方案设计 (7)3.2 各模块设计 (8)第四章程序测试 (9)4.1一般测试4.2出错处理测试第五章结论 (10)参考文献 (10)附录程序清单 (11)引言《编译原理》是国内外各高等院校计算机科学技术类专业，特别是计算机软件专业的一门重要专业课程。

该课程系统地向学生介绍编译程序的结构、工作流程及编译程序各组成部分的设计原理和实现技术。

由于该课程理论性和实践性都比较强，内容较为抽象复杂，涉及到大量的软件设计算法，因此，一直是一门比较难学的课程。

为了使学生更好地理解和掌握编译技术的基本概念、基本原理和实现方法，实践环节非常重要，只有通过上机进行程序设计，才能使学生对比较抽象的教学内容产生具体的感性认识，增强学生综合分析问题、解决问题的能力，并对提高学生软件设计水平大有益处。

编译原理涉及词法分析，语法分析，语义分析及优化设计等各方面。

词法分析阶段是编译过程的第一个阶段，是编译的基础。

这个阶段的任务是从左到右一个字符一个字符地读入源程序，即对构成源程序的字符流进行扫描然后根据构词规则识别单词（也称单词符号或符号）。

词法分析程序实现这个任务。

词法分析程序可以使用 Lex 等工具自动生成。

从左到右逐个字符对构成源程序的字符串进行扫描，依据词法规则，识别出一个一个的标记（token ），把源程序变为等价的标记串序列。

执行词法分析的程序称为词法分析器，也称为扫描器。

词法分析是所有分析优化的基础，涉及的知识较少，如状态转换图等，易于实现。

本次课程设计，我的选题是词法分析， C++ 代码实现。

第一章概述1.1 设计内容对 C 语言的一个子集设计并实现一个简单的词法分析器，掌握利用状态转换图设计词法分析器的基本方法。

1.2设计要求利用该词法分析器完成对源程序字符串的词法分析。