编译原理C语言词法分析器

计算机与信息学院编译原理课程设计实验报告专业班级计算机科学与技术专业08-4班学生姓名及学号胡义涛20082645课程教学班号0001任课教师王仲宾实验指导教师王仲宾实验地点逸夫楼5072010~2011 第三学年第一学期一、实验目的和要求：设计并实现一个C语言(或C++语言)的词法分析程序，加深对词法分析原理的理解。

二、试验设计和算法分析：实验原理：程序流程：置初值→调用扫描子程序→输出串结束→输出单词二元组→是→否→结束词法分析主程序示意图待分析的简单语言的词法(1) 关键字：begin if then while do end所有关键字都是小写。

（2）运算符和界符：：= + - * / < > <= <> >= ; ( ) #(3)空格由空白、制表符和换行符组成。

词法分析程序的算法思想算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。

三、源代码：#include "stdio.h"#include "string.h"#include "conio.h"#include "ctype.h"char prog[80]={'\0'},token[8]; /*存放构成单词符号的字符串*/char ch;int syn, /*存放单词字符的种别码*/n,sum, /*存放整数型单词*/m,p; /*p是缓冲区prog的指针，m是token的指针*/char*rwtab[6]={"begin","if","then","while","do","end" };void scaner(){m=0;sum=0;for(n=0;n<8;n++){token[n]='\0';}ch=prog[p++];while(ch==' '){ch=prog[p++];}if(isalpha(ch)) //ch为字母字符{while(isalpha(ch)||isdigit(ch))//ch 为字母字符或者数字字符{token[m++]=ch;ch=prog[p++];}token[m++]='\0';ch=prog[p--];syn=10;for(n=0;n<6;n++){ if(strcmp(token,rwtab[n])==0) //字符串的比较{syn=n+1;break;}}}elseif(isdigit(ch)) //ch是数字字符{while(isdigit(ch)) //ch是数字字符{sum=sum*10+ch-'0';ch=prog[p++];}ch=prog[p--];syn=11;}elseswitch(ch) //匹配表示符{case'<':m=0;token[m++]=ch;ch=prog[p++];if(ch=='>'){syn=21;token[m++]=ch;}else if(ch=='='){syn=22;token[m++]=ch;}else{syn=20;ch=prog[p--];}break;case'>':m=0;token[m++]=ch;ch=prog[p++];if(ch=='=')syn=24;token[m++]=ch;}else{syn=23;ch=prog[p--];}break;case':':m=0;token[m++]=ch;ch=prog[p++];if(ch=='='){syn=18;token[m++]=ch;}else{syn=17;ch=prog[p--];break;case'10':syn=12;token[0]='n';break;case'11':syn=12;token[0]='n';break;case'+':syn=13;token[0]=ch;break;case'-':syn=14;token[0]=ch;break;case'*':syn=15;token[0]=ch;break;case'/':syn=16;token[0]=ch;break;case'=':syn=25;token[0]=ch;break;case';':syn=26;token[0]=ch;break;case'(':syn=27;token[0]=ch;break;case')':syn=28;token[0]=ch;break;case'#':syn=0 ;token[0]=ch;break;default:syn=-1;}}main(){printf("\n\n对应信息:\n""1.1-6为关键字\n""2.10-11为字符或常量\n""3.12-28为表示符\n");p=0;printf("\nplease input string:\n");do {ch=getchar();prog[p++]=ch;}while(ch!='#');p=0;do{scaner();switch(syn){case 11: printf("(%d,%d)\n",syn,sum);break;case -1: printf("\n ERROR;\n");break;default: printf("(%d,%s)\n",syn,token); }}while(syn!=0);getch();}四、实验结果及总结：输出：总结：通过该实验，主要有以下几方面收获：一、对实验原理有更深的理解。

简单C语言编译器编译器是一种将高级语言转换为机器语言的软件工具。

它是编译原理中的一个重要概念，负责将程序源代码转换成可执行文件。

在这个过程中，编译器会对源代码进行词法分析、语法分析、语义分析和代码优化等操作。

一个简单的C语言编译器包含以下主要组件：1. 词法分析器（Lexer）：词法分析器将源代码分割成一个个词素（token），例如关键字、标识符、运算符和常量等。

它可以通过有限自动机（DFA）来实现，也可以使用现有的词法分析工具如Lex。

2. 语法分析器（Parser）：语法分析器根据对应的语法规则，将一系列的词素组合成语法树。

它可以通过上下文无关文法（CFG）来实现，例如使用自顶向下的递归下降分析法或自底向上的移入-规约分析法。

3. 语义分析器（Semantic Analyzer）：语义分析器对语法树进行语义检查，例如检查变量的声明和使用是否匹配、类型转换是否合法、函数调用是否正确等。

它还可以生成符号表，用于存储程序中的变量、函数和类型等信息。

4. 中间代码生成器（Intermediate Code Generator）：中间代码生成器将语法树转换成一种中间表示形式，通常是三地址码、虚拟机指令或者抽象语法树。

该中间表示形式能够方便后续的代码优化和目标代码生成。

5. 代码优化器（Code Optimizer）：代码优化器对中间代码进行优化，以提高目标代码的性能。

常见的优化技术包括常量折叠、复写传播、循环展开、函数内联等。

优化器的目标是在不改变程序行为的前提下，尽可能地减少执行时间和存储空间。

6. 目标代码生成器（Code Generator）：目标代码生成器将优化后的中间代码转换成机器语言代码。

它可以根据目标平台的特点选择合适的指令集和寻址方式，并生成可以被计算机硬件执行的程序。

7. 符号表管理器（Symbol Table Manager）：符号表管理器负责管理程序中的符号表，其中包含了变量、函数和类型等信息。

编译原理课程设计报告课题名称：编译原理课程设计C-语言词法与语法分析器的实现提交文档学生姓名：提交文档学生学号：同组成员名单：指导教师姓名：指导教师评阅成绩：指导教师评阅意见：..提交报告时间：年月日C-词法与语法分析器的实现1.课程设计目标（1）题目实用性C-语言拥有一个完整语言的基本属性，通过编写C-语言的词法分析和语法分析，对于理解编译原理的相关理论和知识有很大的作用。

通过编写C-语言词法和语法分析程序，能够对编译原理的相关知识：正则表达式、有限自动机、语法分析等有一个比较清晰的了解和掌握。

（2）C-语言的词法说明①语言的关键字：else if int return void while所有的关键字都是保留字，并且必须是小写。

②专用符号：+ - * / < <= > >= == != = ; , ( ) [ ] { } /* */③其他标记是ID和NUM，通过下列正则表达式定义：ID = letter letter*NUM = digit digit*letter = a|..|z|A|..|Zdigit = 0|..|9注：ID表示标识符，NUM表示数字，letter表示一个字母，digit表示一个数字。

小写和大写字母是有区别的。

④空格由空白、换行符和制表符组成。

空格通常被忽略。

⑤注释用通常的c语言符号/ * . . . * /围起来。

注释可以放在任何空白出现的位置(即注释不能放在标记内)上，且可以超过一行。

注释不能嵌套。

（3）程序设计目标能够对一个程序正确的进行词法及语法分析。

2.分析与设计（1）设计思想a.词法分析词法分析的实现主要利用有穷自动机理论。

有穷自动机可用作描述在输入串中识别模式的过程，因此也能用作构造扫描程序。

通过有穷自动机理论能够容易的设计出词法分析器。

b.语法分析语法分析采用递归下降分析。

递归下降法是语法分析中最易懂的一种方法。

它的主要原理是，对每个非终结符按其产生式结构构造相应语法分析子程序，其中终结符产生匹配命令，而非终结符则产生过程调用命令。

编译原理----词法分析程序----C语⾔版#include<stdio.h>#include<string.h>#include<stdlib.h>char KeyWord[20][100]={"begin","end","if","while","var","procedure","else","for","do","int","read","write"};char yunsuanfu[]="+-*/<>%=";char fenjiefu[]=",;(){}:";int main(){char test[]="var a=10;\nvar b,c;\nprocedure p; \n\tbegin\n\t\tc=a+b\n\tend\n";int len_yunsuanfu=strlen(yunsuanfu);int len_fenjiefu=strlen(fenjiefu);puts(test);int length=strlen(test),i,j,k;for(i=0;i<length;i++){if(test[i]==' '||test[i]=='\n'||test[i]=='\t')continue;int tag=0;for(j=0;j<len_fenjiefu;j++){if(fenjiefu [j]==test[i]){printf("分界符\t%c\n",test[i]);tag=1;break;}}if(tag==1)continue;tag=0;for(j=0;j<len_yunsuanfu;j++){if(yunsuanfu[j]==test[i]){printf("运算符\t%c\n",test[i]);tag=1;break;}}if(tag==1)continue;if(test[i]>='0'&&test[i]<='9'){printf("数字\t");while(test[i]>='0'&&test[i]<='9'){printf("%c",test[i]);i++;}printf("\n");continue;}char temp[100];j=0;while(test[i]>='0'&&test[i]<='9'||test[i]>='a'&&test[i]<='z'||test[i]>='A'&&test[i]<='Z'||test[i]=='_') {temp[j++]=test[i];i++;}i--;temp[j++]='\0';tag=0;for(j=0;j<20;j++){if(strcmp(temp,KeyWord[j])==0){tag=1;printf("关键字\t%s\n",temp);break;}}if(tag==0)printf("标识符\t%s\n",temp);}}。

《编译原理课程设计》课程报告题目 C语言词法分析器和C-语言语法分析器学生姓名学生学号指导教师提交报告时间 2019 年 6 月 8 日C语言词法分析器1 实验目的及意义1.熟悉C语言词法2.掌握构造DFA的过程3.掌握利用DFA实现C语言的词法分析器4.理解编译器词法分析的工作原理2 词法特点及正则表达式2.1词法特点2.1.1 保留字AUTO, BREAK , CASE , CHAR , CONST , CONTINUE , DEFAULT , DO , DOUBLE , ELSE,ENUM , EXTERN , FLOAT , FOR , GOTO,IF , INT , LONG , REGISTER , RETURN,SHORT , SIGNED , SIZEOF , STATIC , STRUCT ,SWITCH , TYPEDEF , UNION , UNSIGNED , VOID,VOLATILE , WHILE,2.1.2 符号+ - * / ++ -- += -= *= < <= > >= == != = ; , ( ) [ ] { } /* */ :2.2 正则表达式whitespace = (newline|blank|tab|comment)+digit=0|..|9nat=digit+signedNat=(+|-)?natNUM=signedNat(“.”nat)?letter = a|..|z|A|..|ZID = letter(letter|digit|“_”)+CHAR = 'other+' STRING = “other+”3 Token定义3.2 tokenType类型代码4 DFA设计4.1 注释的DFA设计注释的DFA如下所示，一共分为5个状态，在开始状态1时，如果输入的字符为/, 则进入状态2，此时有可能进入注释状态，如果在状态2时，输入的字符为*，则进入注释状态，状态将转到3，如果在状态3时，输入的字符为*，则有可能结束注释状态，此时状态将转到状态4，如果在状态4时输入的字符为/，则注释状态结束，状态转移到结束状态。

《编译原理词法分析器语法分析课程设计-《编译原理》课程设计院系信息科学与技术学院专业软件工程年级级学号 2723姓名林苾湲西南交通大学信息科学与技术学院12月目录课程设计1 词法分析器 (2)设计题目 (2)设计内容 (2)设计目的 (2)设计环境 (2)需求分析 (2)概要设计 (2)详细设计 (4)编程调试 (5)测试 (11)结束语 (13)课程设计2 赋值语句的解释程序设计 (14)设计题目 (14)设计内容 (14)设计目的 (14)设计环境 (14)需求分析 (15)概要设计 (16)详细设计 (16)编程调试 (24)测试 (24)结束语 (25)课程设计一词法分析器设计一、设计题目手工设计c语言的词法分析器（能够是c语言的子集）。

二、设计内容处理c语言源程序，过滤掉无用符号，判断源程序中单词的合法性，并分解出正确的单词，以二元组形式存放在文件中。

三、设计目的了解高级语言单词的分类，了解状态图以及如何表示并识别单词规则，掌握状态图到识别程序的编程。

四、设计环境该课程设计包括的硬件和软件条件如下：.硬件（1）Intel Core Duo CPU P8700（2）内存4G.软件（1）Window 7 32位操作系统（2）Microsoft Visual Studio c#开发平台.编程语言C#语言五、需求分析.源程序的预处理：源程序中，存在许多编辑用的符号，她们对程序逻辑功能无任何影响。

例如：回车，换行，多余空白符，注释行等。

在词法分析之前，首先要先剔除掉这些符号，使得词法分析更为简单。

.单词符号的识别并判断单词的合法性：将每个单词符号进行不同类别的划分。

单词符号能够划分成5中。

(1)标识符：用户自己定义的名字，常量名，变量名和过程名。

(2)常数：各种类型的常数。

(3) 保留字（关键字）：如if、else、while、int、float 等。

(4) 运算符：如+、-、*、<、>、=等。

C语言编译原理词法分析和语法分析编程语言的编写和使用离不开编译器的支持，而编译器的核心功能之一就是对代码进行词法分析和语法分析。

C语言作为一种常用的高级编程语言，也有着自己的词法分析和语法分析规则。

一、词法分析词法分析是编译器的第一阶段，也是将源代码拆分为一个个独立单词（token）的过程。

在C语言中，常见的单词包括关键字（如if、while等）、标识符（如变量名）、常量（如数字、字符常量）等。

词法分析器会根据预定义的规则对源代码进行扫描，并将扫描到的单词转化为对应的符号表示。

词法分析的过程可以通过有限自动机来实现，其中包括各种状态和状态转换规则。

词法分析器通常会使用正则表达式和有限自动机的方法来进行实现。

通过词法分析，源代码可以被分解为一个个符号，为后续的语法分析提供基础。

二、语法分析语法分析是编译器的第二阶段，也是将词法分析得到的单词序列转换为一棵具有语法结构的抽象语法树（AST）的过程。

在C语言中，语法分析器会根据C语言的文法规则，逐句解析源代码，并生成相应的语法树。

C语言的语法规则相对复杂，其中包括了各种语句、表达式、声明等。

语法分析的过程主要通过递归下降分析法、LR分析法等来实现。

语法分析器会根据文法规则建立语法树的分析过程，对每个语法结构进行逐步推导和分析，最终生成一棵完整的语法树。

三、编译器中的词法分析和语法分析在编译器中实现词法分析和语法分析是一项重要的技术任务。

编译器通常会将词法分析和语法分析整合在一起，形成一个完整的前端。

在C语言编译器中，词法分析和语法分析器会根据C语言的词法规则和文法规则，对源代码进行解析，并生成相应的中间表示形式，如语法树或者中间代码。

词法分析和语法分析的结果会成为后续编译器中各个阶段的输入，如语义分析、中间代码生成、目标代码生成等。

编译器的优化和错误处理也与词法分析和语法分析有密切关系。

因此，对词法分析和语法分析的理解和实现对于编译器开发者而言是非常重要的。

编译原理词法分析器
编译原理词法分析器是编译器中的一个重要组成部分。

它负责将源代码分解成一个个词素（token）。

在进行词法分析过程中，我们需要定义各种词法规则，例如标识符的命名规则、关键字的集合、运算符的定义以及常量的表示方式等。

词法分析器通常使用有限自动机来实现。

有限自动机是一种能接受或拒绝某个输入序列的计算模型。

在词法分析器中，有限自动机可以方便地根据输入字符的不同状态进行相应的转移，直至得到一个完整的词法单元。

在编写词法分析器时，我们通常会先定义各个词法规则，然后将其转化为正则表达式或有限自动机的形式。

接下来，我们会根据这些规则生成一个词法分析器的状态转换图，并使用该图构建词法分析器的代码。

词法分析器的工作过程如下：输入源代码文本，逐个读取字符并根据当前状态进行状态转移。

如果当前字符能够完成一个词法单元的匹配，那么就将当前词法单元输出，并进入下一个状态。

如果当前字符不能完成一个词法单元的匹配，则继续读取下一个字符，直至完成一个词法单元的匹配或遇到非法字符。

通过词法分析器，我们可以将源代码文本转化为一系列的词法单元，例如关键字、标识符、运算符、常量等。

这些词法单元将作为编译器后续阶段的输入，用于进行语法分析和语义分析。

词法分析器是编译器的重要基础工具之一，它能够帮助我们更好地理解和处理源代码。

编译原理词法分析器编译原理是计算机科学中的重要领域，而词法分析器则是编译器的第一个阶段。

它的主要任务是将源代码转化为一个个词法单元，以便接下来的语法分析和语义分析等阶段进行处理。

在本文中，我们将深入探讨词法分析器的原理和实现。

一、什么是词法分析器词法分析器（Lexical Analyzer）是编译器中实现词法分析的部分。

它负责从源代码中提取出各个合法的词法单元，并进行分类和标记。

词法单元通常包括关键字、标识符、运算符、分隔符和常量等。

二、词法分析器的原理词法分析器的工作原理可以概括为以下几个步骤：1. 预处理：词法分析器首先会对源代码进行预处理，去除注释、替换宏定义等。

2. 分割：将预处理后的源代码分割成一个个字符。

3. 匹配：根据预定义的词法规则，将字符序列匹配到对应的词法单元上。

4. 标记：对每个词法单元都打上相应的标记，以便后续的语法分析。

三、词法分析器的实现1. 正则表达式：词法分析器通常使用正则表达式定义词法规则，用以匹配词法单元。

例如，使用正则表达式"\d+"可以匹配一个或多个数字。

2. 有限自动机：词法分析器可以通过构造有限自动机来进行词法分析。

有限自动机可以根据当前状态和输入字符进行状态转移，最终得到一个词法单元的序列。

3. 符号表：词法分析器使用符号表来存储已经识别出的标识符和关键字，并为每个标识符分配一个唯一的标识符号。

四、应用举例以C语言为例，假设我们要编写一个词法分析器来分析C源代码。

下面是一个简单的示例代码：```c#include <stdio.h>int main() {int a = 10;printf("Hello, World!\n");return 0;}```我们可以使用词法分析器将其分解为以下词法单元序列：1. 关键字：include、stdio、int、main、return2. 标识符：a3. 运算符：=4. 常量：105. 分隔符：()、{}6. 函数名：printf7. 字符串常量："Hello, World!\n"通过词法分析器的处理，我们可以将源代码转化为一个个词法单元，为后续的语法分析提供准备。

精选课程设计任务书引言 (4)第一章概述 (5)1.1设计内容 (5)1.2设计要求 (5)第二章设计的基本原理 (6)2.1 (6)2.2 (6)第三章程序设计 (7)3.1 总体方案设计 (7)3.2 各模块设计 (8)第四章程序测试 (9)4.1一般测试4.2出错处理测试第五章结论 (10)参考文献 (10)附录程序清单 (11)引言《编译原理》是国内外各高等院校计算机科学技术类专业，特别是计算机软件专业的一门重要专业课程。

该课程系统地向学生介绍编译程序的结构、工作流程及编译程序各组成部分的设计原理和实现技术。

由于该课程理论性和实践性都比较强，内容较为抽象复杂，涉及到大量的软件设计算法，因此，一直是一门比较难学的课程。

为了使学生更好地理解和掌握编译技术的基本概念、基本原理和实现方法，实践环节非常重要，只有通过上机进行程序设计，才能使学生对比较抽象的教学内容产生具体的感性认识，增强学生综合分析问题、解决问题的能力，并对提高学生软件设计水平大有益处。

编译原理涉及词法分析，语法分析，语义分析及优化设计等各方面。

词法分析阶段是编译过程的第一个阶段，是编译的基础。

这个阶段的任务是从左到右一个字符一个字符地读入源程序，即对构成源程序的字符流进行扫描然后根据构词规则识别单词（也称单词符号或符号）。

词法分析程序实现这个任务。

词法分析程序可以使用 Lex 等工具自动生成。

从左到右逐个字符对构成源程序的字符串进行扫描，依据词法规则，识别出一个一个的标记（token ），把源程序变为等价的标记串序列。

执行词法分析的程序称为词法分析器，也称为扫描器。

词法分析是所有分析优化的基础，涉及的知识较少，如状态转换图等，易于实现。

本次课程设计，我的选题是词法分析， C++ 代码实现。

第一章概述1.1 设计内容对 C 语言的一个子集设计并实现一个简单的词法分析器，掌握利用状态转换图设计词法分析器的基本方法。

1.2设计要求利用该词法分析器完成对源程序字符串的词法分析。

C语言编译器开发理解编译原理和过程编译器是一种将高级语言转化为机器代码的软件工具。

在C语言编程中，编译器是非常重要的，它将我们编写的C代码转化为计算机能够理解和执行的机器语言指令。

了解编译原理和过程对于C语言编译器的开发非常重要。

一、编译原理概述编译原理是计算机科学的一个重要分支，它研究编程语言的词法分析、语法分析、语义分析、中间代码生成和目标代码生成等方面的问题。

编译原理的主要目标是将高级程序设计语言转化为低级机器语言。

二、编译过程1. 词法分析（Lexical Analysis）词法分析是将源代码拆分成符号的过程。

编译器会根据编程语言的语法规则，将源代码转化为一系列的token（标记）。

每个token表示程序中的一个指令或者数据单元。

2. 语法分析（Syntax Analysis）语法分析是将词法分析得到的token序列按照语言的语法规则进行分析和处理。

语法分析器通过构建抽象语法树（Abstract Syntax Tree，AST），确定代码的结构和层次关系。

3. 语义分析（Semantic Analysis）语义分析是在语法分析的基础上，对语法上正确的代码进行语义检查和修正。

它会对变量使用、类型检查、函数调用等进行检查，确保程序的语义正确。

4. 中间代码生成（Intermediate Code Generation）在中间代码生成阶段，编译器会将语法分析器生成的抽象语法树转化为中间代码。

中间代码是一种介于源代码和机器代码之间的表示形式，它更加抽象，能够提供更好的优化和跨平台的能力。

5. 优化（Optimization）编译器在生成目标代码之前，会对中间代码进行一系列的优化操作，以提高程序的性能和效率。

这包括常量折叠、循环展开、无用代码消除等一系列技术。

6. 目标代码生成（Code Generation）目标代码生成是将中间代码转化为目标计算机的机器语言代码的过程。

编译器会将中间代码中的每条指令转化为对应目标机器的指令，包括寄存器分配、指令选择、代码填充等。

编译原理课程设计 c语言编译器一、教学目标本课程的目标是让学生掌握C语言编译器的基本原理和实现方法。

通过本课程的学习，学生应能够理解编译器的主要组成部分，如词法分析器、语法分析器、中间代码生成器、优化器和目标代码生成器等；掌握编译器的设计方法和实现技巧，如有限自动机、递归下降分析和代码优化等；能够独立设计和实现一个小型的C语言编译器。

二、教学内容本课程的教学内容主要包括C语言编译器的基本原理、编译器的设计方法和实现技巧。

具体包括以下几个部分：1.C语言编译器的概述：介绍编译器的作用、编译过程和编译器的种类等。

2.词法分析：介绍词法分析器的原理和实现方法，包括正则表达式、有限自动机等。

3.语法分析：介绍语法分析器的原理和实现方法，包括递归下降分析、LL分析、LR分析等。

4.中间代码生成：介绍中间代码生成器的原理和实现方法，包括三地址码、静态单赋值码等。

5.代码优化：介绍代码优化的原理和实现方法，包括常数折叠、死代码消除等。

6.目标代码生成：介绍目标代码生成器的原理和实现方法，包括机器码生成、寄存器分配等。

三、教学方法本课程的教学方法采用讲授法、讨论法和实验法相结合的方式。

在讲授基本原理和方法的同时，通过案例分析和讨论，让学生更好地理解和掌握相关知识。

同时，通过实验环节，让学生亲手设计和实现C语言编译器的基本模块，提高学生的实践能力和创新能力。

四、教学资源本课程的教学资源包括教材、参考书、多媒体资料和实验设备。

教材主要包括《编译原理》、《C语言编译器》等；参考书包括《编译原理学习指导》、《编译器设计实践》等；多媒体资料包括教学PPT、视频讲座等；实验设备包括计算机、编程环境等。

教学资源将全程支持教学内容和教学方法的实施，丰富学生的学习体验。

五、教学评估本课程的评估方式包括平时表现、作业、考试等多个方面，以全面客观地评价学生的学习成果。

平时表现主要考察学生的出勤、课堂参与度和团队协作能力；作业分为课后练习和实验报告，用以巩固和检验学生的学习效果；考试包括期中考试和期末考试，全面测试学生的知识掌握和应用能力。

编译原理实验报告实验一一、实验名称：词法分析器的设计二、实验目的：1，词法分析器能够识别简单语言的单词符号2，识别出并输出简单语言的基本字.标示符.无符号整数.运算符.和界符。

三、实验要求：给出一个简单语言单词符号的种别编码词法分析器四、实验原理：1、词法分析程序的算法思想算法的基本任务是从字符串表示的源程序中识别出具有独立意义的单词符号，其基本思想是根据扫描到单词符号的第一个字符的种类，拼出相应的单词符号。

2、程序流程图（1）主程序（2）扫描子程序3五、实验内容：1、实验分析编写程序时，先定义几个全局变量a[]、token[]（均为字符串数组),c,s( char型)，i,j,k（int型），a[]用来存放输入的字符串，token[]另一个则用来帮助识别单词符号，s用来表示正在分析的字符。

字符串输入之后，逐个分析输入字符，判断其是否‘#’，若是表示字符串输入分析完毕，结束分析程序，若否则通过int digit(char c)、int letter(char c)判断其是数字，字符还是算术符,分别为用以判断数字或字符的情况，算术符的判断可以在switch语句中进行，还要通过函数int lookup(char token[])来判断标识符和保留字。

2 实验词法分析器源程序：#include <>#include <>#include <>int i,j,k;char c,s,a[20],token[20]={'0'};int letter(char s){if((s>=97)&&(s<=122)) return(1);else return(0);}int digit(char s){if((s>=48)&&(s<=57)) return(1);else return(0);}void get(){s=a[i];i=i+1;}void retract(){i=i-1;}int lookup(char token[20]){if(strcmp(token,"while")==0) return(1);else if(strcmp(token,"if")==0) return(2);else if(strcmp(token,"else")==0) return(3);else if(strcmp(token,"switch")==0) return(4);else if(strcmp(token,"case")==0) return(5);else return(0);}void main(){printf("please input string :\n");i=0;do{i=i+1;scanf("%c",&a[i]);}while(a[i]!='#');i=1;j=0;get();while(s!='#'){ memset(token,0,20);switch(s){case 'a':case 'b':case 'c':case 'd':case 'e':case 'f':case 'g':case 'h':case 'i':case 'j':case 'k':case 'l':case 'm':case 'n':case 'o':case 'q':case 'r':case 's':case 't':case 'u':case 'v':case 'w':case 'x':case 'y':case 'z':while(letter(s)||digit(s)){token[j]=s;j=j+1;get();}retract();k=lookup(token);if(k==0)printf("(%d,%s)",6,token);else printf("(%d,-)",k);break;case '0':case '2':case '3':case '4':case '5':case '6':case '7':case '8':case '9':while(digit(s)){token[j]=s;j=j+1;get();}retract();printf("%d,%s",7,token);break;case '+':printf("('+',NULL)");break;case '-':printf("('-',null)");break; case '*':printf("('*',null)");break;case '<':get();if(s=='=') printf("(relop,LE)");else{retract();printf("(relop,LT)");}break;case '=':get();if(s=='=')printf("(relop,EQ)");else{retract();printf("('=',null)");}break;case ';':printf("(;,null)");break;case ' ':break;default:printf("!\n");}j=0;get();} }六：实验结果：实验二一、实验名称：语法分析器的设计二、实验目的：用C语言编写对一个算术表达式实现语法分析的语法分析程序，并以四元式的形式输出，以加深对语法语义分析原理的理解，掌握语法分析程序的实现方法和技术。

编译原理实验-词法分析器⼀、实验⽬的设计、编制、调试⼀个词法分析程序，对单词进⾏识别和编码，加深对词法分析原理的理解。

⼆、实验内容1.选定语⾔，编辑任意的源程序保存在⽂件中；2.对⽂件中的代码预处理，删除制表符、回车符、换⾏符、注释、多余的空格并将预处理后的代码保存在⽂件中；3.扫描处理后的源程序，分离各个单词符号，显⽰分离的单词类型。

三、实验思路对于实验内容1，选择编写c语⾔的源程序存放在code.txt中，设计⼀个c语⾔的词法分析器，主要包含三部分，⼀部分是预处理函数，第⼆部分是扫描判断单词类型的函数，第三部分是主函数，调⽤其它函数；对于实验内容2，主要实现在预处理函数processor()中，使⽤⽂档操作函数打开源程序⽂件(code.txt)，去除两种类型（“//”,“/*…*/”）的注释、多余的空格合并为⼀个、换⾏符、回车符等，然后将处理后的保存在另⼀个新的⽂件(afterdel.txt)中，最后关闭⽂档。

对于实验内容3，打开处理后的⽂件，然后调⽤扫描函数，从⽂件⾥读取⼀个单词调⽤判断单词类型的函数与之前建⽴的符号表进⾏对⽐判断，最后格式化输出。

四、编码设计代码参考了两篇博主的，做了部分改动，添加了预处理函数等1 #include<iostream>2 #include<fstream>3 #include<cstdio>4 #include<cstring>5 #include<string>6 #include<cstdlib>78using namespace std;910int aa;// fseek的时候⽤来接着的11string word="";12string reserved_word[20];//保留13char buffer;//每次读进来的⼀个字符14int num=0;//每个单词中当前字符的位置15int line=1; //⾏数16int row=1; //列数，就是每⾏的第⼏个17bool flag; //⽂件是否结束了18int flag2;//单词的类型192021//预处理函数22int processor(){//预处理函数23 FILE *p;24int falg = 0,len,i=0,j=0;25char str[1000],str1[1000],c;26if((p=fopen("code.txt","rt"))==NULL){27 printf("⽆法打开要编译的源程序");28return0;29 }30else{31//fgets(str,1000,p);32while((c=getc(p))!=EOF){33 str[i++] = c;34 }35 fclose(p);36 str[i] = '\0';37for(i=0;i<strlen(str);i++){38if(str[i]=='/'&&str[i+1]=='/'){39while(str[i++]!='\n'){}40 }//单⾏注释41else if(str[i]=='/'&&str[i+1]=='*'){42while(!(str[i]=='*'&&str[i+1]=='/')){i++;}43 i+=2;44 }//多⾏注释45else if(str[i]==''&&str[i+1]==''){46while(str[i]==''){i++;}47 i--;48if(str1[j-1]!='')49 str1[j++]='';50 }//多个空格，去除空格51else if(str[i]=='\n') {52if(str1[j-1]!='')53 str1[j++]='';54 }//换⾏处理，55else if(str[i]==9){56while(str[i]==9){57 i++;58 }59if(str1[j-1]!='')60 str1[j++]='';61 i--;62 }//tab键处理63else str1[j++] = str[i];//其他字符处理64 }65 str1[j] = '\0';66if((p = fopen("afterdel.txt","w"))==NULL){ 67 printf("can not find it!");68return0;69 }70else{71if(fputs(str1,p)!=0){72 printf("预处理失败！");73 }74else printf("预处理成功！");75 }76 fclose(p);77 }78return0;79 }8081//设置保留字82void set_reserve()83 {84 reserved_word[1]="return";85 reserved_word[2]="def";86 reserved_word[3]="if";87 reserved_word[4]="else";88 reserved_word[5]="while";89 reserved_word[6]="return";90 reserved_word[7]="char";91 reserved_word[8]="for";92 reserved_word[9]="and";93 reserved_word[10]="or";94 reserved_word[11]="int";95 reserved_word[12]="bool";96 }9798//看这个字是不是字母99bool judge_word(char x)100 {101if(x>='a' && x<='z' || x>='A' && x<='Z' ){ 102return true;103 }104else return false;105 }106107//看这个字是不是数字108bool judge_number(char x)109 {110if(x>='0' && x<='9'){111return true;112 }113else return false;114 }115116//看这个字符是不是界符117bool judge_jiefu(char x)118 {119if(x=='('||x==')'||x==','||x==';'||x=='{'||x=='}'){ 120return true;121 }122else return false;123 }124125126//加减乘127bool judge_yunsuanfu1(char x)128 {129if(x=='+'||x=='-'||x=='*')130 {131return true;132 }133else return false;134 }135136//等于赋值，⼤于⼩于⼤于等于，⼩于等于，⼤于⼩于137bool judge_yunsuannfu2(char x)138 {139if(x=='='|| x=='>'||x=='<'||x=='&'||x=='||'){140return true;141 }142else return false;143 }144145146//这个最⼤的函数的总体作⽤是从⽂件⾥读⼀个单词147int scan(FILE *fp)148 {149 buffer=fgetc(fp);//读取⼀个字符150if(feof(fp)){//检测结束符151 flag=0;return0;152 }153else if(buffer=='')154 {155 row++;156return0;157 }158else if(buffer=='\n')159 {160 row=1;161return0;162 }163//如果是字母开头或'_' 看关键字还是普通单词164else if(judge_word(buffer) || buffer=='_')165 {166 word+=buffer;167 row++;168while((buffer=fgetc(fp)) && (judge_word(buffer) || judge_number(buffer) || buffer=='_'))169 {170 word+=buffer;171 row++;172 }173if(feof(fp)){174 flag=0;175return1;176 }177for(int i=1;i<=12;i++){178if(word==reserved_word[i]){179 aa=fseek(fp,-1,SEEK_CUR);//如果执⾏成功，stream将指向以fromwhere为基准，偏移offset（指针偏移量）个字节的位置，函数返回0。

一、实验目的本次实验旨在使学生通过编译原理的学习，了解编译程序的设计原理及实现技术，掌握编译程序的各个阶段，并能将所学知识应用于实际编程中。

二、实验内容1. 词法分析2. 语法分析3. 语义分析4. 中间代码生成5. 代码优化6. 目标代码生成三、实验步骤1. 词法分析（1）设计词法分析器，识别输入源代码中的各种词法单元；（2）使用C语言实现词法分析器，并进行测试。

2. 语法分析（1）根据文法规则设计语法分析器，识别输入源代码的语法结构；（2）使用C语言实现语法分析器，并进行测试。

3. 语义分析（1）设计语义分析器，检查语法分析后的语法树，确保语义正确；（2）使用C语言实现语义分析器，并进行测试。

4. 中间代码生成（1）设计中间代码生成器，将语义分析后的语法树转换为中间代码；（2）使用C语言实现中间代码生成器，并进行测试。

5. 代码优化（1）设计代码优化器，对中间代码进行优化，提高程序性能；（2）使用C语言实现代码优化器，并进行测试。

6. 目标代码生成（1）设计目标代码生成器，将优化后的中间代码转换为特定目标机的汇编语言；（2）使用C语言实现目标代码生成器，并进行测试。

四、实验结果与分析1. 词法分析实验结果：成功识别输入源代码中的各种词法单元，包括标识符、关键字、运算符、常量等。

2. 语法分析实验结果：成功识别输入源代码的语法结构，包括表达式、语句、程序等。

3. 语义分析实验结果：成功检查语法分析后的语法树，确保语义正确。

4. 中间代码生成实验结果：成功将语义分析后的语法树转换为中间代码，为后续优化和目标代码生成提供基础。

5. 代码优化实验结果：成功对中间代码进行优化，提高程序性能。

6. 目标代码生成实验结果：成功将优化后的中间代码转换为特定目标机的汇编语言，为程序在目标机上运行做准备。

五、实验心得1. 编译原理是一门理论与实践相结合的课程，通过本次实验，我对编译程序的设计原理及实现技术有了更深入的了解。

一.课程设计题目：词法分析器的实现二.课程设计成员三.课程设计内容和要求设计一个程序,调试、编译,实现词法分析的功能,识别各单词或字符所属类别，并显示在屏幕上。

词法分析器：逐个读入源程序字符并按照构词规则切分成一系列单词。

单词是语言中具有独立意义的最小单位,包括保留字、标识符、运算符、标点符号和常量等。

词法分析是编译过程中的一个阶段,在语法分析前进行。

也可以和语法分析结合在一起作为一遍，由语法分析程序调用词法分析程序来获得当前单词供语法分析使用。

要求：通过词法分析器能够实现以下五种类型如单词等的识别。

(１)关键字＂begin＂,＂ｅnｄ","iｆ","tｈｅn",＂eｌｓe",＂wｈｉlｅ＂,"write","r ｅad"等，＂dｏ", "ｃall","cｏnｓt","char＂,＂uｎｔil"，＂pｒｏceｄure＂,"ｒeｐeａt"等（2)运算符:"+","-＂，"*",＂/","="等(3）界符："{","｝",＂["，"］＂,";",",",＂.",＂(",")","："等（4)标识符(5)常量四．操作要求首先建立一个或多个文档，此处新建了两个文档，例:07196１３3.txt文本文档和ｚhaoxiaｏdonｇ．txt文本文档，以供选择，各文本文档中都输入有不同的内容，运行程序,出现提示，输入文本文档的名称,即可对文本文档中的内容进行分析,并把分析结果输出显示在屏幕上。

《C-语⾔的词法分析器（基于Lex）》课程设计报告《编译原理与实践》课程报告课题名称： C-语⾔的词法分析器实现(基于Lex)课题负责⼈名（学号）：李恒(0643111198)同组成员名单（⾓⾊）：⽆指导教师：于中华评阅成绩：评阅意见：提交报告时间：2007 年12 ⽉31⽇1. ⽬的与意义词法分析是编译原理中⼀个重要的部分。

它可将源程序读作字符⽂件并将其分为若⼲个记号，每⼀个记号都是表⽰源程序中信息单元的字符序列。

词法分析器是翻译步骤的第⼀步，它对于编译器接下来要进⾏的⼯作起着开头的作⽤，因此要想实现对C-语⾔的编译器，词法分析器必不可少。

2. 基于Parser Generator的词法分析器构造⽅法利⽤Parser Generator构造词法分析器规则，⽣成对应的c语⾔及其头⽂件。

然后进⾏编译。

3. C-语⾔词法分析的设计重要数据类型：关键字枚举：typedef enum{ENDFILE, ERROR,/* reserved words */ELSE, IF, INT, RETURN, VOID, WHILE,/* multicharacter tokens */ID, NUM,/* special symbols */PLUS, MINUS, TIMES, OVER, LT, LE, GT, GE, EQU, NEQU,ASSIGN, SEMI, COMMA, LPAREN, RPAREN, LBRKT, RBRKT, LBRC, RBRC, LCOM, RCOM}TokenType;关键字声明：digit [0-9]number {digit}+letter [a-zA-Z]identifier {letter}+newline \nwhitespace [ \t]+c-语⾔的词法规则："else" {return ELSE;} "if" {return IF;}"int" {return INT;} "return" {return RETURN;} "void" {return VOID;} "while" {return WHILE;} "+" {return PLUS;} "-" {return MINUS;} "*" {return TIMES;} "/" {return OVER;} "<" {return LT;}"<=" {return LE;} ">" {return GT;}">=" {return GE;}"==" {return EQU;}"!=" {return NEQU;} "=" {return ASSIGN;} ";" {return SEMI;} "," {return COMMA;} "(" {return LPAREN;} ")" {return RPAREN;} "[" {return LBRKT;} "]" {return RBRKT;} "{" {return LBRC;} "}" {return RBRC;} {number} {return NUM;} {identifier} {return ID;} {newline} {lineNo++} {whitespace} {/* skip */} "/*" { char c;do{ c = input();if (c == EOF ) break;if (c == '\n' ) lineNo++;} while ( c != '/*');}{return ERROR;}重要处理程序设计：⽂件util.c执⾏输出结果的打印：void printToken(TokenType token, const char* tokenString) { switch (token){case ELSE:case IF:case INT:case RETURN:case VOID:case WHILE:fprintf(listing, "reserved word: %s\n", tokenString);break;case PLUS:fprintf(listing, "+\n");break;case MINUS:fprintf(listing, "-\n");break;case TIMES:fprintf(listing, "*\n");break;case OVER:fprintf(listing, "/\n");break;case LT:fprintf(listing, "<\n");break;case LE:fprintf(listing, "<=\n");break;fprintf(listing, ">\n"); break;case GE:fprintf(listing, ">=\n"); break;case EQU:fprintf(listing, "==\n"); break;case NEQU:fprintf(listing, "!=\n"); break;case ASSIGN: fprintf(listing, "=\n"); break;case SEMI:fprintf(listing, ";\n"); break;case COMMA: fprintf(listing, ",\n"); break;case LPAREN: fprintf(listing, "(\n"); break;case RPAREN: fprintf(listing, ")\n"); break;case LBRKT: fprintf(listing, "[\n"); break;case RBRKT: fprintf(listing, "]\n"); break;case LBRC:fprintf(listing, "{\n");case RBRC:fprintf(listing, "}\n");break;case LCOM:fprintf(listing, "/*\n");break;case RCOM:fprintf(listing, "*/\n");break;case ENDFILE:fprintf(listing,"EOF\n");break;case NUM:fprintf(listing, "NUM,val=%s\n",tokenString); break;case ID:fprintf(listing, "ID, name=%s\n",tokenString); break;case ERROR:fprintf(listing, "ERROR: %s\n",tokenString); break;default:break;}}函数getToken获取下⼀个token：TokenType getToken(void){ static int firstTime = TRUE; TokenType currentToken;if (firstTime){ firstTime = FALSE;lineNo++;yyin = source;yyout = listing;}currentToken = yylex();strncpy(tokenString,yytext,MAXTOKENLEN);if (TraceScan) {fprintf(listing, "\t%d: ", lineNo);printToken(currentToken,tokenString);}return currentToken;}4. 运⾏结果及分析输⼊⽂件如果所⽰：输出结果如图：对于输⼊的每⼀⾏进⾏词法分析，表⽰出保留字，标识符，以及终结符。

一、实验目的1. 理解编译原理的基本概念和流程；2. 掌握编译器的各个阶段及其实现方法；3. 熟悉编译器各个阶段中使用的算法和数据结构；4. 培养编程能力和问题解决能力。

二、实验内容1. 词法分析；2. 语法分析；3. 语义分析；4. 代码生成；5. 符号表；6. 中间代码生成。

三、实验步骤1. 词法分析（1）设计词法分析器：首先需要确定源程序中的词法单元，如标识符、关键字、运算符等。

然后，编写代码实现词法分析器，对源程序进行扫描，将词法单元转换成词法符号。

（2）实现词法分析器：使用C语言或Java等编程语言实现词法分析器，完成词法单元的识别和转换。

2. 语法分析（1）设计语法分析器：根据源程序的语言规范，设计语法分析器，实现语法规则的定义和匹配。

（2）实现语法分析器：使用递归下降分析法、LL(1)分析法、LR(1)分析法等实现语法分析器，对词法分析器输出的词法符号序列进行语法分析。

3. 语义分析（1）设计语义分析器：根据源程序的语言规范，设计语义分析器，实现语义规则的检查和类型检查。

（2）实现语义分析器：使用C语言或Java等编程语言实现语义分析器，完成语义规则的检查和类型检查。

4. 代码生成（1）设计代码生成器：根据源程序的语言规范，设计代码生成器，将抽象语法树转换成目标代码。

（2）实现代码生成器：使用C语言或Java等编程语言实现代码生成器，完成抽象语法树到目标代码的转换。

5. 符号表（1）设计符号表：在编译过程中，需要记录变量、函数等信息，设计符号表实现这些信息的存储和管理。

（2）实现符号表：使用C语言或Java等编程语言实现符号表，完成变量、函数等信息的存储和管理。

6. 中间代码生成（1）设计中间代码生成器：根据源程序的语言规范，设计中间代码生成器，将抽象语法树转换成中间代码。

（2）实现中间代码生成器：使用C语言或Java等编程语言实现中间代码生成器，完成抽象语法树到中间代码的转换。

四、实验结果与分析1. 词法分析器能够正确识别源程序中的词法单元，并将它们转换成词法符号。

编译原理词法分析器
编译原理词法分析器是编译器的一个重要组成部分，负责将输入的源代码转换成一系列的词法单元，供后续的语法分析器进行进一步处理。

词法分析器的主要任务是按照预先定义的词法规则，识别出源代码中的各个合法的词法单元，并将其转化为内部表示形式。

在这个过程中，词法分析器需要读取输入字符流，并根据定义的词法规则进行模式匹配和转换。

一个基本的词法分析器通常由以下几个部分组成：
1. 字符扫描器（Scanner）：负责从输入流中读取字符，并进行必要的预处理。

例如，过滤掉注释、空白字符等。

2. 词法规则（Lexical Rules）：是定义词法单元的正则表达式或者有限自动机。

每个词法单元都有一个对应的识别规则。

3. 标记生成器（Token Generator）：根据词法规则和字符扫描器的输出，生成符合内部表示形式的词法单元。

4. 符号表（Symbol Table）：维护着程序中出现的所有标识符的符号表，包括标识符的名称和属性信息。

词法分析器的工作流程如下：
1. 初始化字符扫描器，读取第一个字符。

2. 逐个字符进行扫描和匹配，直到获取了一个完整的词法单元。

3. 根据匹配到的词法规则，生成对应的词法单元。

4. 如果需要记录标识符信息，将其添加到符号表中。

5. 返回步骤2，直到扫描完整个输入代码。

通过词法分析器的工作，我们能够将输入的源代码按照词法规则进行分割，将其转换为一系列的词法单元，为后续的语法分析器提供了处理的基础。