下载文档原格式
基于JavaCC的抽象语法树的构建与实现黄松;黄玉;惠战伟【摘要】抽象语法树(abstract syntax tree,AST)作为程序一种重要的中间表示形式,在代码分析领域中有着广泛的应用.如何针对Java程序生成其抽象语法树是在进行代码静态分析前必不可少的工作.分析抽象语法树的构建算法,通过JavaCC解析工具完成对Java文件抽象语法树的构建,该方法可实现代码树状形式的可视化呈现.【期刊名称】《计算机工程与设计》【年(卷),期】2016(037)004【总页数】6页(P938-943)【关键词】抽象语法树;Java程序;JavaCC解析工具;解析器;算法【作者】黄松;黄玉;惠战伟【作者单位】中国人民解放军理工大学指挥信息系统学院,江苏南京210000;全军军事训练软件测评中心,江苏南京210007;中国人民解放军理工大学指挥信息系统学院,江苏南京210000;中国人民解放军理工大学指挥信息系统学院,江苏南京210000【正文语种】中文【中图分类】TP311当今社会已经进入了科技信息时代，软件的开发呈现出数量多、规模大、更新快的形势。
如何通过软件测试的手段减少软件中隐含的缺陷成为了一项重要的工作。
Java语言出现以后受到了广泛的应用，针对Java语言静态分析的软件测试技术的研究有助于准确找到Java语言开发程序中结构的错误和可疑代码位置等问题。
目前存在着许多用于Java程序静态分析的自动化工具，如Findbugs[1]、PMD[2]、JTest[3]等。
在所有的静态分析工具中都必须要做的工作是进行代码解析。
从本质上说，Java源代码就是一个文本形式的文件。
首先需要将其转换成一种能代表此代码的中间表示形式。
常用的中间表示形式有后缀式、三地址代码(包括三元式、四元式、间接三元式)，但这些表示形式不能描述程序的层次结构。
为了达到这一目标，研究者提出了一种新的程序中间表示形式——抽象语法树。
用户通过遍历抽象语法树可以获得想要的信息来辅助对代码结构的分析以及对程序运行流程图的构建。
astnode语法树全文共四篇示例，供读者参考第一篇示例：astnode语法树是一种用于表示代码语法结构的树状数据结构。
它可以帮助程序员理解代码的结构和逻辑，同时也可以用于静态代码分析、代码优化和代码自动生成等领域。
本文将介绍astnode语法树的基本概念、构建方法和应用场景。
一、astnode语法树的基本概念在计算机科学中，抽象语法树（abstract syntax tree，简称AST）是源代码语法树的一种抽象表示形式。
它是由一系列的节点（node）组成的树状结构，每个节点表示源代码中的一个语法结构，并包含相应的属性信息。
在astnode语法树中，每个节点被称为一个astnode，是表示源代码中的一个抽象语法单元。
二、astnode语法树的构建方法在实际编程中，astnode语法树通常是通过解析器（parser）生成的。
解析器是一个用于将源代码转换为astnode语法树的工具，它会遍历源代码的语法结构，并根据语法规则构建相应的astnode。
解析器通常遵循特定的语法规范，如LL(k)文法或LR(k)文法，以确保生成的astnode语法树与源代码的语法结构一致。
在构建astnode语法树时，解析器会将源代码分析成一系列的词法单元（token），然后根据语法规则将这些词法单元组织成一个树状结构。
每个astnode节点包含了对应的语法单元和相关属性信息，如语法类别、位置信息和子节点等。
通过遍历astnode语法树，程序员可以获取代码的语法结构和相关信息，从而进行代码分析和处理工作。
三、astnode语法树的应用场景astnode语法树广泛应用于多个领域，如编译器设计、程序分析、代码优化和自动化工具开发等。
在编译器设计中，astnode语法树是编译器的重要数据结构之一，用于表示源代码的语法结构和语义信息。
通过astnode语法树，编译器可以进行语法分析、语义分析和中间代码生成等工作，实现源代码到目标代码的转换过程。
抽象语法树在JavaScript中的应用抽象语法树是什么?在JavaScript中该如何应用?下面为大家讲解!在计算机科学中，抽象语法树(abstractsyntaxtree或者缩写为AST)，或者语法树(syntaxtree)，是源代码的抽象语法结构的树状表现形式，这里特指编程语言的源代码。
树上的每个节点都表示源代码中的一种结构。
之所以说语法是「抽象」的，是因为这里的语法并不会表示出真实语法中出现的每个细节。
1果然比较抽象，不如先看几个例子：抽象语法树举例foo='helloworld';/*+-------------+|assign(=)|+-------------+XXXX+-------++-----------------+|foo||'helloworld'|+-------++-----------------+*/if(foo===true){bar='helloworld';alert(bar);}/*+------+|if|+------+XXXX+--------------++-------------+|equal(===)||if_body|+--------------++-------------+XXXXXXXX+-------++--------++-------------++------------+ |foo||true||assign(=)||alert()|+-------++--------++-------------++------------+ XXXXXX+-------++-----------------++-------+|bar||'helloworld'||bar|+-------++-----------------++-------+*/从上述两个例子可以看出，抽象语法树是将源代码根据其语法结构，省略一些细节(比如：括号没有生成节点)，抽象成树形表达。
astnode语法树-概述说明以及解释1.引言1.1 概述概述:AST（Abstract Syntax Tree，抽象语法树）是一种对程序源代码的结构化的抽象表示，它能够描述代码的语法结构和语义信息。
在软件开发和编程领域中，AST被广泛应用于编译器、解释器、代码分析等工具中。
ASTnode语法树是AST的一种具体实现方式，它将源代码解析成节点（node）的形式，每个节点代表源代码中的一个语法结构或表达式。
ASTnode语法树通过构建树形结构来表示源代码的层次结构和语法关系，方便程序分析和处理。
本文将介绍ASTnode语法树的概念、应用和构建方法，希望能够帮助读者更好地理解和应用这一重要的程序表示方式。
1.2 文章结构文章结构部分主要包括以下内容：1. 标题：文章的标题应该具有代表性，能够准确地概括文章的主题和内容。
2. 序言：引入文章的背景和重要性，让读者对文章有一个大致的了解。
3. 正文：主要内容部分，包括对astnode语法树的介绍、应用和构建方法等。
4. 结论：对文章内容进行总结，强调关键信息和观点。
5. 参考文献：列出文章中引用的资料、文献和网址等，方便读者深入了解相关信息。
通过以上部分的安排，将能够使文章结构清晰、逻辑性强，让读者更好地理解和理解文章的内容。
1.3 目的编写本文的目的是为了介绍读者关于astnode语法树的基本概念和应用。
通过本文的阐述，读者将能够了解什么是astnode语法树，以及它在编程领域中的重要性和作用。
同时，我们将深入探讨astnode语法树的构建方法，帮助读者更加深入地理解其内部机制。
通过本文的阐述，我们希望读者能够对astnode语法树有一个清晰的认识，并能够在实际编程中灵活运用这一概念。
最终，我们希望本文能够为读者提供一份全面且易懂的astnode语法树的介绍，为他们在编程领域中的学习和应用提供指导和帮助。
2.正文2.1 什么是astnode语法树在计算机编程和编译原理中，AST（Abstract Syntax Tree）即抽象语法树，是源代码的抽象语法结构的树状表示。
抽象语法树（AST）AST描述 在计算机科学中，抽象语法树（AST）或语法树是⽤编程语⾔编写的源代码的抽象语法结构的树表⽰。
树的每个节点表⽰在源代码中出现的构造。
语法是“抽象的”，因为它不代表真实语法中出现的每个细节，⽽只是结构，内容相关的细节。
例如，分组括号在树结构中是隐式的，并且可以通过具有三个分⽀的单个节点来表⽰类似于if-condition-then表达式的句法结构。
这将抽象语法树与传统上指定的解析树区分开来，这些语法树通常由解析器在源代码转换和编译过程中构建。
⼀旦构建，通过后续处理（例如，上下⽂分析）将附加信息添加到AST 。
抽象语法树也⽤于程序分析和程序转换系统。
参考:[维基百科]()解析器Parser JavaScript Parser是把js源码转化为抽象语法树的解析器，⼀般分为词法分析、语法分析及代码⽣成或执⾏。
词法分析 词法分析阶段会把字符串形式的代码转换为令牌(Tokens)流。
可将令牌看作是⼀个扁平的语法⽚段数组。
var answer = 6 * 7;//Tokens[{"type": "Keyword","value": "var","range": [34,37],"loc": {"start": {"line": 2,"column": 0},"end": {"line": 2,"column": 3}}},{"type": "Identifier", "value": "answer", "range": [38,44],"loc": {"start": {"line": 2,"column": 4},"end": {"line": 2,"column": 10 }}},{"type": "Punctuator", "value": "=","range": [45,46],"loc": {"start": {"line": 2,"column": 11 },"end": {"line": 2,"column": 12 }}},{"type": "Numeric", "value": "6","range": [47,48],"loc": {"start": {"line": 2,"column": 13 },"end": {"line": 2,"column": 14 }}},{"type": "Punctuator", "value": "*","range": [49,50],"loc": {"start": {"line": 2,"column": 15 },"end": {"line": 2,"column": 16 }}},{"type": "Numeric", "value": "7","range": [51,52],"loc": {"start": {"line": 2,"column": 17},"end": {"line": 2,"column": 18}}},{"type": "Punctuator","value": ";","range": [52,53],"loc": {"start": {"line": 2,"column": 18},"end": {"line": 2,"column": 19}}}]语法分析 语法分析阶段会把⼀个令牌流转换成抽象语法树(AST)的形式，这个阶段会使⽤令牌中的信息把它们转换成⼀个AST的树结构。
语法树何为语法树什么是语法树？你是否曾想过，这个世界存在这么多语⾔的意义。
假如现在你⾯前有⼀个物体，它是⼀个不规则的圆体，整个⾝体通红，头部还有⼀根细长稍微弯曲偏右呈棕⾊的圆柱体。
在中⽂我们称之为「苹果」，在英⽂我们称之为「Apple」，在⽇⽂中我们称之为「アップル」，在法语中我们称之为「pomme」，在德语中我们称之为「Apfel」，⽆论⽤不同的语⾔，针对这个物体在⽂字上、发⾳上都完全不⼀样，但这个物体确确实实的存在这个时空上，颜⾊、⽓味、形状都不曾因为语⾔⽽改变过。
⽆论这个世界存在多少语⾔，它们所描述的真理都不曾改变过。
或者说，真理就存在那⾥，可以⽤不同的语⾔的不同表达⽅式描述出来。
那么计算机的世界，这么多编程的语⾔，C、C++、Java、C#、JavaScript、Python、Go、Ruby等等等，它们共同所描述的真理是什么？我们知道⼈类语⾔上，⽆论什么语种，都会有「主语」「动词」「宾语」「标点符号」来描述⼀个现实世界所发⽣的事件。
⽽在计算机编程语⾔上，⽆论什么语种，都会有「类型」「运算符」「流程语句」「函数」「对象」等概念来表达计算机中存在内存中的0和1，以及背后运算与逻辑。
语法树，计算机描述世界真理的树状结构。
不同的语⾔，都会配之不同的语法分析器，⽽语法分析器是把源代码作为字符串读⼊、解析，并建⽴语法树的程序。
语法的设计和语法分析器的实现是决定语⾔外在表现的重要因素。
什么是语法树？摘⾃Wiki⼀段：在计算机科学中，抽象语法树（abstract syntax tree 或者缩写为 AST），或者语法树（syntax tree），是源代码的抽象语法结构的树状表现形式，这⾥特指编程语⾔的源代码。
树上的每个节点都表⽰源代码中的⼀种结构。
之所以说语法是「抽象」的，是因为这⾥的语法并不会表⽰出真实语法中出现的每个细节。
⼀则简单的例⼦如果我们需要让计算机帮忙算⼀下「1加2再乘以3」的结果，该怎么表达呢？现在我们⼤多数的现代编程语⾔，都是使⽤「中缀表达式」的⽅式来编写运算，⽐如JavaScript：(1 + 2) * 3⽽FORTH语⾔则使⽤「后缀表达式」，这基本上与⽇语中的语序是⼀致的：1 2 + 3 *LISP语⾔使⽤的「前缀表达式」：( * (+ 1 2) 3)我们再看⼀下这三种表达式的语法树：表达式语法树⽐较.png可以看出，对于这三种简单的语⾔，它们只是在这个语法树上按不同的规则遍历⽽已。
一种基于GCC抽象语法树的程序特征提取方法作者：张良德赵彦博来源：《电子技术与软件工程》2013年第20期摘要提出一种基于GCC（GNU Compiler Collection）抽象语法树建立程序特征文本的方法，消除抽象语法树中与程序无关的结点，从消除冗余后的抽象语法树文本中提取可以表达程序语义的可用结点；之后对其进行信息提取，从而高效地生成程序特征文本。
通过实验证明了该方法的正确性与实用性。
【关键词】抽象语法树信息提取程序代码特征文本1 引言目前主流的程序代码抄袭检测系统JPlag[1]和YAP3[2]都采用字符串比较技术，这种技术核心问题之一是提取可以表示源程序的特征[3]，即能够代表该程序内容和结构信息的字符串，该字符串是一个线性串，其包含的程序结构信息的多少，将直接影响结果的准确性。
针对上述问题，本文提出了一种程序特征提取方法。
该方法借助GCC（GNU Compiler Collection）编译器，将程序转换成抽象语法树（Abstract syntax tree），重点分析AST结构，从中提取表达程序语义的信息。
1.1 AST结构GCC 编译器以源程序的过程为单位生成AST，而且包含整个编译单元的完整表示，比较直观地表示出源程序的语法结构，并含有源程序结构显示所需的全部静态信息。
AST是GCC 编译器前端的中心数据结构，AST的结点类型包括以下7种：①标识符结点（identifiers），②类型结点（types），③声明结点（declarations），④函数结点（functions），⑤范围结点（scope），⑥语句结点（statements），⑦表达式结点（expressions）。
从GCC编译器3.0版本开始，用编译参数-fdump-translation-unit[4]可以得到*.tu的以文本形式输出的AST文件，其中*为源程序名，部分AST文件如图1所示，一个结点的AST结构如图2所示，一个AST文本有若干个这样的结点组。
