从零写一个编译器(七):语义分析之符号表的数据结构

项目的完整代码在 C2j-Compiler

前言

有关符号表的文件都在symboltable包里

前面我们通过完成一个LALR(1)有限状态自动机和一个reduce信息来构建了一个语法解析表,正式完成了C语言的语法解析。接下来就是进入语义分析部分,和在第二篇提到的一样,语义分析的主要任务就是生成符号表来记录变量和变量的类型,并且发现不符合语义的语句

描述变量

在C语言里对变量声明定义里,主要有两种描述

  • 说明符(Specifier)

    说明符也就是对应C语言的一些描述变量类型或者像static,extern的关键字(像extern这些关键词在这次实现的编译器里并没有用到,因为extern可能还要涉及到多个源文件的编译和链接)

  • 修饰符(Declarator)

    修饰符则是由变量名或者代表指针类型的星号,数组的中括号组成,修饰符属于可以复杂的一部分,因为修饰符可以进行组合。所以对于组合的修饰符就可以创建多个Declarator,按顺序链接起来

这样就可以完成两个类,这两个类的逻辑都比较简单:

Declarator类

  • declareType:用来表示当前的Declarator是一个指针还是数组或者函数
  • numberOfElements、elements:如果当前的类型是个数组的话,它们就表示数组的元素个数和数组元素
public class Declarator {
    public static int POINTER = 0;
    public static int ARRAY = 1;
    public static int FUNCTION = 2;

    private int declareType;
    private int numberOfElements = 0;

    HashMap<Integer, Object> elements = null;

    public Declarator(int type) {
        this.declareType = type;
    }
    ...
}

Specifier类

Specifier的属性会比较多一点,但是在后面编译器可能只支持int, char, void, struct四种类型

  • basicType:用来表明当前变量的类型
  • storageClass:表示变量的存储方式(fixed,auto),这里我们把typedef的信息也放在这里,也就是说如果遇见typedef,那么storageClass会被设置为TYPEDEF
  • constantValue和vStruct:这两个属于比较特殊的两个属性,它们表示枚举类型和结构体,之所以特殊是因为它们之后要进行特殊处理。如果遇见枚举类型相当于构造一个basicType是CONSTANT的Specifier,对应的值也就是constantValue了
public class Specifier {
    /**
     * Variable types
     */
    public static int NONE = -1;
    public static int INT = 0;
    public static int CHAR = 1;
    public static int VOID = 2;
    public static int STRUCTURE = 3;
    public static int LABEL = 4;

    /**
     * storage
     */
    public static int FIXED = 0;
    public static int REGISTER = 1;
    public static int AUTO = 2;
    public static int TYPEDEF = 3;
    public static int CONSTANT = 4;

    public static int NO_OCLASS = 0;
    public static int PUBLIC = 1;
    public static int PRIVATE = 2;
    public static int EXTERN = 3;
    public static int COMMON = 4;

    private int basicType;
    private int storageClass;
    private int outputClass = NO_OCLASS;
    private boolean isLong = false;
    private boolean isSigned = false;
    private boolean isStatic = false;
    private boolean isExternal = false;
    private int constantValue = 0;
    private StructDefine vStruct = null;
}

描述符号表

在前面定义两个描述变量的类,但是仅靠这两个类还是无法准确的表达一个符号,所以我们需要包装一下这两个类,让它更具表达力

编程很多时候都是根据特定的需求完成特定的数据结构,符号表在计算机里本质上也只是用来描述变量的数据结构而已

这个数据结构作为符号表有几个基本的条件:

  1. 速度
    因为符号表需要频繁的插入和查找,所以查询和插入速度必须要足够的快
  2. 灵活
    因为变量的定义的可能会很复杂,比如说多个修饰符再加上指针((long int, long doube *),所以在设计上必须足够灵活

因为学习编译器一直是跟着陈老师的课,所以符号表的设计也沿用老师的设计

为了保证上面两个条件,我们选用链式哈希表来实现

这张图是我网上找的,实际上没有那么复杂

所有的变量都存储到这个哈希表中,同名变量被哈希会被同一个地方,当然它们要属于不同作用域,而区分不同作用域就在于这张图上面一部分,它会把同一个作用域的变量连接起来

symboltable.Symbol

这个类用来描述符号表里的一个符号

如果从github下载源文件的话,里面有许多是在后面代码生成才需要用到的,现在可以忽略

主要属性有:

  • level: 用来表明变量的层次
  • duplicate:是否是一个同名变量
  • args:如果该符号对应的是函数名,那么args指向函数的输入参数符号列表
  • next: 指向下一个同层次的变量符号
public class Symbol {
    String name;
    String rname;
    int level;
    boolean duplicate;
    Symbol args;
    Symbol next;
}

这时候用Symbol加上之前的Specifier和Declarator就有足够的表达力来描述一个符号,那么就需要把这三个类联系起来,先增加一个TypeLink

TypeLink

TypeLink表示一个Specifier或者一个Declarator,这里用继承来实现可能会显得更好看一点

public class TypeLink {
    public boolean isDeclarator;
    /**
     * typedef int
     */
    public boolean isTypeDef;
    /**
     * Specifier or Declarator
     */
    public Object typeObject;

    private TypeLink next = null;

    public TypeLink(boolean isDeclarator, boolean typeDef, Object typeObj) {
        this.isDeclarator = isDeclarator;
        this.isTypeDef = typeDef;
        this.typeObject = typeObj;
    }

    public Object getTypeObject() {
        return typeObject;
    }

    public TypeLink toNext() {
        return next;
    }

    public void setNextLink(TypeLink obj) {
        this.next = obj;
    }

}

这样在Symbol里就要加入两个属性

typeLinkBegin和typeLinkEnd就是用来描述变量的说明符和修饰符的整个链表,也就是之前说的把这些修饰符或者说明符按顺序连接起来

public class Symbol {
    String name;
    String rname;
    int level;
    boolean implicit;
    boolean duplicate;
    Symbol args;
    Symbol next;

    TypeLink typeLinkBegin;
    TypeLink typeLinkEnd;
}

例子

这样完成之后,例如

long int (*e)[10];

就可以这样表示

Symbol declartor declartor specifer
name:e declareType = PONITER declareType = array basicType = INT isLong = TRUE
-> -> -> ->

结构体符号的定义

StructDefine这个文件还没讲过,这个文件是用来描述结构体的,因为结构体本身的复杂性,所以就需要对它进行特殊处理,但是结构体本质上还是一堆变量的组合,所以依旧可以用上面的方法描述

  • tag: 结构体的名称
  • level: 结构体的嵌套层次
  • Symbol:对应结构体里的变量
public class StructDefine {
    private String tag;
    private int level;
    private Symbol fields;

    public StructDefine(String tag, int level, Symbol fields) {
        this.tag = tag;
        this.level = level;
        this.fields = fields;
    }
}

例子

看一个结构体定义的例子

struct dejavidwh {
    int array1[5];
    struct dejavudwh *pointer1;
} one;

小结

所以最后只需要

private HashMap<String, ArrayList<Symbol>> symbolTable = new HashMap<>();
    private HashMap<String, StructDefine> structTable = new HashMap<>();

就可以描述一个符号表

symbolTable里的key相当于变量的名字,而后面的ArrayList存放着同名变量,因为每个Symbol都有一个next指针来指向同级的其它Symbol,所以这样的结构就相当于开头描述的那个哈希表

这一节主要是描述了符号表的数据结构,两个关键点是

  1. 描述变量

    所以定义了修饰符和描述符来描述一个变量

  2. 关联变量

    定义了Symbol链表来串联各个变量

另外我的github博客:https://dejavudwh.cn/

原文地址:https://www.cnblogs.com/secoding/p/11373929.html

时间: 2024-10-31 01:06:05

从零写一个编译器(七):语义分析之符号表的数据结构的相关文章

从零写一个编译器(三):语法分析之几个基础数据结构

项目的完整代码在 C2j-Compiler 写在前面 这个系列算作为我自己在学习写一个编译器的过程的一些记录,算法之类的都没有记录原理性的东西,想知道原理的在龙书里都写得非常清楚,但是我自己一开始是不怎么看得下来,到现在都还没有完整的看完,它像是一本给已经有基础的人写的书. 在parse包里一共有8个文件,就是语法分析阶段写的所有东西啦 Symbols.java Production.java SyntaxProductionInit.java FirstSetBuilder.java Prod

从零写一个编译器(十):编译前传之直接解释执行

项目的完整代码在 C2j-Compiler 前言 这一篇不看也不会影响后面代码生成部分 现在经过词法分析语法分析语义分析,终于可以进入最核心的部分了.前面那部分可以称作编译器的前端,代码生成代码优化都是属于编译器后端,如今有关编译器的工作岗位主要都是对后端的研究.当然现在写的这个编译器因为水平有限,并没有优化部分. 在进行代码生成部分之前,我们先来根据AST来直接解释执行,其实就是对AST的遍历.现代解释器一般都是生成一个比较低级的指令然后跑在虚拟机上,但是简单起见我们就直接根据AST解释执行的

从零写一个编译器(十三):代码生成之遍历AST

项目的完整代码在 C2j-Compiler 前言 在上一篇完成对JVM指令的生成,下面就可以真正进入代码生成部分了.通常现代编译器都是先把生成IR,再经过代码优化等等,最后才编译成目标平台代码.但是时间水平有限,我们没有IR也没有代码优化,就直接利用AST生成Java字节码 入口 进行代码生成的入口在CodeGen,和之前解释器一样:先获取main函数的头节点,从这个节点开始,先进入函数定义,再进入代码块 函数定义节点 在进入函数定义节点的时候,就要生成一个函数定义对应的Java字节码,即一个静

从零写一个编译器(六):语法分析之表驱动语法分析

项目的完整代码在 C2j-Compiler 前言 上一篇已经正式的完成了有限状态自动机的构建和足够判断reduce的信息,接下来的任务就是根据这个有限状态自动机来完成语法分析表和根据这个表来实现语法分析 reduce信息 在完成语法分析表之前,还差最后一个任务,那就是描述reduce信息,来指导自动机是否该进行reduce操作 reduce信息在ProductionsStateNode各自的节点里完成,只要遍历节点里的产生式,如果符号"."位于表达式的末尾,那么该节点即可根据该表达式以

从零写一个编译器(五):语法分析之自动机的缺陷和改进

项目的完整代码在 C2j-Compiler 前言 在上一篇,已经成功的构建了有限状态自动机,但是这个自动机还存在两个问题: 无法处理shift/reduce矛盾 状态节点太多,导致自动机过大,效率较低 这一节就要解决这两个问题 shift/reduce矛盾 看上一节那个例子的一个节点 e -> t . t -> t . * f 这时候通过状态节点0输入t跳转到这个节点,但是这时候状态机无法分清是根据推导式1做reduce还是根据推导式2做shift操作,这种情况就称之为shift / redu

从零写一个编译器(四):语法分析之构造有限状态自动机

项目的完整代码在 C2j-Compiler 通过上一篇对几个构造自动机的基础数据结构的描述,现在就可以正式来构造有限状态自动机 我们先用一个小一点的语法推导式来描述这个过程 s -> e e -> e + t e -> t t -> t * f t -> f f -> ( e ) f -> NUM 初始化 状态0是状态机的初始状态,它包含着语法表达式中的起始表达式,也就是编号为0的表达式: 0: s -> . e 这里的点也就是之前Production类中的

从零写一个编译器(二):语法分析之前置知识

前言 在之前完成了词法分析之后,得到了Token流,那么接下来就是实现语法分析器来输入Token流得到抽象语法树 (Abstract Syntax Tree,AST).但是在完成这个语法分析器不像词法分析器,直接手撸就好了,还是需要一些前置的知识. 这些前置知识在之前的博文都有提起过 之前的博文目录 项目的完整代码在 C2j-Compiler 什么是语法分析? 如果我们把词法分析看成是组合单词,输出单词流,那么语法分析就可以看作是检查这些单词是不是符合语法的过程.在词法分析的时候用正则或者手工比

从零写一个编译器(十一):代码生成之Java字节码基础

项目的完整代码在 C2j-Compiler 前言 第十一篇,终于要进入代码生成部分了,但是但是在此之前,因为我们要做的是C语言到字节码的编译,所以自然要了解一些字节码,但是由于C语言比较简单,所以只需要了解一些字节码基础 JVM的基本机制 JVM有一个执行环境叫做stack frame 这个环境有两个基本数据结构 执行堆栈:指令的执行,都会围绕这个堆栈来进行 局部变量数组,参数和局部变量就存储在这个数组. 还有一个PC指针,它指向下一条要执行的指令. 举一个例子 int f(int a, int

自己动手写一个编译器Tiny语言解析器实现

然后,上一篇文章简介Tiny词法分析,实现语言.本文将介绍Tiny的语法分析器的实现. 1 Tiny语言的语法 下图是Tiny在BNF中的文法. 文法的定义能够看出.INNY语言有以下特点: 1 程序共同拥有5中语句:if语句,repea语句,read语句,write语法和assign语句. 2 if语句以end作为结束符号,if语句和repeat语句同意语句序列作为主体. 3 输入/输出由保留字read和write開始.read语句一次仅仅读出一个变量,而write语句一次仅仅写出一个表达式.