从golang的垃圾回收说起(上篇)

本文来自网易云社区

1 垃圾回收中的重要概念

1.1 定义

In computer science, garbage collection (GC) is a form of automatic memory management. The garbage collector, or just collector, attempts to reclaim garbage, or memory occupied by objects that are no longer in use by the program. Garbage collection was invented by John McCarthy around 1959 to simplify manual memory management in Lisp. (引用自维基百科))

1.2 GC性能的评价标准

  • 吞吐量:是指单位时间内是有多少时间是用来运行user application的。GC占用的时间过多,就会导致吞吐量较低。
  • 最大暂停时间:基本上所有的垃圾回收算法,都会在执行GC的过程中,暂停user application。如果暂停时间过长,必然会影响用户体验,尤其是那些交互性较强的应用。
  • 堆使用效率:影响堆使用效率的主要有两个因素,一个是对象头部大小,一个是堆的用法。一般来说,堆的头部越大,存储的信息越多,那么GC的效率就会越高,吞吐量什么的也会有更佳的表现。但是,我们必须明白,对象头越小越好。另外,不同的算法对于堆的不同用法,也会导致堆使用效率差距非常大。比如复制算法,用户应用只能使用一般的堆大小。GC是自动管理内存的,如果因为GC导致过量占用堆,那么就是本末倒置了。
  • 访问的局部性:具有引用关系的对象之间很可能存在连续访问的情况。因此,把具有引用关系的对象安排在堆中较劲的位置,可以充分利用内存访问局部性。有的GC算法会根据引用关系重排对象,比如复制算法。
  • 等等等等

设计垃圾回收算法时,折中无处不在。较大的吞吐量和较短的最大暂停时间往往不可兼得。

2 常见的GC算法

2.1 标记-清除算法 STW

mark_sweep(){    mark()
    sweep()}

分两个阶段,整个过程需要STW:

  • mark phase:时间复杂度跟活动对象数量成正比
  • sweep phase:时间复杂度跟堆的大小成正比

sweep阶段回收的空间会连接到空闲链表上,分配空间时从空闲链表分配,因此分配空间时间复杂度可能会有点高,即需要遍历整个空闲链表。

优点是实现简单,并且与保守式GC兼容(即没有移动对象)

缺点也非常明显:

  • 存在内存碎片
  • 分配速度较慢:使用多个空闲链表
  • 与写时复制技术不兼容:位图标记法
  • sweep操作时间复杂度同堆大小成正比:延迟清除法

延迟清除法:没有空闲链表。定义一个全局变量sweeping,从sweeping开始遍历分配新空间,遍历的开始位置处于上一次lazy_sweep操作发现的分块的右边。如果当前分块mark=true,则取消标记。如果mark=false并且分开大小大于申请空间,则分配给他。 当遍历到堆末尾时,需要将sweeping设置为heap_start,并且需要重新标记。

2.2 引用计数法

在标记-清除等GC算法中,没有分块可用时,mutator会调用下面的函数启动GC回收空间,以便进行分配:

garbage_collect(){
    ...
}

然而引用计数法是没有启动GC的语句的,它与mutator的执行密切相关,它在mutator的执行过程中通过增减引用计数器的值来实现实时的内存管理和垃圾回收。

引用计数器的更新主要有两个场景:

  • 分配新对象时
  • 更新指针时

如果引用计数值变为0,则会立即连接到空闲链表上去。分配空间时,从空闲链表分配,分配失败,则直接失败返回。

优点是:

  • 最大暂停时间短
  • 可即刻回收垃圾

缺点是:

  • 引用计数值的增减处理繁重,吞吐量低
  • 循环引用
  • 计数器占用很多位

2.3 复制算法 STW

GC复制算法将堆空间分成大小相等的两块:from空间和to空间。新对象只能从from空间分配。

当from空间没有可用空间时,则会启动GC,将from空间的活动对象复制到to空间,同时将from和to的身份互换。因此其时间复杂度,与活动对象的数量成正比,而与堆的大小无关。

复制时,是从根对象递归遍历复制过去的。因此,我们定义了一个free变量记录下从这个位置分配可用空间,分配空间的时间复杂度为常数。

优点:

  • 因为时间复杂度与活动对象数量成正比,而与堆大小无关。所以,吞吐量优秀。
  • 分配速度快
  • 不会发生碎片化
  • 访问的局部性原理

缺点是:

  • 堆的使用效率低下
  • 移动对象,与保守式GC不兼容

2.4 标记-压缩算法 STW

标记-压缩算法时将标记-清除和复制算法相结合的产物。

标记阶段跟标记-清除算法一样,从根引用的活动变量开始遍历。时间复杂度同活动对象的数量成正比。

而压缩阶段则需要遍历整个堆,按照之前的排列顺序压缩到堆的一侧去。

压缩阶段需要遍历三次堆:

  • 第一次遍历,需要找出计算出所有的活动对象需要移动到哪个位置去
  • 第二次遍历,需要重写根指针,重写活动对象的指针
  • 第三次遍历,移动对象到目标位置

优点是堆的利用率很高,没有碎片。缺点也是灰常的明显,压缩的时间复杂度太高,而且与堆的大小成正比。

2.5 分代垃圾回收

分代垃圾回收在对象中引入了“年龄”的概念,通过优先回收容易成为垃圾的对象,提高GC的效率。

我们把刚生成的对象称为新生代对象,到达一定年龄的对象称为老年代对象。

在新生代空间执行的GC,称为minor GC。在老年代空间执行的GC,称为major GC。

堆的结构:

新生成对象分配的空间都是从Eden区分配的。当Eden区满了的时候,就会触发minor GC,将Eden区和From区的活动对象都复制到To,然后交互To和From的身份。

复制的时候如果超过一定的年龄或者To空间不足(即Eden和From的活动对象占用的空间超过了To),那么直接复制到老年代空间。如果老年代空间不足则会触发major GC。

那些大于Eden空间的对象,一般也不会直接失败,而是直接分配到老年代空间。实际的实现,一般是超过一定大小,则会将其分配到老年代空间。

新生代空间和老年代空间采用不同的GC算法。新生代采用复制算法,老年代采用标记-压缩算法或者标记-清除算法。

3 Golang的垃圾回收算法

3.1 三色标记法

golang采用的是并发的三色标记清除算法(Tri-color marking)。

  • 白色:还没搜索的对象
  • 灰色:正在搜索的对象
  • 黑色:搜索完成的对象

GC开始前所有的对象都是白色对象。GC开始时,会将从根能够直接引用的对象标记为灰色,并且放到堆栈里。

然后,灰色对象会被依次弹出栈,其子对象也被涂成灰色,压入栈。当其所有的子对象都变成灰色后,就会把这个对象涂成黑色。

当GC结束时,活动对象全部为黑色对象,垃圾则为白色对象,回收白色对象即可。

主要分为四个阶段:

  • root_scan:STW
  • mark...mark...mark...mark...
  • mark termination:STW
  • sweep...sweep...sweep...

接下来分别介绍一下上述的四个不同阶段。

3.1.1 root scan

根查找阶段需要STW。找出能够从根直接引用的对象,标记为灰色,压入栈。

root_scan_phase(){    for(r : $roots){
        mark(*r)
    }    $gc_phase = GC_MARK
}

mark(obj){    if(obj.mark == false){
        obj.mark = true
        push(obj,$mark_stack)
    }
}

当我们把所有直接从根引用的对象涂成了灰色时,root scan阶段就结束了,mutator(即user application)会继续执行。

3.1.2 mark 和 mark termination

mark是分多次运行的,即增量式的mark,不需要STW,它和mutator交替运行。它主要是弹出栈里面的对象,将其子对象涂成灰色,压入栈,然后把这个对象涂成黑色。重复这个过程,直到栈为空。

mark termination则是需要STW的。它会root_rescan,然后重新执行mark。

然而,mark阶段与mutator并发运行存在一个问题,可能误把活动对象当做垃圾对象回收。

比如下面的情况:

第二张图,创建了从黑色对象到白色对象的引用。第三张图,删除了从灰色对象到白色对象的引用。这个时候就会导致C被误认为垃圾而回收。

为了避免这种情况的发生,需要引入write barrier。

最常用的write barrier是由Dijkstra提出的insertion style write barrier。

write_barrier(obj,field,newobj){    if(newobj.mark == false){
        newobj.mark = true
        push(newobj,$mark_stack)
    }
    *field = newobj
}

即如果新引用的对象是白色对象,则直接把它涂为灰色:

mark和mark termination的伪代码为:

incremental_mark_phase(){    for(i : 1...MARK_MAX){        // 分多次mark,不需要STW
        if(is_empty($mark_stack) == false){
            obj = pop($mark_stack)            for(child : children(obj)){
                mark(*child)
            }
        }else{            // mark termination,需要STW
            for(r : roots){
                mark(*r)
            }            while(is_empty($mark_stack) == false){
                obj = pop($mark_stack)                for(child : children(obj)){
                    mark(*child)
                }
            }            $gc_phase = GC_SWEEP
            $sweeping = $heap_start
            return
        }
    }
}
3.1.3 sweep

sweep也是分多次的,增量式的回收垃圾,跟mutator交替运行。跟标记-清除算法的实现基本一致,也是需要遍历整个堆,将白色对象挂到空闲链表上,黑色对象取消mark标记。

3.1.4 分配新对象

从空闲链表分配。

3.2 golang为什么没有采用压缩算法和分代算法

有点高深,想深入了解的可以参考golang-nuts上面的讨论。

原文:从golang的垃圾回收说起(上篇)

网易云新用户大礼包:https://www.163yun.com/gift

本文来自网易云社区,经作者李岚清授权发布。

相关文章:
【推荐】 移动端推广APP防作弊机制之依我见
【推荐】 谈谈分布式Aggregation

原文地址:https://www.cnblogs.com/163yun/p/9550095.html

时间: 2024-11-13 09:55:13

从golang的垃圾回收说起(上篇)的相关文章

golang 垃圾回收 gc

http://ruizeng.net/golang-gc-internals/ 摘要 在实际使用go语言的过程中,碰到了一些看似奇怪的内存占用现象,于是决定对go语言的垃圾回收模型进行一些研究.本文对研究的结果进行一下总结. 什么是垃圾回收? 曾几何时,内存管理是程序员开发应用的一大难题.传统的系统级编程语言(主要指C/C++)中,程序员必须对内存小心的进行管理操作,控制内存的申请及释放.稍有不慎,就可能产生内存泄露问题,这种问题不易发现并且难以定位,一直成为困扰开发者的噩梦.如何解决这个头疼的

(转)golang 垃圾回收机制

作者:zzZ 原文地址 原文使用 署名 - 非商业性使用 - 相同方式共享 4.0 国际 协议 声明,本文仅仅作为个人mark,排版并不如原文,为了更爽的阅读体验建议到原文查看. 延伸阅读: Go GC: Prioritizing low latency and simplicity 用任何带 GC 的语言最后都要直面 GC 问题.在以前学习 C# 的时候就被迫读了一大堆 .NET Garbage Collection 的文档.最近也学习了一番 golang 的垃圾回收机制,在这里记录一下. 常

Golang——垃圾回收GC

Go 垃圾回收原理 Golang源码探索(三) GC的实现原理 引用计数:对每个对象维护一个引用计数,当引用该对象的对象被销毁时,引用计数减1,当引用计数器为0是回收该对象. 优点:对象可以很快的被回收,不会出现内存耗尽或达到某个阀值时才回收. 缺点:不能很好的处理循环引用,而且实时维护引用计数,有也一定的代价. 代表语言:Python.PHP.Swift 标记-清除:从根变量开始遍历所有引用的对象,引用的对象标记为"被引用",没有被标记的进行回收. 优点:解决了引用计数的缺点. 缺点

golang垃圾回收和SetFinalizer

golang自带内存回收机制--GC.GC通过独立的进程执行,它会搜索不再使用的变量,并释放.需要注意的是,进行GC会占用机器资源. GC是自动进行的.如果要手动进行GC,可以调用runtime.GC()函数,进行显式GC. SetFinalizer 一个对象object被GC时,如果需要执行一些特殊操作,比如,发信号,或者写日志等,可以通过调用函数 func SetFinalizer(obj interface{}, finalizer interface{})来实现. 参数obj必须是指针类

An Introduction to Garbage Collection(垃圾回收简介)

1. Introduction 2. Principles 3. Advantages 4. Disadvantages 5. 常见的垃圾回收技术 5.1. 跟踪式垃圾回收 5.1.1. 基本算法 5.2. 引用计数垃圾回收 5.3. 分代垃圾回收 5.4. 对象使用类型分析 6. 参考 团队项目中用Go的地方越来越多,最近打算在业余时间好好看看Golang的虚拟机实现.像Java/C#/Python一样,Go的优势之一就是将开发人员从繁重的内存管理中解放 出来,本文对编程语言中常见的垃圾回收技

Python垃圾回收机制--完美讲解!

转自: http://www.jianshu.com/p/1e375fb40506 先来个概述,第二部分的画述才是厉害的. Garbage collection(GC) 现在的高级语言如java,c#等,都采用了垃圾收集机制,而不再是c,c++里用户自己管理维护内存的方式.自己管理内存极其自由,可以任意申请内存,但如同一把双刃剑,为大量内存泄露,悬空指针等bug埋下隐患.对于一个字符串.列表.类甚至数值都是对象,且定位简单易用的语言,自然不会让用户去处理如何分配回收内存的问题.python里也同

搞懂Go垃圾回收

本文主要介绍了垃圾回收的概念,Golang GC的垃圾回收算法和工作原理,看完本文可以让你对Golang垃圾回收机制有个全面的理解.由于本人不了解其他语言的GC,并未对比其他语言的垃圾回收算法,需要的可以自行Google. 什么是垃圾回收 垃圾回收(英语:Garbage Collection,缩写为GC),在计算机科学中是一种自动的存储器管理机制.当一个计算机上的动态存储器不再需要时,就应该予以释放,以让出存储器,这种存储器资源管理,称为垃圾回收.垃圾回收器可以让程序员减轻许多负担,也减少程序员

面试官,不要再问我“Java GC垃圾回收机制”了

Java GC垃圾回收几乎是面试必问的JVM问题之一,本篇文章带领大家了解Java GC的底层原理,图文并茂,突破学习及面试瓶颈. 楔子-JVM内存结构补充 在上篇<JVM之内存结构详解>中有些内容我们没有讲,本篇结合垃圾回收机制来一起学习.还记得JVM中堆的结构图吗? 图中展示了堆中三个区域:Eden.From Survivor.To Survivor.从图中可以也可以看到它们的大小比例,准确来说是:8:1:1.为什么要这样设计呢,本篇文章后续会给出解答,还是根据垃圾回收的具体情况来设计的.

垃圾回收机制汇总

平时在写代码的时候,关注的是写出能实现业务逻辑的代码,因为现在计算机的内存也比较宽裕,所以写程序的时候也就没怎么考虑垃圾回收这一方面的知识.俗话说,出来混总是要还的,所以既然每次都伸手向内存索取它的资源,那么还是需要知道什么时候以及如何把它还回去比较好. Python 垃圾回收机制--->https://blog.csdn.net/cn_wk/article/details/51707206python采用计数引用(Reference Counting)为主,来跟踪和回收垃圾.采用标记清除(Ma