TCMalloc

tcmalloc

tcmalloc 优点

  • 速度更快,比glicbc 2.3 快
  • 占用更少的内存空间,8倍8-byte的对象内存分配中占用大约8N*1.01byte的头空间,而ptmalloc则会占用16N*byte的头空间

    使用

  • 在程序中只需使用“-ltmalloc”连接标识将其链接到程序中

    综述

  • TCMalloc为每一个线程分配本地缓存,以满足小对象分配的需求,当需要时候,对象从中央数据结构移动到本地缓存,周期性的垃圾回收则将内存从各个线程的本地缓存收回中央数据结构。

小对象分配

  • 每个小对象映射到170个不同的大小空间。每个空间间隔8byte,0-8byte(8),8-24byte(16),24-48byte(24),最大间隔为256byte。大对象和小对象的界限为32kb。每个线程的缓存包括一系列大小不同的空闲对象连接到一起的链表。
  • 分配一个小对象时
  1. 先由其大小映射到对应的空间集合
  2. 查找当前线程线程缓存空闲的链表
  3. 若果空闲的链表非空,则取出第一个对象返回给调用者,通过这样获取空间时,TCMalloc不需要加锁。加锁和解锁这一对操作在2.8 GHz Xeon处理器上会占用100纳秒的时间,因此这样的机制可以很有效的加速内存分配的效率。
    1. 若链表为空,则从中央空闲链中取出一些对象填充到对应的集合中(中央空闲链对所有线程共享)。
    2. 将其放到线程本地的空闲链
    3. 返回这些新对象给调用程序。
  4. 如果中央缓存区空闲链也为空;
    1. 向中央页分配器申请连续的页
    2. 把页分割为一系列大小不同的对象
    3. 把这些对象放入中央空闲链表
    4. 把其中而一些对象放入线程本地缓存。

大对象分配

  • 一个大对象的大小(大于32K)要向上按照页大小(4K)对齐,并且是由中央的页面堆来处理。中央页面堆同样也是由一些不同大小的元素的链表组成的数组。对于i小于256,数组中第k的入口,是由k个页组成的元素所链接在一起的空闲链表。第256个入口是由长度大于256个页链接在一起的空闲链表。
  • 一个需要k个页面大小的分配请求,可以通过访问第k个空闲链表来满足。如果该空闲链表为空,我们就访问下一个空闲链表(页面大一些的),以此类推。最终,如果需要的话我们会访问最后一个空闲链。如果这一系列的查找都失败的话,我们将从系统中得到内存(使用sbrk,mmap或者通过映射一部分/dev/mem)。如果一个k页面大小的分配请求分配到的内存空间大于k个页面,当该空间释放的时候需要放回到页面堆中相应大小的空闲链表中。

Spans

  • TCMalloc的堆管理机制是将一些页面集合,一组连续的页面的结合称为一个span对象。span既可以被分配也可以被释放。如果被释放,span将会被放到对应的页面堆链表。如果被分配,span可以是一个交给应用程序的大对象,或者是一组被分割成连续小对象的页面。如果是被分割成为小对象,那么在span中会记录对象的大小级别。中央数组的页号索引,能够用于实现找到一个Span由哪些页面组成。举例来说,下图的span a占有2个页面,spanb占有1个页面,span c占有5个页面,而span d占有3个页面。
  • 一个32位的地址空间能够分配2^20个4K的页面,因此中央数组占据4MB的内存空间是可以令人接受的。在64位的机器上,我们使用3级的基树来代替数组,用于映射页号与对应的span指针。

对象释放

  • 对象释放时,计算器页好并在中央数组查找其对应的span。span中包含对象的信息,可以得知对象是否为小对象。如果是小对象,则放回线程缓存的空闲链表中。如果线程的缓存超出预定大小(默认2MB),则运行垃圾收集器把当前线程不用的对象放回central的freelist。
  • 如果释放对象是大对象,通过span可以获取对象包含页范围。通过页范围查找范围的上下限,如果上下限的页也为空闲的,则将其一起放到heap的页管理器中。

小对象中央空闲链

  • 每一个中央空闲链包含二级数据结构:一系列的span以及span中的空闲对象组成的空闲链表。
  • 中央空闲链表分配对象时,通过移动某个span的链表到第一个对象实现的,如果所有spa都有空闲的链表,则选择大小合适的span进行分配。
  • 一个对象返回到中央空闲链,是通过将其挂到span所属的链表中实现的。若链表的长度与span中所有的小对象的个数完全相等,该span是完全空闲的,并且需要返回到页堆中。

线程缓存垃圾回收

  • 当线程缓存中所有空闲对象的带下超过2MB的时候,垃圾回收期会自动进行回收,线程数增加时候,垃圾回收的阈值会减少以避免内存的浪费。
  • 我们遍历缓存中的所有空闲链表,从中移动一定数量的对象到对应的中央链表中。每个链的低水位标记L决定了从空闲链中移出对象的数量。L记录了自从上一次垃圾收集操作之后本链的最小长度。注意我们可以缩短链的长度,通过在前一次垃圾收集时移走L个对象,并且没有从中央链中获取其他对象。我们使用这个过去的记录来预测未来的情况,从线程缓存中移走L/2个对象到中央链中。这个算法性能良好,如果一个线程停止使用某个特定大小的对象,该大小的所有对象将会很快的从线程缓存中迁移到中央空闲链中,以便被其他线程来使用。

参考内容

时间: 2024-11-05 12:29:56

TCMalloc的相关文章

TCMalloc 对MYSQL 性能 优化的分析

虽然经过研究发现TCMalloc不适合我们现有的游戏框架,但意外收获发现TCMalloc可以大幅度提高MYSQL 性能及内存占用,这里给出配置及测试的结果: 1.配置 关于TCMalloc的安装,在<Google perftools 安装手记(TCMalloc)> 一文中已经详细给出,下面给出将TCMalloc配置到MYSQL的步骤: 1.1 修改MySQL启动脚本(依据MySQL安装位置): 1 vi /usr/local/mysql/bin/mysqld_safe 在# executing

TCMalloc优化Nginx、MySQL、Redis内存管理

TCMalloc(Thread-Caching Malloc)与标准glibc库的malloc实现一样的功能,但是TCMalloc在效率和速度效率都比标准malloc高很多.TCMalloc是google-perftools工具中的一个(gperftools四个工具分别是:TCMalloc.heap-checker.heap-profiler和cpu-profiler),这个工具是开源的,以源码形式发布.如果觉得自己维护一个内存分配器麻烦的话,可以考虑将TCMalloc静态库连接到你的程序中.使

使用TCmalloc的堆栈检查

使用TCMalloc的堆栈检查 Author:Echo Chen(陈斌) Email:[email protected] Blog:Blog.csdn.net/chen19870707 Date:October 15th, 2014 在前一篇译文<TCMalloc:线程缓冲的Malloc>详细讲解了TCMalloc的工作原理和特点,今天翻译<heap-checking using tcmalloc>,了解Tcmalloc堆栈检查. 一.自动的内存泄漏检查 这篇技术文档描述了如何使用

利用TCMalloc优化Nginx性能

技术说明: TCMalloc 全称Thread-Cachig Malloc,是谷歌开发的开源工具Google-preftools中的一个成员.与标准的glibc库的Malloc相比,TCMalloc库在内存分配效率和速度上要高很多,在很大程度上提高了服务器在高并发情况下的性能,从而降低了系统的负载. 一.安装libunwind: 1.安装libunwind: http://download.savannah.gnu.org/releases/libunwind/ 下载libunwind-0.99

使用TCMalloc 优化MySQL

使用TCMalloc 优化MySQLhttp://download.savannah.gnu.org/releases/libunwind/libunwind-1.1.tar.gz http://gperftools.googlecode.com/files/gperftools-2.1.tar.gz 参照MySQL管理之道 19页进行安装tar -xf libunwind-1.1.tar.gzcd libunwind-1.1CFLAGS=-fPIC ./configure --enable-s

TCMalloc:线程缓冲的Malloc

这段时间比较闲,研究下内存管理,从官方文档开始啃起<TCMalloc : Thread-Caching Malloc>. 一.动机 TCMalloc要比glibc 2.3的malloc(可以从一个叫作ptmalloc2的独立库获得)和其他我测试过的malloc都快.ptmalloc在一台2.8GHz的P4机器上执行一次小对象malloc及free大约需要300纳秒,而TCMalloc的版本同样的操作大约只需要50纳秒.malloc版本的速度是至关重要的,因为如果malloc不够快,应用程序的作

使用TCMalloc优化OpenResty

1.安装依赖包 yum -y install wget gcc gcc-c++ -y 2.安装libunwind库可以从http://ftp.twaren.net/Unix/NonGNU//libunwind/下载 wget http://ftp.twaren.net/Unix/NonGNU//libunwind/libunwind-1.1.tar.gz tar zxvf libunwind-1.1.tar.gz cd libunwind-1.1 CFLAGS=-fPIC ./configure

使用Tcmalloc进行堆栈分析

在前一篇译文<使用TCmalloc的堆栈检查>,介绍了Tcmalloc进行堆栈检查,今天翻译<heap-profiling using tcmalloc>,了解如何 TCmalloc进行堆栈分析. 一.堆栈分析的用法: 这篇技术文档描述了如何使用C++程序来分析堆栈.可以用来做一下三条事情: 在任何时间了解程序的堆栈情况 定位内存泄漏 找到大量内存分配的位置 1.链接堆栈分析器 你可以对任何链接了tcmalloc的程序进行堆栈分析,并且不需要重新编译. 把tcmalloc链接到你的

记一次tcmalloc分配内存引起的coredump

现象 线上的服务出现coredump,堆栈为: #0 0x000000000045d145 in GetStackTrace(void**, int, int) () #1 0x000000000045ec22 in tcmalloc::PageHeap::GrowHeap(unsigned long) () #2 0x000000000045eeb3 in tcmalloc::PageHeap::New(unsigned long) () #3 0x0000000000459ee8 in tc

redis采用tcmalloc导致无法释放内存的问题

from:http://wangneng-168.iteye.com/blog/2100379 redis使用tcmalloc管理内存,当删除了redis的key后,通过redis的info命令查看内存使用情况,发现内存并没有释放,但是采用默认的jemalloc就不会有这个问题 以下是采用tcmalloc后删除key前和删除key后通过info看到的内存情况: 删除key前: used_memory:13051400 used_memory_human:12.45M used_memory_rs