TCMalloc优化Nginx、MySQL、Redis内存管理

TCMalloc(Thread-Caching Malloc)与标准glibc库的malloc实现一样的功能,但是TCMalloc在效率和速度效率都比标准malloc高很多。TCMalloc是google-perftools工具中的一个(gperftools四个工具分别是:TCMalloc、heap-checker、heap-profiler和cpu-profiler),这个工具是开源的,以源码形式发布。如果觉得自己维护一个内存分配器麻烦的话,可以考虑将TCMalloc静态库连接到你的程序中。使用的时候和glibc中的malloc调用方式一模一样。你需要做的只是把TCMalloc的动态库或者静态库连接进你的程序中,你就可以获得一个高效,快速,安全的内存分配器。

与标准的glibc库的malloc相比,TCMalloc在内存的分配效率和速度要高,可以在高并发的情况下很好的控制内存的使用,提高服务器的性能,降低负载。TCMalloc的实现原理和测试报告请见一篇文章:《TCMalloc:线程缓存的Malloc

tcmalloc作为可选项已经添加到lnmp最新源码一键安装包

安装libunwind库:
如果系统是64位的需要先安装libunwind库,32位系统则不需要安装。

libunwind库为基于64位CPU和操作系统的程序提供了基本的堆栈辗转开解功能,其中包括用于输出堆栈跟踪的API用于以编程方式辗转开解堆栈的API以及支持C++异常处理机制的API。

tar xf libunwind-1.1.tar.gz
cd libunwind-1.1
CFLAGS=-fPIC ./configure
make CFLAGS=-fPIC
make CFLAGS=-fPIC install

gperftools的安装:

tar xzf gperftools-2.1.tar.gz
cd gperftools-2.1

可以加入参数只编译tcmalloc(./configure –enable-minimal、–disable-cpu-profiler、–disable-heap-profiler、–disable-heap-checker、–disable-debugalloc),64位操作系统不安装libunwind也不会报错,注意生成的库文件是libtcmalloc_minimal.*
64位操作系统,如下

./configure

32位系统,不需要安装libunwind,但是一定要添加–enable-frame-pointers参数,如下

./configure --enable-frame-pointers
make && make install

编译安装后,输入以下命令:

echo ‘/usr/local/lib‘ > /etc/ld.so.conf.d/local.conf
ldconfig


使用TCMalloc优化Nginx
为了使nginx支持google-perftools,需要在安装过程中添加”–with-google_perftools_module”选项重新编译nginx。安装如下:

tar xf nginx-1.4.7.tar.gz
cd nginx-1.4.7
./configure > --user=nginx > --group=nginx > --prefix=/usr/local/nginx > --with-pcre=../pcre-8.33 > --with-zlib=../zlib-1.2.8 > --with-openssl=../openssl-1.0.0l > --with-http_stub_status_module > --error-log-path=/var/log/nginx/error.log > --http-log-path=/var/log/nginx/access.log > --pid-path=/var/run/nginx/nginx.pid  > --lock-path=/var/lock/nginx.lock > --with-http_gzip_static_module > --http-proxy-temp-path=/var/tmp/nginx/proxy/ > --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ > --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi > --http-scgi-temp-path=/var/tmp/nginx/scgi > --with-google_perftools_module
make && make install

为添加线程目录:

mkdir /tmp/tcmalloc
chown -R www.www /tmp/tcmalloc
chmod 0777 /tmp/tcmalloc 
vi /usr/local/nginx/conf/nginx.conf #pid下一行添加
google_perftools_profiles /tmp/tcmalloc;

重启nginx服务

/etc/init.d/nginx restart

验证tcmalloc是否在Nginx中生效

yum -y install lsof
lsof -n | grep tcmalloc

每个线程(work_processes的值)会有一行记录。每个线程文件后面的数字值就是启动的nginx的pid值。




使用TCMalloc优化MySQL
MySQL 5.1静态编译方法,./configure预编译时假设下面参数

--with-mysqld-ldflags=-ltcmalloc

MySQL 5.5静态编译方法,cmake预编译时加上下面参数

-DCMAKE_EXE_LINKER_FLAGS="-ltcmalloc" -DWITH_SAFEMALLOC=OFF

采用动态加载

sed -i ‘[email protected] [email protected] mysqld_safe\nexport LD_PRELOAD=/usr/local/lib/[email protected]‘ /usr/local/mysql/bin/mysqld_safe
service mysqld restart

验证加载tcmalloc在MySQL中是否生效,如下:

lsof -n | grep tcmalloc

使用TCMalloc优redis 
注意:redis-2.4以上自带jemalloc,你不需要加任何参数,通过zmalloc.c源码中我们可以看到,Redis在编译时,会先判断是否使用tcmalloc,如果是,会用tcmalloc对应的函数替换掉标准的libc中的函数实现。其次会判断jemalloc是否使得,最后如果都没有使用才会用标准的libc中的内存管理函数。所以用tcmalloc优化请谨慎使用,这两着分配器碎片率相差不大,建议用自带jemalloc

make USE_TCMALLOC=yes FORCE_LIBC_MALLOC=yes/bin/cp src/{redis-benchmark,redis-check-aof,redis-check-dump,redis-cli,redis-sentinel,redis-server} /usr/local/redis/bin
时间: 2024-08-24 18:36:05

TCMalloc优化Nginx、MySQL、Redis内存管理的相关文章

利用TCMalloc优化Nginx性能

技术说明: TCMalloc 全称Thread-Cachig Malloc,是谷歌开发的开源工具Google-preftools中的一个成员.与标准的glibc库的Malloc相比,TCMalloc库在内存分配效率和速度上要高很多,在很大程度上提高了服务器在高并发情况下的性能,从而降低了系统的负载. 一.安装libunwind: 1.安装libunwind: http://download.savannah.gnu.org/releases/libunwind/ 下载libunwind-0.99

Redis内存管理的基石zmallc.c源码解读(附录):源码结构表

Redis内存管理的基石zmallc.c源码解读(一) Redis内存管理的基石zmallc.c源码解读(二) 前面两篇博文,细致地介绍了zmalloc.c文件的各个函数,不过大家要想深入学习Redis,还需要自己去看源码才是,我梳理了一下zmalloc.c文件的结构,为大家阅读源码提供便利. 全局变量 名称 类型 说明 used_memory static size_t Redis已用内存空间的大小 zmalloc_thread_safe static int 标识是否线程安全 used_me

Redis 内存管理与事件处理

1 Redis内存管理 Redis内存管理相关文件为zmalloc.c/zmalloc.h,其只是对C中内存管理函数做了简单的封装,屏蔽了底层平台的差异,并增加了内存使用情况统计的功能. void *zmalloc(size_t size) {    // 多申请的一部分内存用于存储当前分配了多少自己的内存     void *ptr = malloc(size+PREFIX_SIZE);      if (!ptr) zmalloc_oom_handler(size); #ifdef HAVE

懒人用 php + nginx + mysql + redis

以前一直用apache,直接下个wamp一键安装ok能用了,今天用nginx服务器了,苦B的装php装mysql装nginx再装redis,还有麻烦的配置和版本的对应,装完我十分不爽就琢磨着能不能把wamp的Apache换成nginx接着用所以实现吧, 我的wamp是安装在D盘的目录如下D:\wamp: 把nginx解压包放在这里D:\wamp\bin\ 因为wamp的php的配置文件时放在 D:\wamp\bin\apache\apache2.2.22\bin之下面的 所以在这里拷贝一份php

Redis内存管理(一)

Redis数据库的内存管理函数有关的文件为:zmalloc.h和zmalloc.c. Redis作者在编写内存管理模块时考虑到了查看系统内是否安装了TCMalloc或者Jemalloc模块,这两个是已经存在很久的内存管理模块,代码稳定.性能优异,如果已经安装的话,则使用之,最后检查是否是Mac系统,如果是Mac系统的话加载的文件不同,额,本人没进行过Mac编程,这块儿不考虑.对应的源代码为: 1 //检查是否定义了TCMalloc,TCMalloc(Thread-Caching Malloc)与

redis内存管理

Redis主要通过控制内存上线和回收策略来实现内存管理. 1. 设置内存上限 redis使用maxmemory参数限制最大可用内存.限制的目的主要有: 用户缓存场景,当超出内存上限maxmemory时使用LRU等删除策略释放空间. 防止所用内存超过服务器物理内存. 需要注意,maxmemory限制的是redis实际使用的内存量,也就是used_memory统计项对应的内存.由于内存碎片率的存在,实际消耗的内存可能会比maxmemory设置的更大,实际使用时要小心这部分内存溢出.得益于redis单

redis内存管理代码的目光

zmalloc.h /* zmalloc - total amount of allocated memory aware version of malloc() * * Copyright (c) 2009-2010, Salvatore Sanfilippo <antirez at gmail dot com> * All rights reserved. * * Redistribution and use in source and binary forms, with or with

redis内存管理代码注释

zmalloc.h /* zmalloc - total amount of allocated memory aware version of malloc() * * Copyright (c) 2009-2010, Salvatore Sanfilippo <antirez at gmail dot com> * All rights reserved. * * Redistribution and use in source and binary forms, with or with

Android性能优化:谈话Bitmap内存管理和优化

最近除了那些忙着项目开发的事情,目前正在准备我的论文.短的时间没有写博客,今晚难得想总结.只要有一点时间.因此,为了凑合用,行.唠叨罗嗦,直接进入正题. 从事Android自移动终端的发展,想必是常常要与内存问题打交道的,说到Android开发中遇到的内存问题,像Bitmap这样的吃内存的大户略微处理不当就非常easy造成OOM,当然,眼下已经有非常多知名的开源图片载入框架,比如:ImageLoader.Picasso等等,这些框架已经能够非常好的攻克了Bitmap造成的OOM问题,尽管这些框架