技术回归01-Windows内存分配工具

很久没有写技术方面的东西了,这半年主要是在学习别人的东西,对自己提高比较大,算是一次技术回笼吧,这次学习之旅目的是结束技术方面的专注,开始向应用方面找突破口,也就是完成技术积累或者为技术的积累做坚实的准备。

c/C++的一个让人疯狂的地方就是内存管理,非法访问、越界、野指针、泄漏、内存分配器等诸多问题,有时候一个编程老手也会迷惘困惑。Crt有一些堆栈检查的函数可以完成基本的内存状况检查,MFC也有一些简单的对象检查机制,当然好的算是java、.net等sdk的超重量级封装了,即使发生对象错误也能把堆栈信息明明白白的告诉你(至少表面上是这样,具体我对这两种语言没有做过开发)。下面介绍的是某牛公司实现的内存分配工具,基本实现了内存泄漏检查,对象合法性检查,对于我来说已经够用了。

为了对内存分配块进行跟踪,设计如下结构体:

//+--------------------------------------------------------------
//
// 每个请求分配内存块的前缀结构体
// 用来跟踪所有请求分配块以及请求分配名称
//
//---------------------------------------------------------------
struct DBGALLOCHDR
{
    DBGALLOCHDR*    pdbgahPrev; // 前一个内存块头
    DBGALLOCHDR*    pdbgahNext; // 后一个内存块头
    DWORD           iAllocated; // 记录是第几次请求分配操作
    DWORD           tid;        // 请求分配线程的ID
    size_t          cbRequest;  // 请求分配大小
    char            szName[64]; // 请求分配块名称
    DWORD           adwGuard[4];// 保护头
};

//+--------------------------------------------------------------
//
// 每个请求分配内存块的后缀结构体
// 使用特定的数据填充用来检测指针是合法
//
//---------------------------------------------------------------
struct DBGALLOCFOOT
{
    DWORD adwGuard[4];
};

// 内存跟踪块的根,通过根可以获取所有分配块
DBGALLOCHDR g_dbgahRoot =
{
    &g_dbgahRoot,
    &g_dbgahRoot,
    0,
    (DWORD)-1
};

为了实现多线程内存分配跟踪,采用Tls技术使用线程局部对象保存当前分配信息:

// 线程局部对象结构体,辅助实现每个线程的请求内存分配记录
struct DBGTHREADSTATE
{
    DBGTHREADSTATE* ptsNext;
    DBGTHREADSTATE* ptsPrev;

    // Add globals below
    void*           pvRequest;  // 线程最后一次请求分配内存的指针
    size_t          cbRequest;  // 线程最后一次请求分配内存的大小
};



// 调试期间实际分配内存大小=请求分配+分配头+分配尾
size_t _ActualSizeFromRequestSize(size_t cb)
{
    return cb+sizeof(DBGALLOCHDR)+sizeof(DBGALLOCFOOT);
}

主要实现的内存分配工具有如下这些:

void*   _MemAlloc(ULONG cb);
void*   _MemAllocClear(ULONG cb);
HRESULT _MemRealloc(void** ppv, ULONG cb);
ULONG   _MemGetSize(void* pv);
void    _MemFree(void* pv);
HRESULT _MemAllocString(LPCTSTR pchSrc, LPTSTR* ppchDst);
HRESULT _MemAllocString(ULONG cch, LPCTSTR pchSrc, LPTSTR* ppchDst);
HRESULT _MemReplaceString(LPCTSTR pchSrc, LPTSTR* ppchDest);

#define MemAlloc(cb)                            _MemAlloc(cb)
#define MemAllocClear(cb)                       _MemAllocClear(cb)
#define MemRealloc(ppv, cb)                     _MemRealloc(ppv, cb)
#define MemGetSize(pv)                          _MemGetSize(pv)
#define MemFree(pv)                            _MemFree(pv)
#define MemAllocString(pch, ppch)               _MemAllocString(pch, ppch)
#define MemAllocStringBuffer(cch, pch, ppch)    _MemAllocString(cch, pch, ppch)
#define MemReplaceString(pch, ppch)             _MemReplaceString(pch, ppch)
#define MemFreeString(pch)                      _MemFree(pch)

通过宏实现类的new delete重写:

#define DECLARE_MEMALLOC_NEW_DELETE() \
    inline void* __cdecl operator new(size_t cb)    { return(MemAlloc(cb)); } \
    inline void* __cdecl operator new[](size_t cb)  { return(MemAlloc(cb)); } \
    inline void __cdecl operator delete(void* pv)   { MemFree(pv); }

#define DECLARE_MEMCLEAR_NEW_DELETE() \
    inline void* __cdecl operator new(size_t cb)    { return(MemAllocClear(cb)); } \
    inline void* __cdecl operator new[](size_t cb)  { return(MemAllocClear(cb)); } \
    inline void __cdecl operator delete(void* pv)   { MemFree(pv); }

在应用的时候可以重写全局new delete:

// 测试全局new delete
void* __cdecl operator new(size_t cb)    { return(MemAlloc(cb)); }
void* __cdecl operator new[](size_t cb)  { return(MemAlloc(cb)); }
void __cdecl operator delete(void* pv)   { MemFree(pv); }

使用注意:
进程启动时候需要调用:
_DbgDllProcessAttach();
_afxGlobalData._hProcessHeap = GetProcessHeap();

进程退出的时候需要调用:
_DbgDllProcessDetach();

测试用例:

// 测试基本类型
void TestBuiltin()
{
    // 基本类型
    int* pInt = new int(10);
    int* pIntAry = new int[10];
    char* pStr = new char[100];
    MemSetName((pStr, "String"));
}

// 测试class
void TestClass()
{
    Cls* pCls = new Cls();
}

// 测试释放
void TestOk()
{
    Cls* pCls = new Cls();
    delete pCls;
    pCls = NULL;
}

DWORD WINAPI ThreadProc(LPVOID lpParameter)
{
    int* pIntAry = new int[100];
    return 0;
}

// 测试多线程
void TestMultiThread()
{
    HANDLE hHandle = CreateThread(NULL, 0, ThreadProc, NULL, 0, NULL);
    WaitForSingleObject(hHandle, -1);
}

int main(int argc, char* argv[])
{
    _DbgDllProcessAttach();

    _afxGlobalData._hProcessHeap = GetProcessHeap();

    TestBuiltin();
    TestClass();
    TestMultiThread();
    TestOk();

    _DbgDllProcessDetach();
    return 0;
}

调试输出窗口结果:
A +    4 -    0 = [      4]
A +   40 -    0 = [     44]
A +  100 -    0 = [    144]
A +    8 -    0 = [    152]
A +  400 -    0 = [    552]
The thread 0x1D38 has exited with code 0 (0x0).
A +    8 -    0 = [    560]
F +    0 -    8 = [    552]
---------- Leaked Memory Blocks ----------
p=0x00144354  cb=400  #=4    TID:0x1d38 
p=0x00144294  cb=8    #=3    TID:0x1878 
p=0x001441a4  cb=100  #=2    TID:0x1878 String
p=0x001440ec  cb=40   #=1    TID:0x1878 
p=0x00142a54  cb=4    #=0    TID:0x1878 
total size 552, peak size 560
---------- Leaked Memory Blocks End ------

其中A表示分配 F表示释放

该工具本人初试没有中毒症状,打算纳入个人小宝库中,希望大家喜欢!

下载

http://www.cppblog.com/wlwlxj/archive/2009/06/03/86660.html

时间: 2024-10-22 09:13:25

技术回归01-Windows内存分配工具的相关文章

内存分配(malloc,new,VirtualAlloc,HeapAlloc,GlobalAlloc,LocalAlloc)区别与注意

malloc()头文件:#include <malloc.h> 或 #include <alloc.h> (注意:alloc.h 与 malloc.h 的内容是完全一致的.)功能:分配长度为num_bytes字节的内存块说明:如果分配成功则返回指向被分配内存的指针,否则返回空指针NULL.当内存不再使用时,应使用free()函数将内存块释放. C运行库中的动态内存分配函数,主要用于ANSI C(C语言的标准)程序中,是标准库函数.WINDOWS程序基本不再使用这种方法进行内存操作,

【java虚拟机序列】java中的垃圾回收与内存分配策略

在[java虚拟机系列]java虚拟机系列之JVM总述中我们已经详细讲解过java中的内存模型,了解了关于JVM中内存管理的基本知识,接下来本博客将带领大家了解java中的垃圾回收与内存分配策略. 垃圾回收(Garbage Collection,GC)是java语言的一大特色,在Java中,程序员不需要去关心内存动态分配和垃圾回收的问题,这一切都交给了JVM来处理.而在C/C++中是需要程序员主动释放的,而在java中则交给JVM自动完成,既然是交给程序自动执行,那么这里就必须完成以下几件事:

C++ Primer 学习笔记_98_特殊的工具和技术 --优化内存分配

特殊的工具和技术 --优化内存分配 引言: C++的内存分配是一种类型化操作:new为特定类型分配内存,并在新分配的内存中构造该类型的一个对象.new表达式自己主动执行合适的构造函数来初始化每一个动态分配的类类型对象. new基于每一个对象分配内存的事实可能会对某些类强加不可接受的执行时开销,这种类可能须要使用用户级的类类型对象分配能够更快一些. 这种类使用的通用策略是,预先分配用于创建新对象的内存,须要时在预先分配的内存中构造每一个新对象. 另外一些类希望按最小尺寸为自己的数据成员分配须要的内

C++ Primer 学习笔记_98_非一般工具与技术 -优化内存分配

特殊工具与技术 --优化内存分配 引言: C++的内存分配是一种类型化操作:new为特定类型分配内存,并在新分配的内存中构造该类型的一个对象.new表达式自动运行合适的构造函数来初始化每个动态分配的类类型对象. new基于每个对象分配内存的事实可能会对某些类强加不可接受的运行时开销,这样的类可能需要使用用户级的类类型对象分配能够更快一些.这样的类使用的通用策略是,预先分配用于创建新对象的内存,需要时在预先分配的内存中构造每个新对象. 另外一些类希望按最小尺寸为自己的数据成员分配需要的内存.例如,

windows内存详解(一) 全面介绍Windows内存管理机制及C++内存分配实例

十分感谢MS社区的帖子,讲得很好~ http://social.technet.microsoft.com/Forums/zh-CN/2219/thread/afc1269f-fe08-4dc7-bb94-c395d607e536 (一):进程空间 在编程中,很多Windows或C++的内存函数不知道有什么区别,更别谈有效使用:根本的原因是,没有清楚的理解操作系统的内存管理机制,本文企图通过简单的总结描述,结合实例来阐明这个机制. 本文目的: 对Windows内存管理机制了解清楚,有效的利用C+

C++ Primer 学习笔记_98_特殊工具与技术 --优化内存分配

特殊工具与技术 --优化内存分配 引言: C++的内存分配是一种类型化操作:new为特定类型分配内存,并在新分配的内存中构造该类型的一个对象.new表达式自动运行合适的构造函数来初始化每个动态分配的类类型对象. new基于每个对象分配内存的事实可能会对某些类强加不可接受的运行时开销,这样的类可能需要使用用户级的类类型对象分配能够更快一些.这样的类使用的通用策略是,预先分配用于创建新对象的内存,需要时在预先分配的内存中构造每个新对象. 另外一些类希望按最小尺寸为自己的数据成员分配需要的内存.例如,

C++ Primer 学习笔记_99_特殊工具与技术 --优化内存分配[续1]

特殊工具与技术 --优化内存分配[续1] 三.operator new函数和operator delete 函数 – 分配但不初始化内存 首先,需要对new和delete表达式怎样工作有更多的理解.当使用new表达式 string *sp = new string("initialized"); 的时候,实际上发生三个步骤: 1)首先,表达式调用名为operator new 的标准库函数,分配足够大的原始的未类型化的内存,以保存指定类型的一个对象; 2)接下来,运行该类型的一个构造函数

Windows系统内存分析工具的介绍

? Windows系统内存分析工具的介绍(进程管理器,资源管理器,性能监视器, VMMap, RamMap,PoolMon) 微软官方提供多种工具来分析Windows 的内存使用情况,除了系统自带的任务管理器(Task Manager), 资源监视器(Resource Manager), 性能监视器(Performance Monitor), 还有SysInternals工具, ?RamMap, PoolMon用以分析内存问题.本文简单介绍上述工具的快速使用方法,如果需要了解深入了解,请参考微软

.NET的堆和栈01,基本概念、值类型内存分配

当我们对.NET Framework的一些基本面了解之后,实际上,还是很有必要了解一些更底层的知识.比如.NET Framework是如何进行内存管理的,是如何垃圾回收的......这样,我们才能写出更高性能的程序. 在.NET Framework中,有2个地方帮我们保存管理数据:一个是"堆",也叫"托管堆",由.NET Framework的垃圾收集器(Garbage Collection, GC)管理:另一个是"栈",也叫"线程堆栈&