走进 CPU 的 Cache

看了上一篇文章。你可能非常想知道,为什么程序的执行结果会是这样。如今,就让我们来走进 CPU 的世界。

在 SMP(对称多处理器)时代,多个 CPU 一起工作。使运算能力进一步提升,那么CPU 是怎样协调好内存訪问的呢?

     +--------------+                   +--------------+
     |     CPU0     |                   |     CPU1     |
     +--------------+                   +--------------+
        ^         |                       ^         |
        |         |                       |         |
        |         V                       |         V
        |     +--------+                  |     +--------+
        |<--> | Store  |                  |<--> | Store  |
        |     | Buffer |                  |     | Buffer |
        |     +--------+                  |     +--------+
        |         |                       |         |
        |         V                       |         V
     +--------------+                   +--------------+
     |     Cache    |                   |     Cache    |
     +--------------+                   +--------------+
            |                                  |
            |                                  |
      +------------+                     +------------+
      | Invalidate |                     | Invalidate |
      |   Queue    |                     |   Queue    |
      +------------+                     +------------+
            |            Interconnect          |
            +----------------------------------+
                              |
                  +-----------------------+
                  |       Memory          |
                  +-----------------------+

上图是现代 CPU 普遍採用的架构,因为 CPU 的运算能力的增长速度比内存訪问速度快非常多,使得内存的存取成为指令运行过程中相对较慢的过程。所以在 CPU 运算单元和

主存之间还会存在多级的缓存,通常称为 L1, L2, L3。对他们的訪问速度依次递减。上图中仅仅显示了一级缓存的存在。这样,当 CPU 訪问内存时,就会先在自己的 Cache 中查

找。看是否这段内存已经被缓存起来,假设已在缓存中,那么,直接訪问缓存就可以完毕功能。

有了缓存的存在。CPU 的运算速度得到了极大的提高。因为缓存比較昂贵,所以一般都较小,在我的奔腾 E5800 的电脑上。一级缓存一共才 128KBytes.

缓存是由缓存行组成,通常称之为 Cache line,现代 Intel CPU 中。一般都为 64B,通常,缓存都是由多路关联组成。我的 CPU 就是 4-way 关联,这里不想深入解说多路关

联缓存的工作原理,有兴趣的能够自行查阅。

当缓存中没有须要的数据时。叫做 cache miss, 这时通常会从内存中载入,cache 载入都是以 cache line 为单位,而且以 cache line 对齐,也就是在 cache line 对齐的

地址上载入 cache line 大小的内容进入缓存,这里一般为 64 个字节,就也就是把经常使用数据放在一个 cache line 对齐的内存中,这种数据结构会使得运算效率提高的原因。

当多个 CPU 都须要訪问同样内存时。那么同一段内存的内容将会出如今多个 CPU 的cache 之中,这带来的一个问题就是,怎样维护好它们之间的统一性就成了问题。比方,当同一块地址被两个 cache 同一时候缓存的时候,当中一个要改写,那么必须要存在一种手段去通知另外的 cache 即时更新。以免还有一个 CPU 须要取数据时能得到最新的数据。

缓存既然带来了这些问题。那么可不能够指令某些内存被訪问时要不要被缓存呢。或者更准确地讲。当訪问一块内存时怎样控制缓存的形为呢?答案是能够的。我们能够指定内存的类型。

通过 MTRRs 寄存器能够指定物理地址范围的内存类型,一般内存有这些经常使用类型:

1. UC (Uncacheable), 表示这段内存不能被缓存。

2. WT (Write Through), 表示写入时,cache 和内存都是更新。

3. WB (Write Back), 表示仅仅更新 cache, 合适时机再写回到内存中。

4. WC (Write combining) 这样的内存不会被 cache, 对于写操作可能会被延迟写入。

可是往往,为了取得比較高的效率。普通内存的使用通常会选择 WB 类型。也就是内存会被 cache 。此时就须要一种手段来保证各个 cache 之间的一致性了,专业一点来讲就是 Cache-coherence 。

那么怎样知道自己 cache 中的 cache line 在其他 CPU 的 cache 中存在呢。怎样记录自己的 cache line 被自己改动过,须要回写呢,显然要有一些状态标记来记录这些

东西。这就是 MESI 协议。

在MESI协议中。每一个Cache line有4个状态。可用2个bit表示,它们各自是:

1. M(Modified)

这行数据有效,数据被改动了。和内存中的数据不一致,数据仅仅存在于本Cache中。

2. E(Exclusive)

这行数据有效,数据和内存中的数据一致,数据仅仅存在于本Cache中。

3. S(Shared)

这行数据有效,数据和内存中的数据一致,数据可能存在于非常多Cache中。

4. I(Invalid)

这行数据无效。

真相正在一步一步解开...

时间: 2024-10-13 16:03:21

走进 CPU 的 Cache的相关文章

linux查看CPU高速缓存(cache)信息

一.Linux下查看CPU Cache级数,每级大小 dmesg | grep cache 实例结果如下: 二.查看Cache的关联方式 在 /sys/devices/system/cpu/中查看相应的文件夹 如查看cpu0 的一级缓存中的有多少组, $ cat /sys/devices/system/cpu/cpu0/cache/index0/number_of_sets$64 如查看cpu0的一级缓存中一组中的行数 $cat /sys/devices/system/cpu/cpu0/cach

ROM、RAM、CPU、CACHE、FLASH的区别

内存在电脑中起着举足轻重的作用.内存一般采用半导体存储单元,包括随机存储器(RAM),只读存储器(ROM),以及高速缓存(CACHE).只不过因为RAM是其中最重要的存储器,所以通常所说的内存即指电脑系统中的RAM. RAM要求每时每刻都不断地供电,否则数据会丢失.如果在关闭电源以后RAM中的数据也不丢失就好了,这样就可以在每一次开机时都保证电脑处于上一次关机的状态,而不必每次都重新启动电脑,重新打开应用程序了.但是RAM要求不断的电源供应,那有没有办法解决这个问题呢?随着技术的进步,人们想到了

Store Forwarding

上一文中讲到,由于新值存在于 Store Buffer 中,从 Cache line 中取得旧值,进而引起错误的问题,让我们来进一步解决这个问题. 在 <<走进 CPU 的 Cache>> 一文中有一张现代 CPU 的结构图,部分如下: +--------------+ | CPU0 | +--------------+ ^ | | | | V | +--------+ |<--> | Store | | | Buffer | | +--------+ | | | V

从Java视角理解CPU缓存(CPU Cache)

从Java视角理解系统结构连载, 关注我的微博(链接)了解最新动态众所周知, CPU是计算机的大脑, 它负责执行程序的指令; 内存负责存数据, 包括程序自身数据. 同样大家都知道, 内存比CPU慢很多. 其实在30年前, CPU的频率和内存总线的频率在同一个级别, 访问内存只比访问CPU寄存器慢一点儿. 由于内存的发展都到技术及成本的限制, 现在获取内存中的一条数据大概需要200多个CPU周期(CPU cycles), 而CPU寄存器一般情况下1个CPU周期就够了. CPU缓存 网页浏览器为了加

7个示例科普CPU Cache

7个示例科普CPU Cache 出处信息 (感谢网友 @我的上铺叫路遥 翻译投稿) CPU cache一直是理解计算机体系架构的重要知识点,也是并发编程设计中的技术难点,而且相关参考资料如同过江之鲫,浩瀚繁星,阅之如临深渊,味同嚼蜡,三言两语难以入门.正好网上有人推荐了微软大牛Igor Ostrovsky一篇博文<漫游处理器缓存效应>,文章不仅仅用7个最简单的源码示例就将CPU cache的原理娓娓道来,还附加图表量化分析做数学上的佐证,个人感觉这种案例教学的切入方式绝对是俺的菜,故而忍不住贸

cpu性能探究 :cache line 原理

 参考: 一个讲解Direct Mapped Cache非常深入浅出的文章: http://www.cs.umd.edu/class/sum2003/cmsc311/Notes/Memory/direct.html CPU cache http://en.wikipedia.org/wiki/CPU_cache http://blog.csdn.net/zqy2000zqy/article/details/1137895 ===================================

cpu性能探究-Linux Cache机制

 在阅读文章前,您应该具备基本的存储器层次结构知识,至少要了解局部性原理.要详细了解cache基本原理,可以参考本书<深入理解计算机系统>中存储器体系结构一章: 带着疑问来看文章,cache对于程序员是不可见的,它完全是由硬件控制的,为什么在linux内核中还有cache.h这个头文件,定义了一些关于cache的结构? 1. cache概述 cache,中译名高速缓冲存储器,其作用是为了更好的利用局部性原理,减少CPU访问主存的次数.简单地说,CPU正在访问的指令和数据,其可能会被以后多次

CPU Cache 机制以及 Cache miss

CPU体系结构之cache小结 1.What is cache? Cache是用来对内存数据的缓存. CPU要访问的数据在Cache中有缓存,称为“命中” (Hit),反之则称为“缺失” (Miss). CPU访问它的速度介于寄存器与内存之间(数量级的差别).实现Cache的花费介于寄存器与内存之间. 现在 CPU 的 Cache 又被细分了几层,常见的有 L1 Cache, L2 Cache, L3 Cache,其读写延迟依次增加,实现的成本依次降低. 现代系统采用从 Register ―>

使用valgrind检查cache命中率

Valgrind为一个debugging 和 profiling的工具包,检查内存问题只是其最知名的一个用途.今天介绍一下,valgrind工具包中的cachegrind.关于cachegrind的具体介绍,请参见valgrind的在线文档http://www.valgrind.org/docs/manual/cg-manual.html 下面使用一个古老的cache示例: #include <stdio.h> #include <stdlib.h> #define SIZE 10