spinlock剖析与改进

http://www.searchtb.com/2011/06/spinlock%E5%89%96%E6%9E%90%E4%B8%8E%E6%94%B9%E8%BF%9B.html

1, spinlock介绍

spinlock又称自旋锁,线程通过busy-wait-loop的方式来获取锁,任何时刻时刻只有一个线程能够获得锁,其他线程忙等待直到获得锁。spinlock在多处理器多线程环境的场景中有很广泛的使用,一般要求使用spinlock的临界区尽量简短,这样获取的锁可以尽快释放,以满足其他忙等的线程。Spinlock和mutex不同,spinlock不会导致线程的状态切换(用户态->内核态),但是spinlock使用不当(如临界区执行时间过长)会导致cpu busy飙高。

2, spinlock与mutex对比

2.1,优缺点比较

spinlock不会使线程状态发生切换,mutex在获取不到锁的时候会选择sleep

mutex获取锁分为两阶段,第一阶段在用户态采用spinlock锁总线的方式获取一次锁,如果成功立即返回;否则进入第二阶段,调用系统的futex锁去sleep,当锁可用后被唤醒,继续竞争锁。

Spinlock优点:没有昂贵的系统调用,一直处于用户态,执行速度快

Spinlock缺点:一直占用cpu,而且在执行过程中还会锁bus总线,锁总线时其他处理器不能使用总线

Mutex优点:不会忙等,得不到锁会sleep

Mutex缺点:sleep时会陷入到内核态,需要昂贵的系统调用

2.2,使用准则

Spinlock使用准则:临界区尽量简短,控制在100行代码以内,不要有显式或者隐式的系统调用,调用的函数也尽量简短。例如,不要在临界区中调用read,write,open等会产生系统调用的函数,也不要去sleep;strcpy,memcpy等函数慎用,依赖于数据的大小。

3, spinlock系统实现

spinlock的实现方式有多种,但是思想都是差不多的,现罗列一下:

3.1,glibc-2.9中的实现方法:

帮助


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

</pre>

intpthread_spin_lock
(lock) pthread_spinlock_t *lock;

{

asm
(
"\n"

"1:\t"LOCK_PREFIX
"decl
%0\n\t"

"jne
2f\n\t"

".subsection
1\n\t"

".align
16\n"

"2:\trep;
nop\n\t"

"cmpl
$0, %0\n\t"

"jg
1b\n\t"

"jmp
2b\n\t"

".previous"

:"=m"(*lock)

:"m"(*lock));

return0;

}

<pre>

执行过程:

1,lock_prefix 即 lock。lock decl %0,锁总线将%0(即lock变量)减一。Lock可以保证接下来一条指令的原子性

2, 如果lock=1,decl的执行结果为lock=0,ZF标志位为1,直接跳到return 0;否则跳到标签2。也许要问,为啥能直接跳到return 0呢?因为subsection和previous之间的代码被编译到别的段中,因此jne之后紧接着的代码就是 return 0 (leaveq;retq)。Rep nop在经过编译器编译之后被编译成 pause。

3, 如果跳到标签2,说明获取锁不成功,循环等待lock重新变成1,如果lock为1跳到标签1重新竞争锁。

该实现采用的是AT&T的汇编语法,更详细的执行流程解释可以参考“五竹”大牛的文档

3.2,系统自带(glibc-2.3.4)spinlock反汇编代码:

系统环境:

2.6.9-89.ELsmp #1 SMP  x86_64 x86_64 x86_64 GNU/Linux

(gdb) disas pthread_spin_lock

Dump of assembler code for function pthread_spin_lock:

//eax寄存器清零,做返回值

0x0000003056a092f0 <pthread_spin_lock+0>:       xor    %eax,%eax

//rdi存的是lock锁地址,原子减一

0x0000003056a092f2 <pthread_spin_lock+2>:       lock decl (%rdi)

//杯了个催的,加锁不成功,跳转,开始busy wait

0x0000003056a092f5 <pthread_spin_lock+5>:       jne    0x3056a09300 <pthread_spin_lock+16>

//终于夹上了…加锁成功,返回

0x0000003056a092f7 <pthread_spin_lock+7>:       retq

……………………………………….省略若干nop……………………………………….

0x0000003056a092ff <pthread_spin_lock+15>:      nop

//pause指令降低CPU功耗

0x0000003056a09300 <pthread_spin_lock+16>:      pause

//检查锁是否可用

0x0000003056a09302 <pthread_spin_lock+18>:      cmpl   $0×0,(%rdi)

//回跳,重新锁总线获取锁

0x0000003056a09305 <pthread_spin_lock+21>:      jg     0x3056a092f2 <pthread_spin_lock+2>

//长夜漫漫,爱上一个不回家的人,继续等~

0x0000003056a09307 <pthread_spin_lock+23>:      jmp    0x3056a09300 <pthread_spin_lock+16>

0x0000003056a09309 <pthread_spin_lock+25>:      nop

……………………………………….省略若干nop……………………………………….

End of assembler dump.

Glibc的汇编代码还是很简洁的,没有多余的代码。

4, Pause指令解释(from intel):

Description

Improves the performance of spin-wait loops. When executing a “spin-wait loop,” a Pentium 4 or Intel Xeon processor suffers a severe performance penalty when exiting the loop because it detects a possible memory order violation.
The PAUSE instruction provides a hint to the processor that the code sequence is a spin-wait loop. The processor uses this hint to avoid the memory order violation in most situations, which greatly improves processor performance. For this reason, it is recommended
that a PAUSE instruction be placed in all spin-wait loops.

提升spin-wait-loop的性能,当执行spin-wait循环的时候,笨死和小强处理器会因为在退出循环的时候检测到memory order violation而导致严重的性能损失,pause指令就相当于提示处理器哥目前处于spin-wait中。在绝大多数情况下,处理器根据这个提示来避免violation,藉此大幅提高性能,由于这个原因,我们建议在spin-wait中加上一个pause指令。

名词解释(以下为本人猜想):memory order violation,直译为-内存访问顺序冲突,当处理器在(out of order)乱序执行的流水线上去内存load某个内存地址的值(此处是lock)的时候,发现这个值正在被store,而且store本身就在load之前,对于处理器来说,这就是一个hazard,流水流不起来。

在本文中,具体是指当一个获得锁的工作线程W从临界区退出,在调用unlock释放锁的时候,有若干个等待线程S都在自旋检测锁是否可用,此时W线程会产生一个store指令,若干个S线程会产生很多load指令,在store之后的load指令要等待store在流水线上执行完毕才能执行,由于处理器是乱序执行,在没有store指令之前,处理器对多个没有依赖的load是可以随机乱序执行的,当有了store指令之后,需要reorder重新排序执行,此时会严重影响处理器性能,按照intel的说法,会带来25倍的性能损失。Pause指令的作用就是减少并行load的数量,从而减少reorder时所耗时间。

An additional function of the PAUSE instruction is to reduce the power consumed by a Pentium 4 processor while executing a spin loop. The Pentium 4 processor can execute a spin-wait loop extremely quickly, causing the processor
to consume a lot of power while it waits for the resource it is spinning on to become available. Inserting a pause instruction in a spin-wait loop greatly reduces the processor’s power consumption.

Pause指令还有一个附加所用是减少笨死处理器在执行spin loop时的耗电量。当笨死探测锁是否可用时,笨死以飞快的速度执行spin-wait loop,导致消耗大量电量。在spin-wait loop中插入一条pause指令会显著减少处理器耗电量。

This instruction was introduced in the Pentium 4 processors, but is backward compat-ible with all IA-32 processors. In earlier IA-32 processors, the PAUSE instruction operates like a NOP instruction. The Pentium 4 and Intel
Xeon processors implement the PAUSE instruction as a pre-defined delay. The delay is finite and can be zero for some processors. This instruction does not change the architectural state of the processor (that is, it performs essentially a delaying no-op operation).

该指令在笨死中被引入,但是向后兼容所有IA-32处理器,在早期的IA-32处理器中,pause指令以nop的方式来运行,笨死和小强以一个预定义delay的方式来实现pause,该延迟是有限的,在某些处理器上可能是0,pause指令并不改变处理器的架构(位?)状态(也就是说,它是一个延迟执行的nop指令)。至于Pause指令的延迟有多大,intel并没有给出具体数值,但是据某篇文章给出的测试结果,大概有38~40个clock左右(官方数字:nop延迟是1个clock),一下子延迟40个clock,intel也够狠的。

This instruction’s operation is the same in non-64-bit modes and 64-bit mode.

该指令在64位与非64位模式下的表现是一致的。

5, spinlock改进

根据上一小节的分析,pause指令最主要的作用是减低功耗和延迟执行下一条指令。所以我们可以有这样的猜想:如果在spin-wait的过程中,记录下加锁失败的次数,对失败的加锁行为进行惩罚(failure penalty),让等待时间和失败次数成正比,即失败次数越多等待时间越长、执行的pause指令越多。

  • 这样的好处有:

A,   在锁竞争很激烈的情况下,通过增加延迟来降低锁总线的次数,当锁总线次数降低时,系统其它程序对内存的竞争减少,提高系统整体吞吐量

B,   在锁竞争很激烈的情况下,减少计算指令的执行次数,降低功耗,低碳低碳!!!

C,   当锁竞争不激烈时,还能获得和原来一样的性能

  • 但是带来的问题有:

A,   如果竞争锁失败次数越多,pause次数越多的话,会导致有些线程产生starvation

B,   在某些特殊的场景下,锁竞争很小的时候,failure penalty可能会导致程序执行时间变长,进而导致总的加锁次数不一定减少

  • 解决方案:

当失败次数超过一个阈值的时候,将失败次数清零,使线程以洁白之躯重新参与竞争;对于少数failure penalty导致执行时间延长的情况,可以先忽略。

  • 基于failure penalty的改进实现:

为了便于区分,起了很山寨的名字叫newlock,对比对象是sim_spin_lock,sim_spin_lock与pthread_spin_lock算法一致,实现细节基本一致,之所以加入这种对比是为了更加精确地衡量新算法的效果。ecx寄存器记录下本次加锁过程的失败次数

帮助


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

</pre>

intnewlock(pthread_spinlock_t
*lock){

__asm__(

//eax清零,记录当前lock次数

"xor
%%eax,%%eax\n\t"

//ecx清零,记录总的lock次数

"xor
%%ecx,%%ecx\n\t"

//记录加锁次数

"1:incl
%%ecx\n\t"

//记录当前加锁次数

"incl
%%eax\n\t"

//锁总线,开始加锁,rdi寄存器存储的是lock变量的地址

"lock
decl(%%rdi)\n\t"

//加锁不成功

"jne
2f\n\t"

//加锁成功,将锁总线次数作为返回值返回

"movl
%%ecx,%%eax\n\t"

"leave\n\t"

"retq\n\t"

"nop\n\t"

"nop\n\t"

//pause跳转标签

"5:pause\n\t"

"4:pause\n\t"

"3:pause\n\t"

"2:pause\n\t"

//探测锁是否可用

"cmpl
$0x0,(%%rdi)\n\t"

//锁可用,重新加锁

"jg
1b\n\t"

//加锁次数与4取模

"and
$0x3,%%eax\n\t"

//根据结果进行跳转

"cmpl
$0x0,%%eax\n\t"

"je
2b\n\t"

"cmpl
$0x1,%%eax\n\t"

"je
3b\n\t"

"cmpl
$0x2,%%eax\n\t"

"je
4b\n\t"

"je
5b\n\t"

"nop\n\t"

"nop\n\t"

:

:"D"(lock)

:"%eax","%ecx","%edx");

}

  • 与pthread_spin_lock算法相同的sim_spin_lock:

帮助


1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

</pre>

intsim_spin_lock(pthread_spinlock_t
*lock){

__asm__(

//eax清零,记录当前lock次数

"xor
%%eax,%%eax\n\t"

//ecx清零,记录总的lock次数

"xor
%%ecx,%%ecx\n\t"

//记录加锁次数

"1:incl
%%ecx\n\t"

//记录当前加锁次数

"incl
%%eax\n\t"

//锁总线,开始加锁,rdi寄存器存储的是lock变量的地址

"lock
decl(%%rdi)\n\t"

//加锁不成功

"jne
2f\n\t"

//加锁成功,将锁总线次数作为返回值返回

"movl
%%ecx,%%eax\n\t"

"leave\n\t"

"retq\n\t"

"nop\n\t"

"nop\n\t"

//pause跳转标签

"2:pause\n\t"

//探测锁是否可用

"cmpl
$0x0,(%%rdi)\n\t"

//锁可用,重新加锁

"jg
1b\n\t"

"jmp
2b\n\t"

"nop\n\t"

"nop\n\t"

:

:"D"(lock)

:"%eax","%ecx","%edx");

}

6, 性能对比

  • 测试环境:

处理器:8Core Intel(R) Xeon(R) CPU E5410  @ 2.33GHz

Glibc版本:glibc-2.3.4-2.43

GCC版本:3.4.6

  • 测试程序:

+
expand source

  • Benchmark设置:

>输入参数:

线程数量:1,2,3,5,7,8,10,12,14,16,18,20,25,30,35,40

每个线程加锁(循环)次数:5000000

临界区长度:1,1+1*6,1+3*6,1+5*6,1+10*6,1+20*6,1+50*6,1+100*6

case执行次数:每个case执行10次,尽量减少误差

> 输出参数:

执行时间:平均执行时间

锁总线次数:平均锁总线次数

  • 执行时间对比:

  • 锁总线次数对比:

还有若干图,囿于篇幅和时间,亲们我就不贴了

7, 实验结果分析

  • 定义:

竞争因子:竞争因子=线程数量/处理器个数。以本文为例,假设有16个线程,处理器为8核,那么竞争因子为2

  • 竞争因子与执行时间的关系:

当竞争因子为1/8,也就是只有一个线程的时候,很明显两种算法的执行时间是一致的,因为此时没有其他线程竞争锁;当竞争因子在1/8~4/8之间的时候,在某些情况下(依赖于临界区长度)新算法性能低于老算法;当竞争因子大于4/8的时候,新算法性能优于老算法。

  • 竞争因子与锁总线次数的关系:

当竞争因子为1/8的时候,新老算法一致(原理同上);当竞争因子在1/8~4/8之间的时候,大部分情况下老算法性能优于新算法;当竞争因子大于4/8的时候,新算法性能优于老算法,由于锁总线次数基数比较大,在图上可能比较难看出来。

  • 拐点:

细心的同学可能会发现有一个拐点:就是当临界区的长度为 1+50*6 的时候,也就是临界区有300行代码的时候,新算法锁总线次数要比老算法多,而且执行时间也长一些,这就牵扯到新算法的一个缺点:在某些情况下,当锁可用,需要去竞争锁的时候,由于线程还在pause中,只有等pause结束才能去竞争,而pause结束时,锁很可能不可用(被其他线程获取),根据新算法,加锁失败线程又要多pause一次,导致整体的锁总线次数和执行时间增加。这个拐点依赖于竞争因子、具体的处理器、具体的临界区代码、pause执行周期。

  • 不足:

由于时间的关系,试验做的不是很足;指令回避那块可以做优化(目前只是简单的cmpl和jmp);到底最大pause次数是多少需要试验来支撑,目前是4次;个人感觉pause的处理器实现粒度还是比较粗的,应该是intel的一个经验值,接下来的试验可以用nop来代替pause,这样得出来的数据应该会更为平滑一些,控制也更为细腻。

  • 总结:

当竞争比较激烈的时候,新算法在绝大部分情况下优于老算法(除了拐点),大概有2-5%的提升;当处理器竞争比较小的时候,尤其是竞争因子为3/8的时候,新算法不如老算法;如果用nop替代pause应该会有更好的表现。

时间: 2024-11-03 21:35:26

spinlock剖析与改进的相关文章

自旋锁spinlock剖析与改进

1, spinlock介绍 spinlock又称自旋锁,线程通过busy-wait-loop的方式来获取锁,任时刻只有一个线程能够获得锁,其他线程忙等待直到获得锁.spinlock在多处理器多线程环境的场景中有很广泛的使用,一般要求使用spinlock的临界区尽量简短,这样获取的锁可以尽快释放,以满足其他忙等的线程.Spinlock和mutex不同,spinlock不会导致线程的状态切换(用户态->内核态),但是spinlock使用不当(如临界区执行时间过长)会导致cpu busy飙高. ...

iOS.OSAtomic

1. 原子操作 (Atomic Operations) 编写多线程代码最重要的一点是:对共享数据的访问要加锁. Shared data is any data which more than one thread can access. 原子操作(Atomic Operations)满足只有一个线程可以访问Shared data, 同时不需要加锁. 原子操作中的"原子"是不可分割的意思. OSAtomic是OS X的原子操作库. 2. OSAtomic OSAtomic函数在OSAto

计算机科学精彩帖子收集

inux源码 LXR 源自"the Linux Cross Referencer",中间的"X"形象地代表了"Cross".与 Source Navigator 类似,它也是分析阅读源代码的好工具.不同的是,它将源代码借助浏览器展示出来,文件间的跳转过程成了我熟悉的点击超链接动作. http://lxr.linux.no/   LXR安装过程简介 linux手册 http://linux.die.net/man/ Linux每周新闻 http:/

中断与异常详解(五)

随着看的东西的增多,之前不明白的地方也开始有了眉目,所以更新前几节的东西,欢迎指正.想想马上就中断返回,进入进程描述了,还是挺激动的呢. 不得不推荐一篇写得很好的文章<spinlock的剖析与改进> http://www.searchtb.com/2011/06/spinlock%E5%89%96%E6%9E%90%E4%B8%8E%E6%94%B9%E8%BF%9B.html 中断向量表多达256项 虽然默认使用的只有49条,但很明显中断服务程序必须支持SMP,这也是在第三节为什么在 han

深度剖析阿里巴巴对Apache Flink的优化与改进

本文主要从两个层面深度剖析:阿里巴巴对Flink究竟做了哪些优化? 取之开源,用之开源 一.SQL层 为了能够真正做到用户根据自己的业务逻辑开发一套代码,能够同时运行在多种不同的场景,Flink首先需要给用户提供一个统一的API.在经过一番调研之后,阿里巴巴实时计算认为SQL是一个非常适合的选择.在批处理领域,SQL已经经历了几十年的考验,是公认的经典.在流计算领域,近年来也不断有流表二象性.流是表的ChangeLog等理论出现.在这些理论基础之上,阿里巴巴提出了动态表的概念,使得流计算也可以像

【Java集合源码剖析】HashMap源码剖析

转载请注明出处:http://blog.csdn.net/ns_code/article/details/36034955 HashMap简介 HashMap是基于哈希表实现的,每一个元素是一个key-value对,其内部通过单链表解决冲突问题,容量不足(超过了阀值)时,同样会自动增长. HashMap是非线程安全的,只是用于单线程环境下,多线程环境下可以采用concurrent并发包下的concurrentHashMap. HashMap 实现了Serializable接口,因此它支持序列化,

CNN卷积神经网络的改进(15年最新paper)

回归正题,今天要跟大家分享的是一些 Convolutional Neural Networks(CNN)的工作. 大家都知道,CNN 最早提出时,是以一定的人眼生理结构为基础,然后逐渐定下来了一些经典的架构--convolutional 和 pooling 的交替,最后再加上几个 fully-connected layers 用作最后做 prediction 等的输出.然而,假设我们能"反思"经典,深入剖析这些经典架构中的不同 component 的作用.甚至去改进它们,有时候可能有许

DICOM医学图像处理:深入剖析Orthanc的SQLite,了解WADO &amp; RESTful API

背景: 上一篇博文简单翻译了Orthanc官网给出的CodeProject上"利用Orthanc Plugin SDK开发WADO插件"的博文,其中提到了Orthanc从0.8.0版本之后支持快速查询,而原本的WADO请求需要是直接借助于Orthanc内部的REST API逐级定位.那么为什么之前的Orthanc必须要逐级来定位WADO请求的Instance呢?新版本中又是如何进行改进的呢?此篇博文通过分析Orthanc内嵌的SQLite数据库,来剖析Orthanc的RESTful A

大道唯简----存储架构演变之剖析

随着云计算和大数据的发展,传统的基于主机的存储架构已逐渐向网络化.虚拟化.海量云存储发展,从分散走向集中,存储的性能.效率和扩展性.灵活性被企业普遍关注.从更高层次看,存储不仅需要提供数据的管理.数据复制.快照.镜像.迁移等例行性事物,更要能处理数据的灾难恢复.数据一致性.虚拟化融合.弹性计算与资源扩展等工作,这些都依赖于良好的存储架构来满足. 结合企业的IT建设,我们可以把存储架构的演变归纳为三个阶段. 第一个阶段是存储基本架构的演进过程. 在企业建立初期,用户的数据规模并不大,存储需求也相对