【转】环形缓冲区

原文地址:http://blog.csdn.net/linlinlinxi007/article/details/5086806

在通信程序中,经常使用环形缓冲区作为数据结构来存放通信中发送和接收的数据。环形缓冲区是一个先进先出的循环缓冲区,可以向通信程序提供对缓冲区的互斥访问。

1、环形缓冲区的实现原理 
环形缓冲区通常有一个读指针和一个写指针。读指针指向环形缓冲区中可读的数据,写指针指向环形缓冲区中可写的缓冲区。通过移动读指针和写指针就可以实现缓冲区的数据读取和写人。在通常情况下,环形缓冲区的读用户仅仅会影响读指针,而写用户仅仅会影响写指针。如果仅仅有一个读用户和一个写用户,那么不需要添加互斥保护机制就可以保证数据的正确性。如果有多个读写用户访问环形缓冲区,那么必须添加互斥保护机制来确保多个用户互斥访问环形缓冲区。 
图1、图2和图3是一个环形缓冲区的运行示意图。图1是环形缓冲区的初始状态,可以看到读指针和写指针都指向第一个缓冲区处;图2是向环形缓冲区中添加了一个数据后的情况,可以看到写指针已经移动到数据块2的位置,而读指针没有移动;图3是环形缓冲区进行了读取和添加后的状态,可以看到环形缓冲区中已经添加了两个数据,已经读取了一个数据。

服务器公共组件实现----环形缓冲区

消息队列锁调用太频繁的问题算是解决了,另一个让人有些苦恼的大概是这太多的内存分配和释放操作了。频繁的内存分配不但增加了系统开销,更使得内存碎片不断增多,非常不利于我们的服务器长期稳定运行。也许我们可以使用内存池,比如SGI STL中附带的小内存分配器。但是对于这种按照严格的先进先出顺序处理的,块大小并不算小的,而且块大小也并不统一的内存分配情况来说,更多使用的是一种叫做环形缓冲区的方案,mangos的网络代码中也有这么一个东西,其原理也是比较简单的。 
  就好比两个人围着一张圆形的桌子在追逐,跑的人被网络IO线程所控制,当写入数据时,这个人就往前跑;追的人就是逻辑线程,会一直往前追直到追上跑的人。如果追上了怎么办?那就是没有数据可读了,先等会儿呗,等跑的人向前跑几步了再追,总不能让游戏没得玩了吧。那要是追的人跑的太慢,跑的人转了一圈过来反追上追的人了呢?那您也先歇会儿吧。要是一直这么反着追,估计您就只能换一个跑的更快的追逐者了,要不这游戏还真没法玩下去。 
  前面我们特别强调了,按照严格的先进先出顺序进行处理,这是环形缓冲区的使用必须遵守的一项要求。也就是,大家都得遵守规定,追的人不能从桌子上跨过去,跑的人当然也不允许反过来跑。至于为什么,不需要多做解释了吧。 
  环形缓冲区是一项很好的技术,不用频繁的分配内存,而且在大多数情况下,内存的反复使用也使得我们能用更少的内存块做更多的事。 
  在网络IO线程中,我们会为每一个连接都准备一个环形缓冲区,用于临时存放接收到的数据,以应付半包及粘包(即发送方发送的若干包数据到接收方接收时粘成一包)的情况。在解包及解密完成后,我们会将这个数据包复制到逻辑线程消息队列中,如果我们只使用一个队列,那这里也将会是个环形缓冲区,IO线程往里写,逻辑线程在后面读,互相追逐。可要是我们使用了前面介绍的优化方案后,可能这里便不再需要环形缓冲区了,至少我们并不再需要他们是环形的了。因为我们对同一个队列不再会出现同时读和写的情况,每个队列在写满后交给逻辑线程去读,逻辑线程读完后清空队列再交给IO线程去写,一段固定大小的缓冲区即可。没关系,这么好的技术,在别的地方一定也会用到的

2、实例:环形缓冲区的实现

环形缓冲区是数据通信程序中使用最为广泛的数据结构之一,下面的代码,实现了一个环形缓冲区:

 1 /*ringbuf .c*/
 2 #include<stdio. h>
 3 #include<ctype. h>
 4
 5 #define NMAX 8
 6
 7 int iput = 0; /* 环形缓冲区的当前放入位置 */
 8 int iget = 0; /* 缓冲区的当前取出位置 */
 9 int n = 0; /* 环形缓冲区中的元素总数量 */
10 double buffer[NMAX];
11
12 /* 环形缓冲区的地址编号计算函数,如果到达唤醒缓冲区的尾部,将绕回到头部。环形缓冲区的有效地址编号为:0到(NMAX-1)*/
13 int addring (int i)
14 {
15      return (i+1) == NMAX ? 0 : i+1;
16 }
17
18 /* 从环形缓冲区中取一个元素 */
19 double get(void)
20 {
21         int pos;
22         if (n>0)
23         {
24              Pos = iget;
25              iget = addring(iget);
26              n--;
27              return buffer[pos];
28         }
29         else
30         {
31             printf(“Buffer is empty/n”);
32             return 0.0;
33         }
34  }
35
36 /* 向环形缓冲区中放入一个元素*/
37 void put(double z)
38 {
39         if (n<NMAX)
40         {
41              buffer[iput]=z;
42              iput = addring(iput);
43              n++;
44         }
45         else
46             printf(“Buffer is full/n”);
47 }
48
49
50
51 int main{void)
52 {
53         chat opera[5];
54         double z;
55         do
56         {
57             printf(“Please input p|g|e?”);
58             scanf(“%s”, &opera);
59             switch(tolower(opera[0]))
60             {
61                    case ‘p’: /* put */
62                        printf(“Please input a float number?”);
63                        scanf(“%lf”, &z);
64                        put(z);
65                        break;
66                     case ‘g’: /* get */
67                         z = get();
68                         printf(“%8.2f from Buffer/n”, z);
69                         break;
70                     case ‘e’:
71                         printf(“End/n”);
72                         break;
73                     default:
74                         printf(“%s - Operation command error! /n”, opera);
75             }/* end switch */
76         }while(opera[0] != ’e’);
77         return 0;
78 }
时间: 2024-11-12 11:20:19

【转】环形缓冲区的相关文章

生产者消费者模式下的并发无锁环形缓冲区

上一篇记录了几种环形缓冲区的设计方法和环形缓冲区在生产者消费者模式下的使用(并发有锁),这一篇主要看看怎么实现并发无锁. 0.简单的说明 首先对环形缓冲区做下说明: 环形缓冲区使用改进的数组版本,缓冲区容量为2的幂 缓冲区满阻塞生产者,消费者进行消费后,缓冲区又有可用资源,由消费者唤醒生产者 缓冲区空阻塞消费者,生产者进程生产后,缓冲区又有可用资源,由生产者唤醒消费者 然后对涉及到的几个技术做下说明: ⑴CAS,Compare & Set,X86下对应的是CMPXCHG 汇编指令,原子操作,基本

环形缓冲区

作者:曾志优 出处:http://www.cnblogs.com/zengzy 1.环形缓冲区 缓冲区的好处,就是空间换时间和协调快慢线程.缓冲区可以用很多设计法,这里说一下环形缓冲区的几种设计方案,可以看成是几种环形缓冲区的模式.设 计环形缓冲区涉及到几个点,一是超出缓冲区大小的的索引如何处理,二是如何表示缓冲区满和缓冲区空,三是如何入队.出队,四是缓冲区中数据长度如何计算. ps.规定以下所有方案,在缓冲区满时不可再写入数据,缓冲区空时不能读数据 1.1.常规数组环形缓冲区 设缓冲区大小为N

环形缓冲区的设计及其在生产者消费者模式下的使用(并发有锁环形队列)

1.环形缓冲区 缓冲区的好处,就是空间换时间和协调快慢线程.缓冲区可以用很多设计法,这里说一下环形缓冲区的几种设计方案,可以看成是几种环形缓冲区的模式.设计环形缓冲区涉及到几个点,一是超出缓冲区大小的的索引如何处理,二是如何表示缓冲区满和缓冲区空,三是如何入队.出队,四是缓冲区中数据长度如何计算. ps.规定以下所有方案,在缓冲区满时不可再写入数据,缓冲区空时不能读数据 1.1.常规数组环形缓冲区 设缓冲区大小为N,队头out,队尾in,out.in均是下标表示: 初始时,in=out=0 队头

SQL Server 环形缓冲区(Ring Buffer) -- RING_BUFFER_SCHEDULER_MONITOR 获取SQL

SQL Server 环形缓冲区(Ring Buffer) -- RING_BUFFER_SCHEDULER_MONITOR 获取SQL进程的CPU利用率 环形缓冲区存储了有关CPU利用率的信息.这些信息每分钟更新一次.所以你可以跟踪到4小时15分钟内给定时间点的CPU利用率.下面的输出显示了SQL实例的CPU利用率和其他活动进程的CPU利用率.这将帮助我们分析是否SQL Server进程占用大量CPU. 对于SQL Server 2005: declare @ts_now bigint sel

用于拼包和解码的环形缓冲区类

using System;using System.Collections.Generic;using System.Linq;using System.Text; namespace Test{    /// <summary>    /// 环形缓冲区    /// </summary>    public class CRawBuffer    {        byte[] m_BufArr;        int m_i4BufLen;   //数据缓冲区大小      

SQL Server 环形缓冲区(Ring Buffer) -- RING_BUFFER_EXCEPTION 跟踪异常

SQL Server 环形缓冲区(Ring Buffer) -- RING_BUFFER_EXCEPTION 跟踪异常 动态管理视图sys.dm_os_ring_buffers使得实时定位问题更加容易.环形缓冲包含大量的在服务器上发生的事件.当前,我正碰到锁请求超时问题.根据SQL Server Profiler跟踪捕获,发现服务器收到大量如下信息: Lock request time out period exceeded. 我们找到了语句并修改,来阻止所请求超时的发生.现在服务器正被监控,我

SQL Server 环形缓冲区(Ring Buffer) -- RING_BUFFER_SECURITY_ERROR 诊断安全相

SQL Server 环形缓冲区(Ring Buffer) -- RING_BUFFER_SECURITY_ERROR 诊断安全相关错误 环形缓冲存储了大量的在过去一段时间段内的安全错误信息,有助于分析SQL Server安全问题. 例如,当你尝试创建一个SQL登录账号,并启用密码策略,但是提供的密码不匹配密码策略.然后,你将会收到一个错误消息说明密码不匹配.这个错误将会存储在环形缓冲区.当你执行下面的查询,你将会导致错误的SPID以及导致失败的API名称.如上面示例描述的,你会找到NetVal

SQL Server 环形缓冲区(Ring Buffer) -- RING_BUFFER_MEMORY_BROKER 诊断内部内存压力

SQL Server 环形缓冲区(Ring Buffer) -- RING_BUFFER_MEMORY_BROKER 诊断内部内存压力 内存Broker 内存Broker的职责是根据其需求在大内存消费者之间分配内存.内存Broker是一种SQLOS的组件,但是与缓冲池紧密结合.此外,内存Broker只会将缓冲池的内存管理器所控制的内存考虑在内.内存Broker会监视缓冲池的内存需求,以及由大内存消费者所消费的内存.基于所收集的信息,它会估计每个消费者的"最优化"内存分布,并将此信息广播

SQL Server 环形缓冲区(Ring Buffer) -- RING BUFFER CONNECTIVITY 的深入理解

SQL Server 环形缓冲区(Ring Buffer) -- RING BUFFER CONNECTIVITY 的深入理解 首先我们从连接的Ring Buffer数据返回的XML来入手. SELECT CAST(record as xml) AS record_data FROM sys.dm_os_ring_buffers WHERE ring_buffer_type= 'RING_BUFFER_CONNECTIVITY' 执行上面的语句,得到下面的结果: 点击XML的超链接,打开文件内容

线程安全的环形缓冲区实现

来源:http://blog.csdn.net/lezhiyong    应用背景:线程1将每次数量不一的音频采样点(PCM音频数据)写入环形缓冲区,线程2每次取固定数量采样点送音频编码器,线程1线程2在平均时间内的读写数据量相等.(倒入桶中的水量有时大有时小,但每次取一瓢喝:)   该环形缓冲区借鉴CoolPlayer音频播放器中的环形缓冲区代码实现,在读写操作函数中加了锁,允许多线程同时操作.CPs_CircleBuffer基于内存段的读写,比用模板实现的环形缓冲队列适用的数据类型更广些,