超大实时排行榜的解决方案

标题是个噱头,这里只说积分数据全部装载到内存

首先,玩家的积分什么的有单独的表存储,这里不谈序列化,语言是C++

假定score是double,id是int64

然后计算空间需求,这里假设实现了专用无税收的内存适配器
32位进程大地址,每个节点32字节,4G的进程可以放下1.34亿的数据,去掉进程本身的边角,1.2亿
64位进程,每个节点48字节,1亿数据需要4.47G内存,根据需要自己给服务器加内存吧...

然后就没有然后了...

就是这么简单粗暴的把所有积分塞进内存

查询第k名玩家的id
查询积分n可以排多少名

好吧,存在的问题是,更新略恶心,用积分做k,存在相同积分时候,equal_range后遍历找到对应id,erase后重新insert吧

序列化什么的,可以考虑内存映射文件+对应内存适配器来搞定

然后说说容器本身!

自己码的sorted_set类,可随机访问的kv容器,std::multimap风格,允许重复key

operator[]操作不明确下标访问或是key-value查询,所以没有实现

内部二叉树结构,除了parent,left,right之外,只有一个SBT需要的size域,4个指针大小

随机访问迭代器,可以+/-/+=/-=操作,可以两个迭代器相减求距离

这里的rank从0开始,并没有给出select函数,而是参考std::vector使用at随机访问

各种接口的复杂度不超过O(log2n),参考陈启峰的size balanced tree

树结构还算平衡,顺序/乱序插入的时间开销是std::multimap的1.2倍左右,这里请教是不是我实现有问题?

最后念叨点题外的!

说起来个人比较懒...

最初是我的俄罗斯方块AI里面的需求,对有序的std::vector不断归并,std::merge成了性能瓶颈!

之后考虑节AI内部本身就是一个个节点,直接建立二叉树来排序效果应该不错,但是AI内部节点都是百万级别!

于是直接用std::map的问题就是new的时候会有税收,而且本身就是AI节点,所以参考std::map源码直接搞了个一个不去new节点,直接把外部节点挂在树上的容器!还没有clear开销!

似乎就是这样了,然而后来听说size balanced tree比red black tree性能还好,然后改造起来也不麻烦!索性顺手加上那个神maintain来测试一下性能~

结果实测,比红黑树稍慢,也可能是我的实现有问题?没有达到陈启峰说的超越红黑树,不过也算是一个数量级~

最终俄罗斯方块AI还是用了红黑树...

------分割线------

群里某人问:"SortedList相当于C++里的啥容器?"

于是我就把之前的外挂节点的容器拿来重构...

暂时叫sorted_set,跟redis的Z系列很像,同npm的sorted-set(内部跳表实现)

相比其他的rank tree实现,附加域没有任何浪费什么的太漂亮了

本文3个目的

1.安利一下size balanced tree
2.找高人看看我的实现有什么问题
3.抛砖引玉

最后传送门

时间: 2024-10-11 17:29:25

超大实时排行榜的解决方案的相关文章

干货!IT经理应知道的超大文件高速传输解决方案

数据正在爆炸式增长,几乎每两年翻一番.随之增加的不仅是数据的数量,还有单体文件的容量:一张图片2-3G.一本书稿4-5G.一个视频片段3-4G.一份设计图纸十几G--甚至还有上百G的大文件. 这些数据和文件可能是组织机构重要的业务数据,也可能是其重要的信息资源.它们对于组织机构,尤其是媒体.娱乐.科学计算.电信.生命科学.医学研究.汽车等数据密集型组织而言至关重要. 超大文件传输面临的挑战 通常情况下,组织机构使用邮件.QQ.FTP等常规方式进行文件传输,但是当文件容量在2-3G以上时,上述方法

[原创]游戏中的实时排行榜实现

目录 1. 前言 2. 排行榜分类 3. 思路 4. 实现 复合排序 4.1 等级排行榜 4.2 通天塔排行榜 4.3 坦克排行榜 5. 排名数据的动态更新 6. 取排行榜 7. Show The Code 1. 前言 前段时间刚为项目(手游)实现了一个实时排行榜功能, 主要特性: 实时全服排名 可查询单个玩家排名 支持双维排序 数据量不大, 大致在 1W ~ 50W区间(开服, 合服会导致单个服角色数越来越多). 2. 排行榜分类 按照排行主体类型划分, 主要分为: 角色 军团(公会) 坦克

依附大系统 【数据实时获取】解决方案

最近公司作为众多外部厂商之一,需要依托一个大型平台系统( 这里简称为Big-S) 给特定用户提供一些服务. 作为外部厂商开发的 Web 应用(这里简称 Small-S),需要提取 Big-S 中的基础数据,包括用户.组织结构.代码表......部分字段到本地数据表中. 融合 Small-S 自己特点,作为搭建 Small-S Web 项目的先决条件. Small-S 需要做到和 Big-S 的重点基础数据实时一致, 重点关注 Big-S 数据交互方面的以下特性. 1. Big-S 提供给外部厂商

手机拍摄实时互联网直播解决方案

现在的时代就是直播的时代. 手机是重要载体,随时随地用手机分享进行网络直播. 如何实现手机实时拍摄,实时发布到互联网上呢?如果是个人应用,那么有太多的选择,尤其以映客和花椒为首. 如果是商业用户手机随手拍,推流发布直播数据到自己的网站上进行高清标清实时直播,那么花椒和映客就不是合适的选择了.下面给大家介绍手机直播的商业用途解决方案. 什么是手机直播呢?手机推流端即主播端,主要通过手机摄像头采集视频数据和麦克风采集音频数据,经过一系列前处理.编码.封装,然后推流到流媒体直播系统进行互联网分发. 一

分布式实时日志分析解决方案ELK部署架构

一.概述 ELK 已经成为目前最流行的集中式日志解决方案,它主要是由Beats.Logstash.Elasticsearch.Kibana等组件组成,来共同完成实时日志的收集,存储,展示等一站式的解决方案.本文将会介绍ELK常见的架构以及相关问题解决. 1. Filebeat:Filebeat是一款轻量级,占用服务资源非常少的数据收集引擎,它是ELK家族的新成员,可以代替Logstash作为在应用服务器端的日志收集引擎,支持将收集到的数据输出到Kafka,Redis等队列. 2. Logstas

分布式实时日志分析解决方案 ELK 部署架构

一.前言 ELK 已经成为目前最流行的集中式日志解决方案,它主要是由Beats.Logstash.Elasticsearch.Kibana等组件组成,来共同完成实时日志的收集,存储,展示等一站式的解决方案.本文将会介绍ELK常见的架构以及相关问题解决. Filebeat:Filebeat是一款轻量级,占用服务资源非常少的数据收集引擎,它是ELK家族的新成员,可以代替Logstash作为在应用服务器端的日志收集引擎,支持将收集到的数据输出到Kafka,Redis等队列.Logstash:数据收集引

在线实时服务器监控解决方案(一)

最近计划利用业余时间,做了一个在线服务器监控的小项目,主要为了方便在手机端远程查看服务器的运行情况,使用Nancy+WCF+WMI+SQLite+ (AD)DirectoryEntry+MWA+SNMP+SignalR 先上项目运行的最终截图 创建服务器 实时监视 硬件信息 IIS 站点管理 程序池管理

mysql实时同步到mssql的解决方案

数据库在应用程序中是必不可少的部分,mysql是开源的,所以很多人它,mssql是微软的,用在windows平台上是非常方便的,所以也有很多人用它.现在问题来了,如何将这两个数据库同步,即数据内容保持完全一致. MySQL Migration Toolkit是MySQL提供的开源GUI软件工具,可以针对Microsoft Access.Microsoft SQL Server.Oracle.MySQL.Sybase Server.MaxDB Database Server数据库向MySQL数据库

高并发量网站解决方案

一个小型的网站,可以使用最简单的html静态页面就实现了,配合一些图片达到美化效果,所有的页面均存放在一个目录下,这样的网站对系统架构.性能的要求都很简单.随着互联网业务的不断丰富,网站相关的技术经过这些年的发展,已经细分到很细的方方面面,尤其对于大型网站来说,所采用的技术更是涉及面非常广,从硬件到软件.编程语言.数据库.WebServer.防火墙等各个领域都有了很高的要求,已经不是原来简单的html静态网站所能比拟的. 大型网站,比如门户网站,在面对大量用户访问.高并发请求方面,基本的解决方案