重磅干货免费下载!阿里云RDS团队论文被数据库顶会SIGMOD 2018收录

ACM SIGMOD数据管理国际会议是由美国计算机协会(ACM) 数据管理专业委员会(SIGMOD)发起、在数据库领域具有最高学术地位的国际性学术会议。

SIGMOD和另外两大数据库会议VLDB、ICDE构成了数据库领域的三个顶级会议。相对而言,SIGMOD比另外两个会议的含金量更高,被录取的难度更大。ACM SIGMOD的论文录取率是很低的,平均录取率大约仅为15%-17%。

来自阿里云RDS团队的论文“TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” (TcpRT:面向大规模海量云数据库的服务质量实时采集与诊断系统)被数据库顶会SIGMOD 2018收录。

TcpRT论文介绍了RDS天象系统在云数据库SLA数据采集、服务质量指标计算、异常检测、故障根因分析领域的创新工作,以及在各类云平台上大规模部署自动化服务的客户实践经验。

评委评价

I have plenty of experience with manual anomaly detection. That has wasted much time for me at work, so I liked what you described.

以下为SIGMOD 2018阿里云入选论文。

下载中文版:http://click.aliyun.com/m/1000000351/
下载英文版:http://click.aliyun.com/m/1000000352/

简介

随着企业上云趋势的日益热化,作为产业核心组件的数据库,已成为各大云计算公司增长最快的在线服务业务。作为中国第一大云数据库厂商,我们RDS团队致力于为用户提供稳定的云数据库服务。从本质上看,RDS是一个多租户DBaaS平台,利用轻量级KVM、Docker镜像等资源隔离技术将用户所购买的数据库实例部署在物理机上,按需分配资源并进行自动升降级,实现一套完全自动化的智能运维管理。

云数据库对客户业务的稳定性至关重要,因此快速发现云数据库性能出现异常,及时定位异常原因是云数据库厂商的一个挑战。TcpRT是阿里云数据库用来监控和诊断数据库服务质量的一个基础设施。TcpRT从主机TCP/IP协议栈的壅塞控制采集trace数据,计算数据库延迟和网络异常,在后台流式计算平台进行大规模实时数据分析和聚合,通过统计指标历史数据的柯西分布发现异常点,并通过同一台主机、交换机、proxy下所有实例一致性趋势的比例来计算不同组件发生异常的概率。

到目前为止,TcpRT以每秒采集2千万条原始trace数据、每天后台处理百亿吞吐数据、秒级检测异常的卓越性能在阿里云持续稳定运行三年。

本文贡献

  • 提出了一种新的对数据库服务质量进行采集的方法,基于内核壅塞模块实现,可以非侵入性、低代价的采集基于停等协议的关系数据库的per connection的延迟、带宽,分析用户使用数据库的模型(短连接和长连接),并且可以端到端的记录和量化基础网络服务质量对数据库服务质量的影响,包括丢包率、重传率。
  • 我们开发了一套对采集的原始数据进行数据清洗、过滤、聚合、分析的流式计算系统,系统可以做到水平扩展、容错性、实时性、Exactly Once,具有和其他大数据平台例如EMR、MaxCompute进行数据交换的能力
  • 我们提出了一个新的算法对TcpRT数据进行分析,来发现数据库的服务质量有无异常,并且对异常事件的根因进行定位

会议将于6月10日在美国休斯敦召开,论文也会公开发表,以下是相关信息。
Title:SIGMOD/PODS ‘18 International Conference on Management of Data
Houston, TX, USA — June 10 - 15, 2018
Pages:1846
Sponsor: SIGMOD ACM Special Interest Group on Management of Data
Publisher:ACM New York, NY, USA
ISBN:978-1-4503-4703-7
Conference:MODInternational Conference on Management of Data

扫码了解阿里云数据库

扫码关注云栖社区,获取更多干货

阿里云RDS产品点此了解:
https://www.aliyun.com/product/outline/index
阿里云自研智能云数据库POLARDB点此了解:
https://www.aliyun.com/product/polardb

本文作者:桐碧2018

原文地址:https://www.cnblogs.com/zhaowei121/p/9146211.html

时间: 2024-10-10 04:30:28

重磅干货免费下载!阿里云RDS团队论文被数据库顶会SIGMOD 2018收录的相关文章

专访阿里云RDS团队:WebScaleSQL是一个怎么样的数据库?

2015年1月20日,Facebook宣布阿里巴巴旗下的阿里云RDS团队正式加入WebScaleSQL.WebScaleSQL是Facebook. Google.Twitter和Linkedin四家公司的MySQL团队发起的MySQL开源组织,旨在改进MySQL在规模和性能等方面的问题.阿里云RDS团队有专门的源码小组负责MySQL源码级别的改进,他们也经常活跃在MySQL社区中,此次受邀加入WebScaleSQL组织也是对他们工作的肯定和认可.近日,InfoQ编辑采访了RDS团队的负责人褚霸,

阿里云RDS受邀加入WebScaleSQL 成全球第五家公司成员

2015年1月,阿里巴巴旗下的阿里云RDS团队正式受邀加入WebScaleSQL.这是WebScaleSQL第一次邀请中国团队加入其中, 阿里云 RDS团队也将作为全球第五家公司成员,与Facebook, Google, Twitter和Linkedin这样的世界顶级团队并肩一起改进MySQL. WebScaleSQL (http://webscalesql.org/)是Facebook, Google, Twitter和Linkedin四家公司的MySQL团队发起的MySQL开源组织,旨在改进

阿里云RDS数据备份本地恢复

公司现在用的阿里云数据库,阿里云上虽然对RDS数据库有备份,也只能免费保存一个月,所以大部分情况需要把备份下载到本地,但是如何在本地恢复可真是话费了一番功夫.先分享如下: 公司目前使用的数据库是阿里云的RDS,目前RDS的版本为mysql5.6.如下: 现在要求把RDS的数据,在公司内部本地进行恢复. 操作系统:Centos7 数据库:mysql5.6 一.安装mysql数据库 在进行RDS本地恢复数据之前,我们需要先在本地服务器上安装mysql的5.6版本,因为RDS是5.6版本,所以我们本地

烂泥:阿里云RDS本地恢复数据

公司目前使用的数据库是阿里云的RDS,目前RDS的版本为mysql5.6.如下: 现在要求把RDS的数据,在公司内部本地进行恢复. 如何把RDS在本地进行恢复呢?这个阿里云官网给出了相关的操作教程,连接如下:<RDS备份文件恢复到自建数据库>. 看了官网的教程,感觉很是麻烦,而且也有几个比较特殊的地方没有点出来,下面是我对RDS本地恢复的步骤. 一.安装mysql数据库 在进行RDS本地恢复数据之前,我们需要先在本地服务器上安装mysql的5.6版本,因为RDS是5.6版本,所以我们本地的my

基于阿里云RDS创建ECS自建从库

使用阿里云ECS自建RDS MySQL从库 友情提示:安装MySQL软件步骤本文暂不介绍,安装完MySQL无需着急初始化数据库和启动服务.只需确保安装的MySQL版本不低于阿里云RDS MySQL版本,同时提前新建运行MySQL服务的mysql系统用户.出于安全,部分内容已打马赛克.采用何种模式做主从由RDS MySQL版本决定.本文主要使用RDS MySQL 5.6版作为样例说明,使用新的GTID模式做主从.5.5版配置主从更加简单,前15步操作一样,没有16.17步操作,18步使用binlo

阿里云RDS与ECS自建库搭建主从复制

前言 最近尝试在阿里云RDS与ECS自建库之间搭建主从复制,主要是想用于备份数据,所以对于同步一致性要求不是很高.模拟了几次,遇到的一些坑记录在这里,使用的是基于GTID的主从服务,关于GTID: MySQL GTID是在传统的mysql主从复制的基础之上演化而来的产物,即通过UUID加上事务ID的方式来确保每一个事物的唯一性.这样的操作方式使得我们不再需要关心所谓的log_file和log_Pos,只是简单的告诉从库,从哪个服务器上去找主库就OK了.简化了主从的搭建以及failover的过程,

如何使用脚本自动备份阿里云rds数据库

vim .mysqldump.sh #脚本都放置到/d20141212/scripts下,创建.mysqldump.sh的文件目的是,这个文件里有数据库的连接信息,要隐藏掉.所以加了.. #!/bin/bash shopt -s -o nounset export PATH=/usr/bin/:/bin bakdir=/d20141212/dbback/msyql date=$(date +%Y_%m_%d_%H) dbname='XXX' #数据库名称 dbuser='XXX' #数据库用户

[SQL]阿里云RDS设置MSSQL恢复模式为“简单”

-- 取消数据库镜像ALTER DATABASE <database_name> SET PARTNER OFF-- 设置数据库镜像RESTORE DATABASE <database_name> WITH RECOVERY-- 设置恢复模式为简单alter database <database_name> set recovery simple   [SQL]阿里云RDS设置MSSQL恢复模式为"简单"

PgSQL · 应用案例 · 阿里云 RDS PostgreSQL 高并发特性 vs 社区版本

摘要: 背景 进程模型数据库,需要为每个会话指派独立的进程与之服务,在连接数非常多,且大都是活跃连接时,进程调度浪费或引入的开销甚至远远大于实际任务需要的开销(例如上下文切换,MEMCPY等),性能下降会较为严重. 背景 进程模型数据库,需要为每个会话指派独立的进程与之服务,在连接数非常多,且大都是活跃连接时,进程调度浪费或引入的开销甚至远远大于实际任务需要的开销(例如上下文切换,MEMCPY等),性能下降会较为严重. PostgreSQL与Oracle Dedicate Server一样,属于