此前 DBMS 部署工作当中积累到的知识指导新系统的配置工作。

数据库管理系统(简称 DBMS)无疑是任何数据密集型应用程序当中最为重要的组成部分,其肩负着处理大量数据以及高复杂性工作负载的重任。然而,数据库管理系统本身却往往难于管理,因为其中通常包含数百种配置“旋钮”,用于控制诸如缓存内存分配量以及存储介质数据写入频率等要素。各类企业一般需要聘请专业人士以协助相关调配工作,但对于大多数企业而言,此类专业人才的开价亦相当高昂。而实际上,DBA所面临的挑战还远不止这些。

而今天一则名为“OtterTune”的机器学习DBMS系统刷爆了朋友圈。那么,这个由亚马逊和卡内基梅隆大学一起开发的DBMS系统究竟是什么呢?能提供什么服务呢?其实OtterTune并不是多么惊奇的系统,不过是自动化方式识别出最适当当前数据库管理系统配置需求的设置组合。OtterTune 与其它 DBMS 配置工具之间的主要差别在于,其能够利用自此前 DBMS 部署工作当中积累到的知识指导新系统的配置工作。这一设计思路显然降低了新 DBMS 部署方案在调整当中所需要的时间与资源投入。而为了实现这一目标,OtterTune 专门建立起一套数据库,用以收集从此前调节会话中提取到的重要信息。其利用这部分数据建立机器学习(简称 ML)模型,用以捕捉 DBMS 在面对不同配置方案时作出怎样的响应。OtterTune 还利用这些模型以指导新型应用程序的配置实验,并提供推荐设置以提升目标运作效果(例如减少延迟或者提高数据吞吐量)。
虽然OtterTune只是一个结合了机器学习(建模、调参数、获取系统反应、学习、产生最优参数;典型的临床学),可用于参数优化的小软件(实际上DBA的工作远不止这些),但是已经代表了一个方向,未来越来越多的活(枯燥的活)可能会被AI取代。但是现阶段很多DBA很多离不开人的干预。

人类DBA VS机器DBA

首先,我们看看DBA的工作有哪些?DBA的工作实际上都是围绕数据库展开,包含但不限于这些工作:

数据库、主机、操作系统、交换机、存储选型,预算,架构设计,部署,参数优化;

数据库备份、恢复、容灾、HA、新老硬件更替;

数据库SQL审计、SQL优化、异常问题诊断、性能优化、巡检、健康诊断;

数据库扩容、缩容、迁移;

数据库版本升级、补丁修复;

数据库开发规范、管理规范的指定和执行;

数据库监控、专家、审核系统的开发与建立;

数据库代码覆盖率测试、功能测试、建模、压测、profiling;

数据库读写分离、sharding、MPP系统的构建;

数据库开发、管理、设计、规范培训;

数据库在垂直行业应用的架构设计(例如OLAP、GIS、时序、流计算、图式搜索、文本搜索、图搜索、化学、基因、等);

异构数据、同构数据源的数据同步、ETL;

数据库与其他系统的联动;

数据库云产品化、Docker化、虚拟化等相关的工作;

数据库内核的研究、BUG上报、结合业务提出对内核的功能、性能提升等需求;

关注不同数据库产品的roadmap、优缺点、适应场景、不适应场景;

关注数据库行业的发展,进行预研性研究,储备技术;

与技术社区保持紧密联系,从参与、了解同行、到分享,从商业产品到开源社区;

技术为业务服务,从本质触发,深入行业,了解业务、行业的发展,抓住核心点,更好的服务于业务。

可以看到DBA的工作还是有蛮多的,AI要完全取代这些工作,还有非常漫长的过程。

http://bbs.guilinlife.com/thread-9114289-1-1.html
http://bbs.guilinlife.com/thread-9114290-1-1.html
http://bbs.guilinlife.com/thread-9114291-1-1.html
http://bbs.guilinlife.com/thread-9114293-1-1.html
http://bbs.guilinlife.com/thread-9114288-1-1.html
http://bbs.guilinlife.com/thread-9114292-1-1.html
http://bbs.guilinlife.com/thread-9114294-1-1.html
http://bbs.guilinlife.com/thread-9114296-1-1.html
http://bbs.guilinlife.com/thread-9114295-1-1.html
http://bbs.guilinlife.com/thread-9114297-1-1.html
http://bbs.guilinlife.com/thread-9114298-1-1.html
http://bbs.guilinlife.com/thread-9114299-1-1.html
http://bbs.guilinlife.com/thread-9114300-1-1.html
http://bbs.guilinlife.com/thread-9114301-1-1.html
http://bbs.guilinlife.com/thread-9114302-1-1.html
http://bbs.guilinlife.com/thread-9114303-1-1.html
http://bbs.guilinlife.com/thread-9114304-1-1.html
http://bbs.guilinlife.com/thread-9114305-1-1.html
http://bbs.guilinlife.com/thread-9114306-1-1.html
http://bbs.guilinlife.com/thread-9114307-1-1.html
http://bbs.guilinlife.com/thread-9114308-1-1.html
http://bbs.guilinlife.com/thread-9114311-1-1.html
http://bbs.guilinlife.com/thread-9114309-1-1.html
http://bbs.guilinlife.com/thread-9114310-1-1.html
http://bbs.guilinlife.com/thread-9114312-1-1.html
http://bbs.guilinlife.com/thread-9114313-1-1.html
http://bbs.guilinlife.com/thread-9114316-1-1.html
http://bbs.guilinlife.com/thread-9114317-1-1.html
http://bbs.guilinlife.com/thread-9114314-1-1.html
http://bbs.guilinlife.com/thread-9114315-1-1.html
http://bbs.guilinlife.com/thread-9114318-1-1.html
http://bbs.guilinlife.com/thread-9114319-1-1.html
http://bbs.guilinlife.com/thread-9114320-1-1.html
http://bbs.guilinlife.com/thread-9114321-1-1.html
http://bbs.guilinlife.com/thread-9114322-1-1.html
http://bbs.guilinlife.com/thread-9114324-1-1.html
http://bbs.guilinlife.com/thread-9114323-1-1.html
http://bbs.guilinlife.com/thread-9114325-1-1.html
http://bbs.guilinlife.com/thread-9114327-1-1.html
http://bbs.guilinlife.com/thread-9114326-1-1.html
http://bbs.guilinlife.com/thread-9114328-1-1.html
http://bbs.guilinlife.com/thread-9114330-1-1.html
http://bbs.guilinlife.com/thread-9114329-1-1.html
http://bbs.guilinlife.com/thread-9114331-1-1.html
http://bbs.guilinlife.com/thread-9114334-1-1.html
http://bbs.guilinlife.com/thread-9114333-1-1.html
http://bbs.guilinlife.com/thread-9114336-1-1.html
http://bbs.guilinlife.com/thread-9114332-1-1.html
http://bbs.guilinlife.com/thread-9114335-1-1.html
http://bbs.guilinlife.com/thread-9114337-1-1.html
http://bbs.guilinlife.com/thread-9114339-1-1.html
http://bbs.guilinlife.com/thread-9114341-1-1.html
http://bbs.guilinlife.com/thread-9114338-1-1.html
http://bbs.guilinlife.com/thread-9114342-1-1.html
http://bbs.guilinlife.com/thread-9114340-1-1.html
http://bbs.guilinlife.com/thread-9114343-1-1.html
http://bbs.guilinlife.com/thread-9114344-1-1.html
http://bbs.guilinlife.com/thread-9114345-1-1.html
http://bbs.guilinlife.com/thread-9114346-1-1.html
http://bbs.guilinlife.com/thread-9114347-1-1.html
http://bbs.guilinlife.com/thread-9114348-1-1.html
http://bbs.guilinlife.com/thread-9114349-1-1.html
http://bbs.guilinlife.com/thread-9114350-1-1.html
http://bbs.guilinlife.com/thread-9114351-1-1.html
http://bbs.guilinlife.com/thread-9114352-1-1.html
http://bbs.guilinlife.com/thread-9114353-1-1.html
http://bbs.guilinlife.com/thread-9114354-1-1.html
http://bbs.guilinlife.com/thread-9114355-1-1.html
http://bbs.guilinlife.com/thread-9114356-1-1.html
http://bbs.guilinlife.com/thread-9114357-1-1.html
http://bbs.guilinlife.com/thread-9114358-1-1.html
http://bbs.guilinlife.com/thread-9114359-1-1.html
http://bbs.guilinlife.com/thread-9114360-1-1.html
http://bbs.guilinlife.com/thread-9114361-1-1.html
http://bbs.guilinlife.com/thread-9114362-1-1.html
http://bbs.guilinlife.com/thread-9114363-1-1.html
http://bbs.guilinlife.com/thread-9114364-1-1.html
http://bbs.guilinlife.com/thread-9114365-1-1.html
http://bbs.guilinlife.com/thread-9114366-1-1.html
http://bbs.guilinlife.com/thread-9114367-1-1.html
http://bbs.guilinlife.com/thread-9114368-1-1.html
http://bbs.guilinlife.com/thread-9114369-1-1.html
http://bbs.guilinlife.com/thread-9114370-1-1.html
http://bbs.guilinlife.com/thread-9114371-1-1.html
http://bbs.guilinlife.com/thread-9114372-1-1.html
http://bbs.guilinlife.com/thread-9114374-1-1.html
http://bbs.guilinlife.com/thread-9114373-1-1.html
http://bbs.guilinlife.com/thread-9114375-1-1.html
http://bbs.guilinlife.com/thread-9114376-1-1.html
http://bbs.guilinlife.com/thread-9114377-1-1.html
http://bbs.guilinlife.com/thread-9114378-1-1.html
http://bbs.guilinlife.com/thread-9114379-1-1.html
http://bbs.guilinlife.com/thread-9114380-1-1.html
http://bbs.guilinlife.com/thread-9114381-1-1.html
http://bbs.guilinlife.com/thread-9114382-1-1.html
http://bbs.guilinlife.com/thread-9114383-1-1.html
http://bbs.guilinlife.com/thread-9114384-1-1.html
http://bbs.guilinlife.com/thread-9114386-1-1.html
http://bbs.guilinlife.com/thread-9114385-1-1.html
http://bbs.guilinlife.com/thread-9114387-1-1.html
http://bbs.guilinlife.com/thread-9114388-1-1.html
http://bbs.guilinlife.com/thread-9114389-1-1.html
http://bbs.guilinlife.com/thread-9114390-1-1.html
http://bbs.guilinlife.com/thread-9114391-1-1.html
http://bbs.guilinlife.com/thread-9114392-1-1.html
http://bbs.guilinlife.com/thread-9114393-1-1.html
http://bbs.guilinlife.com/thread-9114394-1-1.html
http://bbs.guilinlife.com/thread-9114395-1-1.html
http://bbs.guilinlife.com/thread-9114396-1-1.html
http://bbs.guilinlife.com/thread-9114397-1-1.html
http://bbs.guilinlife.com/thread-9114398-1-1.html
http://bbs.guilinlife.com/thread-9114399-1-1.html
http://bbs.guilinlife.com/thread-9114400-1-1.html
http://bbs.guilinlife.com/thread-9114401-1-1.html
http://bbs.guilinlife.com/thread-9114402-1-1.html
http://bbs.guilinlife.com/thread-9114403-1-1.html
http://bbs.guilinlife.com/thread-9114404-1-1.html
http://bbs.guilinlife.com/thread-9114405-1-1.html
http://bbs.guilinlife.com/thread-9114406-1-1.html
http://bbs.guilinlife.com/thread-9114407-1-1.html
http://bbs.guilinlife.com/thread-9114408-1-1.html
http://bbs.guilinlife.com/thread-9114409-1-1.html
http://bbs.guilinlife.com/thread-9114413-1-1.html
http://bbs.guilinlife.com/thread-9114410-1-1.html
http://bbs.guilinlife.com/thread-9114412-1-1.html
http://bbs.guilinlife.com/thread-9114411-1-1.html
http://bbs.guilinlife.com/thread-9114414-1-1.html
http://bbs.guilinlife.com/thread-9114415-1-1.html
http://bbs.guilinlife.com/thread-9114417-1-1.html
http://bbs.guilinlife.com/thread-9114416-1-1.html
http://bbs.guilinlife.com/thread-9114419-1-1.html
http://bbs.guilinlife.com/thread-9114418-1-1.html
http://bbs.guilinlife.com/thread-9114420-1-1.html
http://bbs.guilinlife.com/thread-9114421-1-1.html
http://bbs.guilinlife.com/thread-9114422-1-1.html
http://bbs.guilinlife.com/thread-9114423-1-1.html
http://bbs.guilinlife.com/thread-9114425-1-1.html
http://bbs.guilinlife.com/thread-9114424-1-1.html
http://bbs.guilinlife.com/thread-9114428-1-1.html
http://bbs.guilinlife.com/thread-9114427-1-1.html
http://bbs.guilinlife.com/thread-9114426-1-1.html
http://bbs.guilinlife.com/thread-9114429-1-1.html
http://bbs.guilinlife.com/thread-9114430-1-1.html

时间: 2024-08-24 22:27:53

此前 DBMS 部署工作当中积累到的知识指导新系统的配置工作。的相关文章

工作中积累的小知识

eval( ) 这个是里面的参数原始设定是什么内容,虽然放里面的是字符串,转出来就是原始的内容 如:var a = function(){}; eval( 'a' )   //function(){}; Object.keys( ) 注意这个方法里面有个some方法可以打印出数组里的每个值,这个some其实是数据里的方法 var json = {name:'djdd',content:'888'}; Object.keys(json).some(function(key){console.log

这一设计思路显然降低了新 DBMS 部署方案

数据库管理系统(简称 DBMS)无疑是任何数据密集型应用程序当中最为重要的组成部分,其肩负着处理大量数据以及高复杂性工作负载的重任.然而,数据库管理系统本身却往往难于管理,因为其中通常包含数百种配置"旋钮",用于控制诸如缓存内存分配量以及存储介质数据写入频率等要素.各类企业一般需要聘请专业人士以协助相关调配工作,但对于大多数企业而言,此类专业人才的开价亦相当高昂.而实际上,DBA所面临的挑战还远不止这些. 而今天一则名为"OtterTune"的机器学习DBMS系统刷

20140526-一个从pdf转换成图片的类,工作当中有用到

20140526-一个从pdf转换成图片的类,工作当中有用到 package com.jako.database.model; import java.awt.Image; import java.awt.Rectangle; import java.awt.image.BufferedImage; import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import

工作总结篇:常用知识积累第一波

前言:最近两三周积累一些常用的知识点,主要是平常工作中经常用的,共享一下. postgre数据库导入导出 1.首先通过环境变量将postgre的bin路径配置到path下面 2.pg_dump -U postgres starxxxx > starxxxx.sql 3.psql -U postgres starxxxx < starxxxx.sql 通过以上命令可以进行数据库包括序列的简单导入和导出 mysql开启root远程权限 grant all privileges on *.* to

工作到了第七年,说说自己每天的工作(一)

先自己介绍一下自己的工作和个人信息 从事.NET开发已经三年多了,走上社会已经是第七个念头了,工作了那么多年,也需要对自己时常总结,回头看看也是很精彩的. 这是自己的工作简历: 杨恒连的工作简历 很久没有总结自己的工作了,面对现在的工作也已经度过了最艰难的时期了,最艰难的时期就是去年一整年了.现在也已经慢慢的有计划有目的的开始完成自己手里的工作. 1.学习能力 说到学习能力,一般人都具备的,工作中你需要不断的学习去提高自己知识,别人说的你能够了解一些,不是别人说了你不懂,又不去百度,谷歌,就说一

【Oracle 集群】ORACLE DATABASE 11G RAC 知识图文详细教程之RAC 工作原理和相关组件(三)

RAC 工作原理和相关组件(三) 概述:写下本文档的初衷和动力,来源于上篇的<oracle基本操作手册>.oracle基本操作手册是作者研一假期对oracle基础知识学习的汇总.然后形成体系的总结,一则进行回顾复习,另则便于查询使用.本图文文档亦源于此.阅读Oracle RAC安装与使用教程前,笔者先对这篇文章整体构思和形成进行梳理.由于阅读者知识储备层次不同,我将从Oracle RAC安装前的准备与规划开始进行整体介绍安装部署Oracle RAC.始于唐博士指导,对数据库集群进行配置安装,前

让你提前认识软件开发(52):系统某模块工作原理详述

第3部分 软件研发工作总结 系统某模块工作原理详述 [文章摘要] 某模块在系统中占有非常重要的地位,该模块能够对符合条件的动态信箱进行清理.本模块直接清理的信箱包括:过期动态信箱.冷冻信箱和空动态信箱:删除非动态信箱由本模块发送消息到其它模块完成. 本文对该模块的工作原理的详细介绍,为相关模块的开发和测试提供了有益的参考,同时也有利于现场人员对本模块进行维护. [关键词] 系统  模块  数据库  流程 1. 本模块删除的信箱类型 本模块删除的信箱类型如图1所示: 图1 本模块删除的信箱类型 2

Linux内核分析实验二:mykernel实验指导(操作系统是如何工作的)

计算机是如何工作的?(总结)——三个法宝 存储程序计算机工作模型,计算机系统最最基础性的逻辑结构: 函数调用堆栈,高级语言得以运行的基础,只有机器语言和汇编语言的时候堆栈机制对于计算机来说并不那么重要,但有了高级语言及函数,堆栈成为了计算机的基础功能: enter pushl %ebp movl %esp,%ebp leave movl %ebp,%esp popl %ebp 函数参数传递机制和局部变量存储 中断,多道程序操作系统的基点,没有中断机制程序只能从头一直运行结束才有可能开始运行其他程

eclipse中web项目部署以后jsp的java文件找不到问题(Tomcat配置serverlocations)

我的开发环境:eclipse kepler (4.3)+tomcat7.0.42. 在我想看eclipse中web项目jsp文件被tomcat转换成java以后的java源文件的位置,发现正常情况下的webapps以下,没有看到我部署的项目 同一时候,work文件夹(jsp的工作文件夹)以下也没有生成相关的jsp的class文件和java源文件.可是我想看源代码啊.找了一堆关于jsp的源代码位置的文章,都说是在work以下能够找到.后来在不断的尝试下,我搜索了keyword server loc