借自动化实现数据库的安全运维和跨界运维

数据库作为IT系统中重要的组成,承接着底层的基础架构和上层的应用,重要性不言而喻。

那数据库管理员(DBA)平时都做些啥呢?

以下是来自一名普通DBA的日常独白:

D

B

A

8:30~9:00AM

日常:每天比普通用户以及应用运维早半小时到公司,第一件事就是开始检查数据库的监控和数据库的巡检,确认没有问题或者及时发现问题并在上班时间之前解决问题;

9:00~12:00AM

日常:忙于处理来自各项目的日常数据库工单(包括部署数据库实例、部署数据库群集、数据库账号授权、 数据库数据导出等),电话、微信、邮件、ITSM,一单完成接着下一单;

12:30~13:30PM

日常:在完成一次数据库的健康性巡检后,似乎可以安静的小憩一小会;

13:30~17:00PM

日常:继续忙碌处理日常数据库工单,偶尔也会被打断,出现一些应用访问性能问题或故障问题,需要紧急响应,从数据库层面分析数据库性能,导日志、查SQL语句、测试性能等,甚至要做一些临时的重启数据库实例或服务器的操作;

17:00~18:30PM

日常:下班前,再次进行数据库的巡检和检查数据库监控,再对数据库文件进行导出备份,确认没有问题,下班回家吃饭。

平凡的一天,并没有这么简单的结束.jpg

21:30~23:30PM

日常:往往每周总会有那么几天,需要对生产环境的数据库进行发布变更,尤其现在的应用迭代频繁,SQL的上线发布也日益频繁,而且为了避免一些人为的操作失误,每次的变更发布时间也只能安排每周的某几天的晚上22:00左右(为此加夜班也是在所难免的),不仅为了避免变更对业务造成影响,同时也为了不可控风险提供充足的缓冲时间。

而要成为一名资深DBA,你以为每周就这样忙碌日常工单、日常监控和巡检、经常性的熬夜加班变更就可以了吗?

一个资深DBA,还需要协助各项目组进行提供数据库架构的设计与选型。

此时,某个项目组新起的一个项目用的是开源MySQL,“你对数据库很熟悉吧,你去负责协助下?”

又一个项目组听说用的是SQL Server,“你是DBA,你去负责协助下?”

又来了一个新的项目,好像是PGsql、Redis、MongoDB……

“不想当将军的士兵不是好的战士”、“不想当CIO的DBA不是好的运维”。在每天面临如此多的来自工作量、运维安全、技术更新挑战的同时,我们还需要不断的成长与思考:

  • 如何正确规划数据库的生命周期管理?
  • 如何建设工具来帮助降低重复操作的工作量?
  • 如何通过技术规避运维中不可控的高风险?
  • 如何全局应对多类型数据库的选型和运维支撑?

此时,选择一款好的平台型产品,能够综合解决你面临的跨界运维、安全运维、自动化运维挑战,就非常非常非常重要。

这里,给大家介绍的是一款基于蓝鲸平台打造的SaaS产品:嘉维蓝鲸数据库自动化运维中心(CW DBM Automation),融合了MySQL和Oracle日常运维场景的配置、部署、巡检、监控、操作、SQL发布的全生命周期管理,同时结合多场景的业务需求提供端到端的自动化交付,以及结合多年运维积累的SQL发布规则过滤高危运维操作。

选择嘉维蓝鲸,让数据库自动化运维、安全运维、跨界运维触手可及!

产品架构设计

嘉维蓝鲸数据库自动化运维中心SaaS,是基于蓝鲸PAAS平台开发,囊括数据库管理自动化、监控自动化及操作审计的运维中心。

依托SOA设计理念将数据库自动化运维操作平台以IaaS管控层、原子平台层、PaaS层、运维场景层输出服务,提供各层资源全生命周期的运维管理,实现对企业IT资源的集中化、可视化、自动化管理。

IaaS管控层:

是指对IaaS的管理和控制,通过提供指令、文件、数据下发的管道,适配类型主机(Linux、Windows、虚拟机、容器等),兼容私有云、公有云以及混合元的管理方式,管控各个主机上面的数据库实例。

原子层:

是指为满足通用运维场景的基础能力平台的封装,有作业功能模块 、DB  CMDB模块、运维数据平台模块组成。

PaaS层:

包含该支撑应用部署和运行的APaaS(Application Platform as a Service)以及企业内部SOA集成的IPaaS(Integration Platform as a Service),通过企业服务总线和API Gateway对接原子层各平台的能力。

运维场景层:

是指基于PaaS层之上的运维SaaS,涵盖数据库管理自动化、数据库监控自动化、操作审计等。

核心功能及优势

数据库自动化运维中心,是嘉为数据库技术专家基于多年的数据库运维经验的沉淀,是深刻理解MySQL、Oracle数据库日常运维中各种场景的结晶。嘉维蓝鲸数据库自动化运维中心,能快速实现数据库的日常管理、SQL变更、备份恢复、实例交付、健康检查、状态及性能监控等多种场景,总结起来为以下几点:

1

实现数据库的全生命周期管理

一个应用系统的建设,在配置、部署、监控、操作、分析各阶段,数据库自动化运维中心提供全方位的功能:实例自动部署、实例升降级,MHA自动部署和管理,MGR自动部署和管理,Oracle RAC自动部署和管理的能力,使企业应用快速简便地使用MySQL、Oracle数据库资源。

2

实现端到端的全流程自动化执行

大部分企业的数据库种类繁多,主要集中在MySQL、Oracle等常用数据库。嘉为数据库自动化运维中心,提供MySQL、Oracle日常运维、备份恢复等基本的运维操作,批量完成、自动化交付。

3

进行数据库实例的状态及性能监控,保证数据库时间健康运行

此款SaaS可以进行全面的数据库实例及集群状态监控、主机状态监控。能实现性能指标收集,并进行综合的分析,对超过告警阈值的状态或性能指标通知干系人,对有性能问题的SQL语句提供性能优化方案建议。

4

提供SQL一键发布和回退,并实现高危SQL语句过滤

对于应用的变更,能提供SQL语句自动发布,自定义SQL语句的过滤规则,规避高危SQL,可以批量执行到多个数据库实例中。

5

配置集中管理和集成CMDB动态更新

数据库自动化运维中心是基于蓝鲸PaaS平台的开发一个SaaS服务,可以与蓝鲸的CMDB(配置平台)集成,在完成每一个数据库的自动化交付后,都可以及时将交付对象的数据同步写入CMDB,确保配置数据与真实环境的一致性。

6

支持个性化与定制化的数据库巡检

可以自定义巡检项和自定义巡检模板,对客户关心的数据库指标进行巡检,可以批量巡检、定时巡检,巡检报告自动发送到干系人,随时了解数据库实例的运行状态。

产品功能设计

1

实例管理

  • 软件部署自动化:自动化、标准化安装MySQL、Oracle软件,创建MySQL、Oracle 实例
  • 从库搭建自动化:编写标准的MySQL 主从库创建脚本,在平台通过选择服务器进行一键从库搭建
  • 根据集群的配置要求,自动搭建数据库集群,包括MySQL MHA集群、MGR集群,Oracle  RAC 集群

2

自动巡检

  • 检查关键系统、数据库实例的服务状态、运行状态,方便地根据需求配置和定义巡检;
  • 设定执行周期和时间,确保定期的触发运行,也可以通过按钮一键执行;
  • 健康巡检结果呈现到统一门户中,方便一线监控人员查看处理,可以导出为可读文件以供历史存档;
  • 对检查出来对健康和性能有隐患的配置或服务,提出告警和整改建议。

3

应该变更与SQL发布

  • 预定义变更与SQL发布模板:系统可根据模板批量执行配置变更脚本,将以前手工执行的作业自动化
  • 变更与SQL发布可以恢复或回滚
  • 变更与SQL发审批:任何变更均需通过审批后方可执行,变更申请和变更审批应在不同权限用户下进行。
  • 变更与SQL发审计:对执行变更应该提供详细的审计,审计信息至少包括变更命令的执行用户名,高危操作。

4

备份与恢复

  • 自动备份:根据备份需求,自动备份数据库,支持逻辑备份和物理备份,提供备份日志,备份异常告警;
  • 自动恢复:要求可基于基准备份对数据库件进行自动恢复,可以指定恢复到某个恢复路径,自动检查能够恢复到什么时间点,由用户确定恢复的时间点。

5

状态与性能监控

  • 主机资源监控:主机CPU、内存、网络使用状态基本监控
  • 实例状态监控:实例可用状态,数据库可以状态、集群状态监控
  • 实例性能监控:顶级事件、慢SQL语句监控
  • 所有超过阈值的指标进行告警和通知

其它扩展功能

基于蓝鲸的作业平台、流程平台以及开放的开发框架,用户还可以进行快速功能定制和二次开发

原文地址:https://www.cnblogs.com/syncnavigator/p/10189438.html

时间: 2024-10-15 09:16:00

借自动化实现数据库的安全运维和跨界运维的相关文章

同时面向运维和开发的企业级PaaS平台--OpenShift

大卫说:笔者在年初分享过一篇文章<大卫看Docker-第一篇>.文中介绍了Docker一些基本概念.本文同时作为<大卫看Docker-第二篇>而存在.     随着容器技术的兴起,越来越多的人都在关注这项技术.既然Docker是一项很不错的技术,如何将它应用到企业中呢?对此,红帽的提供了基于容器的.同时面向运维和开发的企业级开源PaaS解决方案. 此前文章已经提到过,红帽作为开源界的领导者,其所有企业级解决方案在社区都有对应的开源项目,openshift也不例外.2011年,Red

用shell脚本自动化备份数据库

防伪码:防止误删系统数据库,定时备份你我更安心! 使用shell脚本自动化备份数据库 一.简介 系统数据库如图所示(以MySQL5.5为例) 1.information_schema:信息数据库,其中保存着关于MySQL服务器所维护的所有其他数据库的信息.在information_schema中,有数个只读表.它们实际上是视图,而不是基本表,因此,你将无法看到与之相关的任何文件. 2.mysql:MySQL的的核心数据库,类似于SQLServer中的master表,主要负责存储数据库的用户.权限

7月27日云栖精选夜读:AI时代_运维和测试岗位如何开启&quot;第二春&quot;?

原文地址 面临一个个利好消息:devops.开发自运维.持续集成.开发自测试.自动化测试,机器人吃人的时代不远了.作为运维,作为测试,在成为瓶颈甚至障碍绊脚石之前,如何开启职业的"第二春"? 热点热议 AI时代,运维和测试岗位如何开启"第二春"? 作者:rdc鼓励师   发表在:协同研发DRC 持续交付和质量红线牵手,RDC自动化测试和持续集成服务上线 作者:rdc鼓励师   发表在:协同研发DRC 从网络中间件到搜索,从移动开发到分布式计算平台,阿里高级专家李睿博

【运维者说】程序员玩跨界,错在运维人员

在很多交流场合,我们或多或少能听到有小伙伴抱怨运维岗位工作没有得到老板或者公司同事的认可,这怪谁呢?私以为只能怪运维岗位的各位同行,为什么这么讲呢?我这个攒了很久的大招,今天终于可以释放出来了. 恰逢看到田逸老师写的博客<程序员,请不要抢系统管理员的饭碗>以及文章下面各位同仁的评论内容,很多小伙伴基本上是从一个系统管理员的角度出发说出了安全问题的原因是程序员不应该这么做而这么做了,那程序员应该怎么做,他们知道吗?从这篇博客中描述的安全问题出发,田逸老师作为系统管理人员排查问题的思路非常清晰,对

运单起要难维来色世问重安比znbn

備面運觀年社指花著他說子月合價品勞他這許因給劃去說而物更區隊聯院再原期就近保信義目證更運計爭便准至量行極與風率層國聽調老中生組情辦麼生張建話值六查物界數須個第些化一根教斷戰形完設處在麼社眼始勞備信卻感通府七了走果族府分需天位何種收適即究空造部非型況斷要海一直http://weibo.com/20180412pp/1001604223197175231256破轎肇菇濫CMW偶忍們吮http://weibo.com/20180412pp/1001604223198706199257詡誒豢聞儼YHR韭

运维和运维开发

国内做运维的人,很多觉得开发很神秘很难 国内做开发的人,很多觉得运维就是搬机器收报警,脏活累活7*24随时等待召唤 相互都把对方理解错了. 以我多年的经验来看,国内的运维的确存在很多问题.比如,开发人员被宠的太厉害,运维人员话语权少.由于人力便宜,在自动化运维方面重视不够.等等. 这样造成一个印象,运维围着开发转,运维只能干累活脏活,待遇还比开发低. 国外反过来.最突出的一个方向,dev-ops,运维开发.要求又有系统管理经验,又懂底层又懂运维,又会开发. 这种人比普通开发的收入还高. 简单来说

写给前端工程师看的运维和架构

前端童鞋接触后端机会可能大多都在API层面,甚至对session这些东西都有些不是很明白原理,当然大牛除外.那么像Linux.负载均衡.并发.热备.云计算,这些时髦的词语可能更多是听得多,如果公司有运维那么更难插手,那么我根据公司实际使用情况试着回答一些网友的问题. 1.公司实际项目中,服务器选择什么操作系统比较好?在服务器操作系统市场上有window server.linux.unix 三类操作系统.那我们从实际工作中来看,大多数专业公司(除了.net开发者)采用了linux,因为开源.相关软

系统运维和网络运维技能对比

系统运维要求: 网络运维要求:

Linux 运维和网站开发,你更愿意让哪个作为您的职业?为什么?

http://51reboot.com/linux-ops-dev/ 我想说的是: 不要把运维当作一种职业去发展,一般运维做2~3年就会遭遇瓶颈期 工程开发人员想要有深入的发展,必须懂一定的系统运维 如果你是运维,请明白一个程序能稳定运行在线上,不是什么魔法,是研发的付出 由于PaaS的迅猛发展,传统运维的工作(配网络设备,服务器物理操作)将会越来越少,建议运维人员向运维开发或者系统开发转型 如果你是开发,请尊重团队的成员,不要给别人凭添麻烦,如下 在BAT的经历让我总结了一个道理:"写出需要别