博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
借自动化实现数据库的安全运维和跨界运维
阅读量:4994 次
发布时间:2019-06-12

本文共 3715 字,大约阅读时间需要 12 分钟。

​​​关注嘉为科技,获取运维新知

数据库作为IT系统中重要的组成,承接着底层的基础架构和上层的应用,重要性不言而喻。

 

那数据库管理员(DBA)平时都做些啥呢?

以下是来自一名普通DBA的日常独白:

8:30~9:00AM

日常:每天比普通用户以及应用运维早半小时到公司,第一件事就是开始检查数据库的监控和数据库的巡检,确认没有问题或者及时发现问题并在上班时间之前解决问题;

9:00~12:00AM

日常:忙于处理来自各项目的日常数据库工单(包括部署数据库实例、部署数据库群集、数据库账号授权、 数据库数据导出等),电话、微信、邮件、ITSM,一单完成接着下一单;

12:30~13:30PM

日常:在完成一次数据库的健康性巡检后,似乎可以安静的小憩一小会;

13:30~17:00PM

日常:继续忙碌处理日常数据库工单,偶尔也会被打断,出现一些应用访问性能问题或故障问题,需要紧急响应,从数据库层面分析数据库性能,导日志、查SQL语句、测试性能等,甚至要做一些临时的重启数据库实例或服务器的操作;

17:00~18:30PM

日常:下班前,再次进行数据库的巡检和检查数据库监控,再对数据库文件进行导出备份,确认没有问题,下班回家吃饭。

平凡的一天,并没有这么简单的结束!

21:30~23:30PM

日常:往往每周总会有那么几天,需要对生产环境的数据库进行发布变更,尤其现在的应用迭代频繁,SQL的上线发布也日益频繁,而且为了避免一些人为的操作失误以免变更对业务造成影响,同时也为不可控风险提供充足的缓冲时间,每次的变更发布时间也只能安排晚上22:00左右,加夜班在所难免。

而要成为一名资深DBA,你以为每周就这样忙碌日常工单、日常监控和巡检、经常性的熬夜加班变更就可以了吗?

一个资深DBA,还需要协助各项目组进行提供数据库架构的设计与选型。

此时,某个项目组新起的一个项目用的是开源MySQL,“你对数据库很熟悉吧,你去负责协助下?”

又一个项目组听说用的是SQL Server,“你是DBA,你去负责协助下?”

​又来了一个新的项目,好像是PGsql、Redis、MongoDB……

“不想当将军的士兵不是好的战士”、“不想当CIO的DBA不是好的运维”。在每天面临如此多的来自工作量、运维安全、技术更新挑战的同时,我们还需要不断的成长与思考:

  • 如何正确规划数据库的生命周期管理?
  • 如何建设工具来帮助降低重复操作的工作量?
  • 如何通过技术规避运维中不可控的高风险?
  • 如何全局应对多类型数据库的选型和运维支撑?

 

此时,选择一款好的平台型产品,能够综合解决你面临的跨界运维、安全运维、自动化运维挑战,就非常非常非常重要。

 

这里,给大家介绍的是一款基于蓝鲸平台打造的SaaS产品:嘉维蓝鲸数据库自动化运维中心(CW DBM Automation),融合了MySQL和Oracle日常运维场景的配置、部署、巡检、监控、操作、SQL发布的全生命周期管理,同时结合多场景的业务需求提供端到端的自动化交付,以及结合多年运维积累的SQL发布规则过滤高危运维操作。

选择嘉维蓝鲸,让数据库自动化运维、安全运维、跨界运维触手可及!

产品架构设计

嘉维蓝鲸数据库自动化运维中心SaaS,是基于蓝鲸PAAS平台开发,囊括数据库管理自动化、监控自动化及操作审计的运维中心。

依托SOA设计理念将数据库自动化运维操作平台以IaaS管控层、原子平台层、PaaS层、运维场景层输出服务,提供各层资源全生命周期的运维管理,实现对企业IT资源的集中化、可视化、自动化管理。

 

IaaS管控层:

是指对IaaS的管理和控制,通过提供指令、文件、数据下发的管道,适配类型主机(Linux、Windows、虚拟机、容器等),兼容私有云、公有云以及混合元的管理方式,管控各个主机上面的数据库实例。

 

原子层:

是指为满足通用运维场景的基础能力平台的封装,有作业功能模块 、DB  CMDB模块、运维数据平台模块组成。

 

PaaS层:

包含该支撑应用部署和运行的APaaS(Application Platform as a Service)以及企业内部SOA集成的IPaaS(Integration Platform as a Service),通过企业服务总线和API Gateway对接原子层各平台的能力。

 

运维场景层:

是指基于PaaS层之上的运维SaaS,涵盖数据库管理自动化、数据库监控自动化、操作审计等。

 

核心功能及优势

数据库自动化运维中心,是嘉为数据库技术专家基于多年的数据库运维经验的沉淀,是深刻理解MySQL、Oracle数据库日常运维中各种场景后的结晶。嘉维蓝鲸数据库自动化运维中心,能快速实现数据库的日常管理、SQL变更、备份恢复、实例交付、健康检查、状态及性能监控等多种场景,总结起来为以下几点:

 

1、实现数据库的全生命周期管理

一个应用系统的建设,在配置、部署、监控、操作、分析各阶段,嘉维蓝鲸DBM提供全方位的功能:实例自动部署、实例升降级,MHA自动部署和管理,MGR自动部署和管理,Oracle RAC自动部署和管理的能力,使企业应用快速简便地使用MySQL、Oracle数据库资源。

 

2、实现端到端的全流程自动化执行

大部分企业的数据库种类繁多,主要集中在MySQL、Oracle等常用数据库。嘉维蓝鲸DBM,支持MySQL、Oracle日常运维、备份恢复等基本的运维操作批量完成、自动化交付。

 

3、进行数据库实例的状态及性能监控,保证数据库时间健康运行

嘉维蓝鲸DBM可以进行全面的数据库实例及集群状态监控、主机状态监控。能实现性能指标收集,并进行综合的分析,对超过告警阈值的状态或性能指标通知干系人,对有性能问题的SQL语句提供性能优化方案建议。

 

4、提供SQL一键发布和回退,并实现高危SQL语句过滤

对于应用的变更,能提供SQL语句自动发布,自定义SQL语句的过滤规则,规避高危SQL,可以批量执行到多个数据库实例中。

 

5、配置集中管理和集成CMDB动态更新

嘉维蓝鲸数据库自动化运维中心是基于蓝鲸PaaS平台的开发一个SaaS服务,可以与蓝鲸的CMDB(配置平台)集成,在完成每一个数据库的自动化交付后,都可以及时将交付对象的数据同步写入CMDB,确保配置数据与真实环境的一致性。

 

6、支持个性化与定制化的数据库巡检

可以自定义巡检项和自定义巡检模板,对客户关心的数据库指标进行巡检,可以批量巡检、定时巡检,巡检报告自动发送到干系人,随时了解数据库实例的运行状态。

 

产品功能设计

1、实例管理

软件部署自动化:自动化、标准化安装MySQL、Oracle软件,创建MySQL、Oracle 实例;

从库搭建自动化:编写标准的MySQL 主从库创建脚本,在平台通过选择服务器进行一键从库搭建

根据集群的配置要求,自动搭建数据库集群,包括MySQL MHA集群、MGR集群,Oracle  RAC 集群。

 

2、自动巡检

检查关键系统、数据库实例的服务状态、运行状态,方便地根据需求配置和定义巡检;

设定执行周期和时间,确保定期的触发运行,也可以通过按钮一键执行;

健康巡检结果呈现到统一门户中,方便一线监控人员查看处理,可以导出为可读文件以供历史存档;

对检查出来对健康和性能有隐患的配置或服务,提出告警和整改建议。

 

3、应该变更与SQL发布

预定义变更与SQL发布模板:系统可根据模板批量执行配置变更脚本,将以前手工执行的作业自动化;

变更与SQL发布可以恢复或回滚;

变更与SQL发审批:任何变更均需通过审批后方可执行,变更申请和变更审批应在不同权限用户下进行;

变更与SQL发审计:对执行变更应该提供详细的审计,审计信息至少包括变更命令的执行用户名,高危操作。

 

4、备份与恢复

自动备份:根据备份需求,自动备份数据库,支持逻辑备份和物理备份,提供备份日志,备份异常告警;

自动恢复:要求可基于基准备份对数据库件进行自动恢复,可以指定恢复到某个恢复路径,自动检查能够恢复到什么时间点,由用户确定恢复的时间点。

 

5、状态与性能监控

主机资源监控:主机CPU、内存、网络使用状态基本监控;

实例状态监控:实例可用状态,数据库可以状态、集群状态监控;

实例性能监控:顶级事件、慢SQL语句监控;

所有超过阈值的指标进行告警和通知。

 

其它扩展功能

基于蓝鲸的作业平台、流程平台以及开放的开发框架,用户还可以进行快速功能定制和二次开发。


 

蓝鲸智云平台试用Tips

蓝鲸社区版

如果您想先简单了解蓝鲸研发运营一体化平台,或者企业规模较小但想用更为先进的自动化运维管理方式进行IT运维管理,推荐您先试用蓝鲸社区版。

蓝鲸社区版已经开源,您可以登录蓝鲸智云官网免费下载。网址:

http://bk.tencent.com/download

 

蓝鲸企业版

当然,蓝鲸企业版拥有更为丰富的功能,更适合企业级客户使用。如您有需要试用或者测试,联系嘉为吧!

 

转载于:https://www.cnblogs.com/canwaytech/p/10038887.html

你可能感兴趣的文章
HDU1051 Wooden Sticks 【贪婪】
查看>>
十大经典数据挖掘算法
查看>>
Rhythmbox乱码的解决的方法
查看>>
中纪委:抗震中官员临危退缩玩忽职守将被严处
查看>>
MySQL 8.0.12 基于Windows 安装教程
查看>>
在hue中使用hive
查看>>
eclipse快捷键
查看>>
在指定文本里记录内容
查看>>
Android WebView常见问题及解决方案汇总
查看>>
[BZOJ4025]二分图
查看>>
HTML5 Canvas玩转酷炫大波浪进度图
查看>>
创建ASP.NET Core MVC应用程序(5)-添加查询功能 & 新字段
查看>>
电话录音系统说明书
查看>>
JVM(1)——IDEA启动分配内存大小及GC日志打印
查看>>
oracle 批量更新之update case when then
查看>>
text3
查看>>
自己写的连击文字特效
查看>>
【Android】eclipse打不开的解决办法和“Jar mismatch! Fix your dependencies”的解决
查看>>
Mysql查询某字段值重复的数据
查看>>
Java 自学笔记-基本语法3setOut()方法设置新的输出流
查看>>