摘要：写这篇博客主要是记录下，这个自动化运维工具，在开发的过程中的一些思路和里面的一些技术实现，我在自动化工具开发方面，也是新手，欢迎各位大侠共同探讨和拍砖。下面介绍各个模块的功能和抓图。执行完毕后，都有履历可查，成功或者失败，错误原因等。
写这篇博客主要是记录下，My_DBA_Release 这个 Mysql DBA 自动化运维工具，在开发的过程中的一些思路和里面的一些技术实现，我在自动化工具开发方面，也是新手，欢迎各位大侠共同探讨和拍砖。
做这个工具，主要是把Mysql DBA的一些例行工作，比如 DML DDL 操作，DB 服务状态查看，DB 用户授权，DB 迁移，搭建DB slave，慢查询日志查询 ，用统一的web 界面，自动化的方式，点点鼠标就完成。
技术实现上，全python实现，采用python的flask web框架，原来考虑过，php做前端展示的，不过对php不熟，没有必要再去研究一门语言了。Python 的web 框架选择上除了有flask，还有 Django，tornado 等等。查过资料，Django 大而全，紧耦合，没有flask 灵活方便，DB的自动化运维，前端仅仅是个简单展示，主要在后头，没有必要搞那么复杂。tornado 不熟，刚好flask 最近几年蛮火，去哪儿网的自动化运维刚好用的也是flask，最终选择的是Flask，走前辈的路不会错太多，使用这个框架，总体用的过程还是蛮顺的，中文文档也比较全，链接为：flask中文帮助。其实除了flask，其他web 框架，我也没有用过，欢迎pythoner来拍砖：）
部署web app，容器选择上，采用简单的gunicorn 来起相应端口，暂时还没有采用Nginx+uWSGI 模式。
前端传统的（bootstrap，jquery，ajax）这些，html搭建采用这个bootstrap工具，js方面请教了不少前端的同学，在前端与后端的交互上，js，json传递上，由于是新手，花费了不少时间。页面初始化时调用模板，后面的按钮点击及下拉列表选择，都是采用ajax来从服务器端返回数据。把十年前，当时玩asp的html的东东，又拾回来了，"Asp" 一下子暴露年龄了：）。
下面讲讲后端，这个工具首先能跑起来的基础是：
Mysql的标准化安装，标准化配置，二进制文件目录，data_dir，必须是统一配置的。
一个数据中心配置库，比如集中的DB实例的注册，DB的注册，权限角色的控制等。
对数据中心的读写，采用python torndb 模块，torndb是对MysqlDB 类的封装，比MysqlDB类使用起来简单多了，推荐大家使用，可以很简单的返回list，dict或者iter，然后jsonfy后，跟前端的ajax进行交互。
对线上数据库基于安全方面的考虑，没有采用mysql -h的方式，远程操作，而是采用paramiko 类（当然fabric也是可以的），基于OS 认证，远程到本机执行相关操作，执行完后，执行结果，不论对错，返回给flask。flask 有app.logger 模块，可以很简单的实现，执行过程中的日志级别和邮件报警，当执行出错时，发报警邮件给DBA。
下面介绍各个模块的功能和抓图。
DML/DDL
界面功能比较简单，没有美工，自己搞的，个人感觉也比较丑：）。本来这东东是给DBA专门用的，但目前所在公司，算是创业公司，业务还没有成熟，修数太多了，纯靠DBA去修数，不太现实，但又不想让他们用UI工具去直接操作数据库，便把DML的功能，开放给少数几个开发。每个开发用自己的账号登录后，有自己的域权限，只能对相应权限的DB 实例进行操作，当然只能是主库了，后面会考虑在DB 级别甚至表级别设置权限。执行完毕后，都有履历可查，成功或者失败，错误原因等。
域和角色及用户的对照关系如下：
schema（DB）=> DB实例(IP+DB端口) => 域
用户 => 角色 => 角色域 => 域
安全控制方面，简单的对，delete from ，update set 判断是否有where条件，没有where条件不让执行，当然对DBA角色，那个上面的复选框是可见的。这样多多少少还是有风险的，正常的大互联网公司，这些操作都是DBA来执行的。
后端操作上，执行的dml命令，paramiko远程传输到本机，转储为文件，然后本机执行，mysql < sql文件来执行dml 命令，原来采用mysql -e 模式，不过 -e 模式对表名的撇号，还需要转义，太麻烦，而< 文件，则没有这种限制。
DBA执行的DDL，比较麻烦，mysql的online ddl，在5.6版本以前 copy table，只读，MDL lock 等等限制，percona的OSCA 和 oak的oak-online-alter-table，在复杂环境（从库，trigger）下都有些多多少少的蛋疼问题。所以这个工具没有考虑那多复杂问题，就是原始的ddl，夜里操作了，只能期望后面升级到5.6或mariadb 10的真正的online ddl了。
2 DB 用户授权
界面功能就不多做介绍了，搞DBA的同学，一看便知，“权限复制到从库”= “set sql_log_bin=1" ,下拉列表的数据，都是从数据中心配置表加载的。跟上面一样，grant语句转储为文件，在本机执行。
”查看当前DB实例的所有DB权限“ = percona工具的pt-show_grants --ignore=‘系统自带的账号’，剩余全部都是应用账号
”查看当前被授权人的DB权限“ = percona工具的pt-show_grants --only=
没有写完，后续。。。。。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/46361.html
摘要：本文将介绍美团点评整个数据库平台的演进历史，以及我们当前的情况和面临的一些挑战，最后分享一下我们从自动化到智能化运维过渡时，所进行的思考探索与实践。 从自动化到智能化运维过渡时，美团DBA团队进行了哪些思考、探索与实践？本文根据赵应钢在第九届中国数据库技术大会上的演讲内容整理而成，部分内容有更新。 背景 近些年，传统的数据库运维方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活...
摘要：本文将介绍美团点评整个数据库平台的演进历史，以及我们当前的情况和面临的一些挑战，最后分享一下我们从自动化到智能化运维过渡时，所进行的思考探索与实践。 从自动化到智能化运维过渡时，美团DBA团队进行了哪些思考、探索与实践？本文根据赵应钢在第九届中国数据库技术大会上的演讲内容整理而成，部分内容有更新。 背景 近些年，传统的数据库运维方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活...
摘要：本文将介绍美团点评整个数据库平台的演进历史，以及我们当前的情况和面临的一些挑战，最后分享一下我们从自动化到智能化运维过渡时，所进行的思考探索与实践。 从自动化到智能化运维过渡时，美团DBA团队进行了哪些思考、探索与实践？本文根据赵应钢在第九届中国数据库技术大会上的演讲内容整理而成，部分内容有更新。 背景 近些年，传统的数据库运维方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活...
摘要：四自动化运维之路二期在设计系统时架构时，我们选择使用架构模式，在数据库服务器上部署我们使用自研的，系统通过服务调度执行各种任务，避免数据库服务器通过明文密码直连的元数据库，增加系统的健壮性和安全性。 文 | 杨一 on 运维 一、前言 有赞作为新零售的软件服务供应商，随着业务的不断发展，从第一批几十家商户到现在300万商家，涉及零售，美业，餐饮，自媒体等众多商家，业务规模以及访问量爆发...
摘要：本文介绍了美团整个数据库平台的演进历史，以及我们当前的情况和面临的一些挑战，最后分享一下我们从自动化到智能化运维过渡时，所进行的思考探索与实践。 背景近些年，传统的数据库运维方式已经越来越难于满足业务方对数据库的稳定性、可用性、灵活性的要求。随着数据库规模急速扩大，各种NewSQL系统上线使用，运维逐渐跟不上业务发展，各种矛盾暴露的更加明显。在业务的驱动下，美团DBA团队经历了从人肉运维到工...
阅读 1840·2023-04-26 01:33
阅读 1478·2023-04-26 00:52
阅读 830·2021-11-18 13:14
阅读 4908·2021-09-26 10:18
阅读 2680·2021-09-22 15:52
阅读 3572·2021-09-02 15:40
阅读 1350·2019-08-29 17:15
阅读 2828·2019-08-29 16:11
