mysql优化

yvonne 发布于2019-08-08 13:46 / 1655人阅读

摘要：显示处于不可中断的休眠的进程数量。在等待显示被交换到磁盘的数据块的数量。服务器硬件优化物理状态灯自带管理设备远程控制卡设备，开关机硬件监控。

数据库层面问题解决思路

一般应急调优的思路：
针对突然的业务办理卡顿，无法进行正常的业务处理！需要立马解决的场景！

1、show processlist

2、explain select id ,name from stu where name="clsn"; # ALL id name age sex
select id,name from stu where id=2-1 函数 结果集>30;
show index from table;

3、通过执行计划判断，索引问题(有没有、合不合理)或者语句本身问题

4、show status like "%lock%"; # 查询锁状态
kill SESSION_ID; # 杀掉有问题的session

常规调优思路：
针对业务周期性的卡顿，例如在每天 10-11 点业务特别慢，但是还能够使用，过了这段时间就好了。

1、查看 slowlog，分析 slowlog，分析出查询慢的语句。

2、按照一定优先级，进行一个一个的排查所有慢语句。

3、分析 top sql，进行 explain 调试，查看语句执行时间。

4、调整索引或语句本身。

系统层面

cpu方面：
vmstat、sar top、htop、nmon、mpstat

内存：
free 、ps -aux 、

IO 设备(磁盘、网络)：
iostat 、 ss 、 netstat 、 iptraf、iftop、lsof、

vmstat 命令说明：
Procs：r 显示有多少进程正在等待 CPU 时间。b 显示处于不可中断的休眠的进程数量。在等待 I/O

Memory：swpd 显示被交换到磁盘的数据块的数量。未被使用的数据块，用户缓冲数据块，用于操作系统的数据块的数量

Swap：操作系统每秒从磁盘上交换到内存和从内存交换到磁盘的数据块的数量。s1 和 s0 最好是 0

Io：每秒从设备中读入 b1 的写入到设备 b0 的数据块的数量。反映了磁盘 I/O

System：显示了每秒发生中断的数量(in)和上下文交换(cs)的数量

Cpu：显示用于运行用户代码，系统代码，空闲，等待 I/O 的 CPU 时间

iostat 命令说明
实例命令： iostat -dk 1 5
iostat -d -k -x 5 (查看设备使用率(%util)和响应时间(await))

tps：该设备每秒的传输次数。“一次传输”意思是“一次 I/O 请求”。多个逻辑请求可能会被合并为“一次 I/O 请求”。

iops ：硬件出厂的时候，厂家定义的一个每秒最大的 IO 次数,"一次传输"请求的大小是未知的。

kB_read/s：每秒从设备(drive expressed)读取的数据量；

KB_wrtn/s：每秒向设备(drive expressed)写入的数据量；

kB_read：读取的总数据量；

kB_wrtn：写入的总数量数据量；这些单位都为 Kilobytes。

系统层面问题解决办法

你认为到底负载高好，还是低好呢？
在实际的生产中，一般认为 cpu 只要不超过 90% 都没什么问题。

当然不排除下面这些特殊情况：
问题一：cpu 负载高，IO 负载低
内存不够

磁盘性能差

SQL 问题 ------>去数据库层，进一步排查 sql 问题

IO 出问题了(磁盘到临界了、raid 设计不好、raid 降级、锁、在单位时间内 tps 过高)

tps 过高: 大量的小数据 IO、大量的全表扫描

问题二：IO 负载高，cpu 负载低
大量小的 IO 写操作：

autocommit ，产生大量小 IO

IO/PS 磁盘的一个定值，硬件出厂的时候，厂家定义的一个每秒最大的 IO 次数。

大量大的 IO 写操作

SQL 问题的几率比较大

问题三：IO 和 cpu 负载都很高
硬件不够了或 SQL 存在问题

五、基础优化

优化思路

定位问题点:
硬件 --> 系统 --> 应用 --> 数据库 --> 架构(高可用、读写分离、分库分表)

处理方向：
明确优化目标、性能和安全的折中、防患未然

硬件优化

主机方面：
根据数据库类型，主机 CPU 选择、内存容量选择、磁盘选择

平衡内存和磁盘资源

随机的 I/O 和顺序的 I/O

主机 RAID 卡的 BBU(Battery Backup Unit)关闭

cpu 的选择：
cpu 的两个关键因素：核数、主频

根据不同的业务类型进行选择：

cpu 密集型：计算比较多，OLTP 主频很高的 cpu、核数还要多

IO 密集型：查询比较，OLAP 核数要多，主频不一定高的

内存的选择：
OLAP 类型数据库，需要更多内存，和数据获取量级有关。

OLTP 类型数据一般内存是 cpu 核心数量的 2 倍到 4 倍，没有最佳实践。

存储方面：
根据存储数据种类的不同，选择不同的存储设备

配置合理的 RAID 级别(raid 5、raid 10、热备盘)

对与操作系统来讲，不需要太特殊的选择，最好做好冗余(raid1)(ssd、sas 、sata)

raid 卡：主机 raid 卡选择：
实现操作系统磁盘的冗余(raid1)

平衡内存和磁盘资源

随机的 I/O 和顺序的 I/O

主机 RAID 卡的 BBU(Battery Backup Unit)要关闭

网络设备方面：
使用流量支持更高的网络设备(交换机、路由器、网线、网卡、HBA 卡)

注意：以上这些规划应该在初始设计系统时就应该考虑好。

服务器硬件优化

1、物理状态灯：

2、自带管理设备：远程控制卡(FENCE 设备：ipmi ilo idarc)，开关机、硬件监控。

3、第三方的监控软件、设备(snmp、agent)对物理设施进行监控

4、存储设备：自带的监控平台。EMC2(hp 收购了)，日立(hds)，IBM 低端 OEM hds，高端存储是自己技术，华为存储

系统优化

Cpu：
基本不需要调整，在硬件选择方面下功夫即可。

内存：
基本不需要调整，在硬件选择方面下功夫即可。

SWAP：
MySQL 尽量避免使用 swap。阿里云的服务器中默认 swap 为 0

IO ：
raid、no lvm、 ext4 或 xfs、ssd、IO 调度策略

Swap 调整(不使用 swap 分区)

这个参数决定了 Linux 是倾向于使用 swap，还是倾向于释放文件系统 cache。在内存紧张的情况下，数值越低越倾向于释放文件系统 cache。当然，这个参数只能减少使用 swap 的概率，并不能避免 Linux 使用 swap。

修改 MySQL 的配置参数 innodb_flush_method，开启 O_DIRECT 模式。这种情况下，InnoDB 的 buffer pool 会直接绕过文件系统 cache 来访问磁盘，但是redo log 依旧会使用文件系统 cache。值得注意的是，Redo log 是覆写模式的，即使使用了文件系统的 cache，也不会占用太多

IO 调度策略：

系统参数调整

Linux 系统内核参数优化：

用户限制参数(MySQL 可以不设置以下配置)：

应用优化

业务应用和数据库应用独立,防火墙：iptables、selinux 等其他无用服务(关闭)：

安装图形界面的服务器不要启动图形界面 runlevel 3,另外，思考将来我们的业务是否真的需要 MySQL，还是使用其他种类的数据库。用数据库的最高境界就是不用数据库。

六、数据库优化
SQL 优化方向：
执行计划、索引、SQL 改写

架构优化方向：
高可用架构、高性能架构、分库分表

数据库参数优化

调整：
实例整体(高级优化，扩展)

连接层(基础优化)
设置合理的连接客户和连接方式

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/63537.html

数据库

摘要：编辑大咖说阅读字数用时分钟内容摘要对于真正企业级应用，需要分布式数据库具备什么样的能力相比等分布式数据库，他们条最佳性能优化性能优化索引与优化关于索引与优化的基础知识汇总。 mysql 数据库开发常见问题及优化这篇文章从库表设计，慢 SQL 问题和误操作、程序 bug 时怎么办这三个问题展开。一个小时学会 MySQL 数据库看到了一篇适合新手的 MySQL 入门教程，希望对想学 ...

LiveVideoStack 2019-08-06 14:09 评论0 收藏0
数据库

摘要：编辑大咖说阅读字数用时分钟内容摘要对于真正企业级应用，需要分布式数据库具备什么样的能力相比等分布式数据库，他们条最佳性能优化性能优化索引与优化关于索引与优化的基础知识汇总。 mysql 数据库开发常见问题及优化这篇文章从库表设计，慢 SQL 问题和误操作、程序 bug 时怎么办这三个问题展开。一个小时学会 MySQL 数据库看到了一篇适合新手的 MySQL 入门教程，希望对想学 ...

ixlei 2019-07-31 17:44 评论0 收藏0
数据库

摘要：编辑大咖说阅读字数用时分钟内容摘要对于真正企业级应用，需要分布式数据库具备什么样的能力相比等分布式数据库，他们条最佳性能优化性能优化索引与优化关于索引与优化的基础知识汇总。 mysql 数据库开发常见问题及优化这篇文章从库表设计，慢 SQL 问题和误操作、程序 bug 时怎么办这三个问题展开。一个小时学会 MySQL 数据库看到了一篇适合新手的 MySQL 入门教程，希望对想学 ...

mengbo 2019-06-26 17:34 评论0 收藏0
数据库

摘要：编辑大咖说阅读字数用时分钟内容摘要对于真正企业级应用，需要分布式数据库具备什么样的能力相比等分布式数据库，他们条最佳性能优化性能优化索引与优化关于索引与优化的基础知识汇总。 mysql 数据库开发常见问题及优化这篇文章从库表设计，慢 SQL 问题和误操作、程序 bug 时怎么办这三个问题展开。一个小时学会 MySQL 数据库看到了一篇适合新手的 MySQL 入门教程，希望对想学 ...

shuibo 2019-06-25 18:33 评论0 收藏0
MySQL™ 参考手册（目录）

MySQL™ 参考手册此文档分别记录了MySQL 8.0到8.0.19，以及基于NDB 8.0版到8.0.18-ndb-8.0.18的NDB Cluster版本。它可能包括尚未发布的MySQL版本功能的文档，有关已发布的版本的信息，请参阅MySQL 8.0发行说明。 MySQL 8.0的特性。本手册描述的特性没有包含在每个MySQL 8.0版本中，此类特性可能不包含在许可给你的MySQL 8.0...

habren 2019-08-01 10:12 评论0 收藏0
举个栗子看如何做MySQL 内核深度优化

摘要：本文将为大家介绍腾讯云团队是如何对进行内核级优化的思路和经验。在腾讯云，因为用户数的不断增加，对提出越来越高的要求，腾讯云团队针对用户的需求和业界发展的技术趋势，对分支进行深度的定制优化。本文由云+社区发表作者介绍：简怀兵，腾讯云数据库高级工程师，负责腾讯云CDB内核及基础设施建设；先后供职于Thomson Reuters和YY等公司，PTimeDB作者，曾获一项发明专利；从事MyS...

zhaochunqi 2019-08-06 14:26 评论0 收藏0