mysql百万数据实践-分区

cloud 发布于2019-07-31 17:40 / 1443人阅读

摘要：今天实践下百万级数据分区的影响，首先是产生百万级别的数据量创建带分区的数据表创建不带分区的数据表填充数据，创建向数据表插入数据执行插入万数据向未分区表插入数据现在有了数据，对比一下有没有分区对查询的影响查询不是按照该列分区的数

今天实践下mysql百万级数据分区的影响，首先是产生百万级别的数据量

//创建带分区的数据表
CREATE TABLE `part_person` (
  `id` bigint(20) unsigned NOT NULL,
  `username` varchar(100) NOT NULL,
  `born` date NOT NULL DEFAULT "1970-01-01",
  `sex` tinyint(1) unsigned NOT NULL,
  PRIMARY KEY (`id`,`born`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8
PARTITION BY RANGE (year(born))
(PARTITION p0 VALUES LESS THAN (1980) ENGINE = MyISAM,
 PARTITION p1 VALUES LESS THAN (1990) ENGINE = MyISAM,
 PARTITION p2 VALUES LESS THAN (2000) ENGINE = MyISAM,
 PARTITION p3 VALUES LESS THAN (2010) ENGINE = MyISAM,
 PARTITION p4 VALUES LESS THAN (2020) ENGINE = MyISAM,
 PARTITION p5 VALUES LESS THAN MAXVALUE ENGINE = MyISAM);

//创建不带分区的数据表
CREATE TABLE `no_part_person` (
  `id` bigint(20) unsigned NOT NULL,
  `username` varchar(100) NOT NULL,
  `born` date NOT NULL DEFAULT "1970-01-01",
  `sex` tinyint(1) unsigned NOT NULL,
  PRIMARY KEY (`id`,`born`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

//填充数据，创建procedure向数据表插入数据
CREATE PROCEDURE `part_generate`(IN num INT)  
BEGIN     
    DECLARE char_str varchar(100) DEFAULT "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789";
    DECLARE username VARCHAR(25) DEFAULT "";    
    DECLARE id int UNSIGNED;  
    DECLARE len int;  
    set id=1;  
    DELETE from person;  
    WHILE id <= num DO  
        set len = FLOOR(1 + RAND()*25);  
        set username = "";  
        WHILE len > 0 DO  
            SET username = CONCAT(username,substring(char_str,FLOOR(1 + RAND()*62),1));  
            SET len = len - 1;  
        END WHILE;   
        INSERT into part_person VALUES (id,username, ADDDATE("1970-01-01",INTERVAL RAND()*365*60 DAY), FLOOR(RAND()*2));  
        set id = id + 1;  
    END WHILE;  
END

//执行procedure插入600万数据
call part_generate(6000000)

//向未分区表插入数据 
insert into no_part_person select * from part_person;

现在有了数据，对比一下有没有分区对查询的影响

查询不是按照该列分区的数据时分区反而更慢一些，查询born数据时不跨区时分区效果提升显著，当数据跨区时提升效果没那么显著，但也有提升。

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/47491.html

数据库收集 - 收藏集 - 掘金

摘要：前言在使用加载数据数据库常见的优化操作后端掘金一索引将放第一位，不用说，这种优化方式我们一直都在悄悄使用，那便是主键索引。 Redis 内存压缩实战 - 后端 - 掘金在讨论Redis内存压缩的时候，我们需要了解一下几个Redis的相关知识。压缩列表 ziplist Redis的ziplist是用一段连续的内存来存储列表数据的一个数据结构，它的结构示例如下图 zlbytes: 记录整...

muddyway 2019-08-06 14:03 评论0 收藏0
数据库收集 - 收藏集 - 掘金

摘要：前言在使用加载数据数据库常见的优化操作后端掘金一索引将放第一位，不用说，这种优化方式我们一直都在悄悄使用，那便是主键索引。 Redis 内存压缩实战 - 后端 - 掘金在讨论Redis内存压缩的时候，我们需要了解一下几个Redis的相关知识。压缩列表 ziplist Redis的ziplist是用一段连续的内存来存储列表数据的一个数据结构，它的结构示例如下图 zlbytes: 记录整...

Little_XM 2019-06-25 18:25 评论0 收藏0
数据库收集 - 收藏集 - 掘金

摘要：前言在使用加载数据数据库常见的优化操作后端掘金一索引将放第一位，不用说，这种优化方式我们一直都在悄悄使用，那便是主键索引。 Redis 内存压缩实战 - 后端 - 掘金在讨论Redis内存压缩的时候，我们需要了解一下几个Redis的相关知识。压缩列表 ziplist Redis的ziplist是用一段连续的内存来存储列表数据的一个数据结构，它的结构示例如下图 zlbytes: 记录整...

XUI 2019-08-01 13:27 评论0 收藏0
OceanBase 2.0让百万支付不是梦？

摘要：端基于生成列进行内部分区，不侵入业务。总结天猫双全球狂欢节成交额超过亿，成功经受住了考验，全面支撑了支付宝核心链路，平稳抗住时的峰值压力，夯实三年战略百万支付的底盘能力。小蚂蚁说：你们都很关心的 OB双11大促实战分享专题来啦！本系列将为你系统性的介绍OceanBase支撑蚂蚁双11背后的技术原理和实战分享。从平台到架构，再到实现，一起来探索蚂蚁双11这场神秘的技术之旅吧！ sh...

anRui 2019-08-06 14:26 评论0 收藏0
OceanBase 2.0让百万支付不是梦？

摘要：端基于生成列进行内部分区，不侵入业务。总结天猫双全球狂欢节成交额超过亿，成功经受住了考验，全面支撑了支付宝核心链路，平稳抗住时的峰值压力，夯实三年战略百万支付的底盘能力。小蚂蚁说：你们都很关心的 OB双11大促实战分享专题来啦！本系列将为你系统性的介绍OceanBase支撑蚂蚁双11背后的技术原理和实战分享。从平台到架构，再到实现，一起来探索蚂蚁双11这场神秘的技术之旅吧！ sh...

Kosmos 2019-06-25 19:00 评论0 收藏0