MySQL 【去重留一】一条sql语句完成思路总结

wua_wua2012 发布于2019-06-28 14:24 / 516人阅读

摘要：查了资料，请教了大佬之后得出了一个很便利的语句，这里分享下这段语句和思路。需求分析数据库中存在重复记录，删除保留其中一条是否重复判断基准为多个字段解决方案碰到这个需求的时候，心里大概是有思路的。

原文是在我自己博客中，小伙伴也可以点阅读原文进行跳转查看，还有好听的背景音乐噢~

前几天在做一个需求的时候，需要清理mysql中重复的记录，当时的想法是通过代码遍历写出来，然后觉得太复杂，心里想着应该可以通过一个sql语句来解决问题的。查了资料，请教了大佬之后得出了一个很便利的sql语句，这里分享下这段sql语句和思路。

需求分析

数据库中存在重复记录，删除保留其中一条（是否重复判断基准为多个字段）

解决方案

碰到这个需求的时候，心里大概是有思路的。最快想到的是可以通过一条sql语句来解决，无奈自己对于复杂sql语句的道行太浅，所以想找大佬帮忙。

找人帮忙

因为这个需求有点着急，所以最开始想到的是，可以找这方面的同行来解决，然后分享这个问题给@赵七七同学，结果这货随便百度了一下，就甩给我一个从未用过的sql语句，让我自己尝试，心里万匹那啥啥啥奔腾而过...

自己百度

找到了一条sql语句：

DELETE
FROM
    vitae a
WHERE
    (a.peopleId, a.seq) IN (
        SELECT
            peopleId,
            seq
        FROM
            vitae
        GROUP BY
            peopleId,
            seq
        HAVING
            count(*) > 1
    )
AND rowid NOT IN (
    SELECT
        min(rowid)
    FROM
        vitae
    GROUP BY
        peopleId,
        seq
    HAVING
        count(*) > 1
)

这条语句是在【MySQL中删除重复数据只保留一条】这篇文章里找到的。这条sql思路很明显，有以下3步：

SELECT peopleId, seq FROM vitae GROUP BY peopleId, seq HAVING count(*) > 1查询出表中重复记录作为条件

SELECT min(rowid) FROM vitae GROUP BY peopleId, seq HAVING count(*) > 1查询出表中重复记录中ID最小的值为第二个条件

最后根据以上两个条件，删除除重复记录中最小ID的其余重复记录

但是很无奈的是，运行这条语句出现了错误，大致报错意思是，不能在查询的时候同时更新这个表。

代码解决

根据上面这个sql语句想到或许可以通过代码的方式，两步来达到同样的目的：

先取出重复的数据集

根据查询到的数据集，循环删除其余的重复数据

想法是有了，写出来也很快，但是一运行吓我一跳，竟然需要116s左右，然后自己就想一定要找到可以使用的sql语句，贴一下代码和运行结果：

完美的【去重留一】SQL

最后在一个技术群里得到了完美的答案，看这条sql语句：

DELETE consum_record
FROM
    consum_record, 
    (
        SELECT
            min(id) id,
            user_id,
            monetary,
            consume_time
        FROM
            consum_record
        GROUP BY
            user_id,
            monetary,
            consume_time
        HAVING
            count(*) > 1
    ) t2
WHERE
    consum_record.user_id = t2.user_id 
    and consum_record.monetary = t2.monetary
    and consum_record.consume_time  = t2.consume_time
AND consum_record.id > t2.id;

上面这条sql语句，仔细看一下，揣摩出思路也不难，大概也分为3步来理解：

(SELECT min(id) id, user_id, monetary, consume_time FROM consum_record GROUP BY user_id, monetary, consume_time HAVING count(*) > 1 ) t2 查询出重复记录形成一个集合（临时表t2），集合里是每种重复记录的最小ID

consum_record.user_id = t2.user_id and consum_record.monetary = t2.monetary and consum_record.consume_time = t2.consume_time 关联判断重复基准的字段

根据条件，删除原表中id大于t2中id的记录

看到这个语句的时候，心里想这也太厉害了。这么一个简单的sql语句，竟然可以解决这么复杂的问题，涨姿势了~
运行起来也超级快，原先的代码循环执行，需要116s左右，而这里0.3s就可以了，厉害了~

总结

作为一个php程序猿，按理来说sql这里是不能拖后腿的，无奈实际中，需要忙碌的事情太多，现在的sql水平也只是处于在一个普通的层次中，以后找机会一定要补一下这方面的知识。

资源

为了方便小伙伴测试，已经把这个数据表传上来了，有mysql工具的话，导入即可。consume_record.sql
今天就分享到这里啦。

服务器托管专线服务去重留一 mysql常用sql语句 mysql_sql语句优化 java数组去重总结

文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。

转载请注明本文地址：https://www.ucloud.cn/yun/26162.html

MySQL 【去重留一】一条sql语句完成思路总结

摘要：查了资料，请教了大佬之后得出了一个很便利的语句，这里分享下这段语句和思路。需求分析数据库中存在重复记录，删除保留其中一条是否重复判断基准为多个字段解决方案碰到这个需求的时候，心里大概是有思路的。原文是在我自己博客中，小伙伴也可以点阅读原文进行跳转查看，还有好听的背景音乐噢~ 前几天在做一个需求的时候，需要清理mysql中重复的记录，当时的想法是通过代码遍历写出来，然后觉得太复...

stormgens 2019-07-31 17:32 评论0 收藏0
SegmentFault 技术周刊 Vol.42 - MySQL：从删库到跑路

摘要：肖鹏微博数据库那些事儿肖鹏，微博研发中心技术经理，主要负责微博数据库相关的业务保障性能优化架构设计，以及周边的自动化系统建设。经历了微博数据库各个阶段的架构改造，包括服务保障及体系建设微博多机房部署微博平台化改造等项目。 showImg(https://segmentfault.com/img/bV24Gs?w=900&h=385); 对于手握数据库的开发人员来说，没有误删过库的人生是...

王陆宽 2019-08-06 14:09 评论0 收藏0
SegmentFault 技术周刊 Vol.42 - MySQL：从删库到跑路

摘要：肖鹏微博数据库那些事儿肖鹏，微博研发中心技术经理，主要负责微博数据库相关的业务保障性能优化架构设计，以及周边的自动化系统建设。经历了微博数据库各个阶段的架构改造，包括服务保障及体系建设微博多机房部署微博平台化改造等项目。 showImg(https://segmentfault.com/img/bV24Gs?w=900&h=385); 对于手握数据库的开发人员来说，没有误删过库的人生是...

YJNldm 2019-07-31 17:44 评论0 收藏0
SegmentFault 技术周刊 Vol.42 - MySQL：从删库到跑路

摘要：肖鹏微博数据库那些事儿肖鹏，微博研发中心技术经理，主要负责微博数据库相关的业务保障性能优化架构设计，以及周边的自动化系统建设。经历了微博数据库各个阶段的架构改造，包括服务保障及体系建设微博多机房部署微博平台化改造等项目。 showImg(https://segmentfault.com/img/bV24Gs?w=900&h=385); 对于手握数据库的开发人员来说，没有误删过库的人生是...

aboutU 2019-06-25 18:34 评论0 收藏0
MySQL必知必会：组合查询（Union）

摘要：本文参考必知必会工作实践融合组合查询定义在大多数开发中，使用一条查询就会返回一个结果集。在查询结果集中帮我们自动去除了重复的行重复的行是李四，把两条李四合并了。注意由于在多表组合查询时候，可能表字段并不相同。本篇文章主要介绍使用Union操作符将多个SELECT查询组合成一个结果集。本文参考《Mysql必知必会》+工作实践融合组合查询定义在大多数开发中，使用一条SELECT查询...

用户83 2019-06-27 15:07 评论0 收藏0