MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
1 、由于业务需要，需要对接第三方的数据，如某个用户访问时会执行同步接口，之后按顺序对数据执行删除、修改和新增。目前增改都没有问题，但是删除会很慢，导致每分钟都会有好几条慢日志生成。
2 、该表数据目前是三百多 W 。
3 、目前的删除 sql 是 DELETE FROM order WHERE order_id IN () AND status IN ()，order_id 有几个到几十个不等，status 有几个。
阿里云 RDS 的慢日志（截取某一分钟）： https://imgur.com/S5N6w2v EXPLAIN 结果： https://imgur.com/dhCSC3a
4 、所作尝试 1 ）改用 select 所有主键 id 再 in 删除主键 id，发现执行时间更长 2 ）改用 delete where userid = 用户 id，发现执行时间更长 3 ）改用循环删除操作，CPU 顶不住
 |
duanxianzeJun 16, 2021
1
互联网公司，从不真正删除任何数据，打个标记也就行了，mysql 的数据结构删除本来就是慢，非要删除就每晚空闲的时候对打了标记的统一删除
|
 |
AngryPandaJun 16, 2021
2
4.3 + 异步删除？
|
 |
sunnyday123Jun 16, 2021
3
order_id IN () AND status IN (): IN 会让索引失效,应该是走了全表扫描.尝试去掉 in,status 和 order_id 建一个联合索引
|
 |
SmartKeyerrorJun 16, 2021
4
InnoDB 存储引擎的话，删除数据可能会造成 B+Tree 中存在数据空洞，如果不进行表整理的话，随着频繁的插入和删除，.ibd 文件可能会越来越大，导致 delete from 执行时扫描了许多原本已经删除的行。最好方法当然是使用 is_deleted 标志位，如果一定要进行物理删除的话，可以在删除之前将可能被删除的数据 select 到 buffer pool 中，然后在进行删除，相当于做了一层缓存
|
 |
lostSoulJun 16, 2021
5
还真有 delete 的？ 我们都是 update 的 如果数据太多 更新也会慢 上队列异步慢慢慢处理吧
|
 |
6
@sunnyday123 先查询出主键 id 的集合再 in 主键删除都不行。。
|
|
7
@SmartKeyerror 请问你指的是表的碎片率？
|
|
sunnyday123Jun 16, 2021
8
@aeo 只要有 in 索引就失效,orde_id =id and status in() 还是全表扫描,explain 看下扫描行数吧.
|
|
9
@sunnyday123 但是我在 4.2 也尝试使用过 where userid=用户 id 的条件，userid 是有设置索引，同样也很慢
|
|
SmartKeyerrorJun 16, 2021
10
@aeo13 对，从 EXPLAIN 的结果上来看，应该不至于这么慢才对，而且数据只有 300 万
|
|
11
@SmartKeyerror 查看了一下阿里云的表分析，表空间 3.04 GB，索引空间 943.88 MB，碎片率是 0.19%
|
 |
MoYi123Jun 16, 2021
12
看看触发器？ 我之前有个 nt 同事，会在表 delete 的时候，把整个表备份一次。
|
|
13
@MoYi123 没有创建任何触发器哦
|
 |
CEBBCATJun 16, 2021
14
你这个 EXPLAIN 是 EXPLAIN 的按主键删除吧？其他几种删除方法呢？比如你说的 STATUS IN () 的那个。
另外，建表语句可以给一下吗？ 如果表上的索引不少，我怀疑删除数据的时候也会被重建索引拖慢速度 |
|
15
@CEBBCAT
EXPLAIN 的是 DELETE FROM order WHERE order_id IN () AND status IN ()这个的 建表语句： https://imgur.com/undefined 是的，索引不少，数据空间 2.11 GB，索引空间是 943.88 MB |
|
16
@CEBBCAT 建表语句重新贴一下： https://imgur.com/2Nw4acp
|
 |
MoGeekJun 16, 2021
17
推荐一楼的方法，直接打标识就好。可以定期删除
|
 |
westoyJun 16, 2021
18
打 flag 然后半夜里定时清啊， 哪有生产环境在线硬删数据的......
|
 |
keepeyeJun 16, 2021
19
实在不行呢，可以按 status 来遍历删除，这样 order_id 索引大概能生效
DELETE FROM order WHERE order_id IN (?) AND status = 1; DELETE FROM order WHERE order_id IN (?) AND status = 2; ... DELETE FROM order WHERE order_id IN (?) AND status = N; |
 |
wolfieJun 16, 2021
20
@sunnyday123
只要有 in 索引就失效？上面不是贴了 explain 吗。 |
 |
beitayongguoJun 16, 2021
21
用 in 为啥会索引失效？
从 explain 看没啥问题 让 dba 帮忙抓包看看呢 |
 |
vindacJun 16, 2021
22
是不是在用多线程操作
|
 |
mydJun 16, 2021
23
创建联合索引 order_id, status
|
|
24
@myd 应该不是索引问题啊，查询后用 where 主键 in 删除都巨慢。。
|
|
25
@vindac 没有哦
|
 |
billccnJun 16, 2021
26
有其他表外键到这个表吗？如果其他表相应的列不做索引，删除的时候只有查全表才能确定外键是不是还有效。
|
|
27
@billccn 没有外键
|
 |
offswitchJun 16, 2021
28
@sunnyday123 有 in 索引就失效？这是哪门子的说法？ 4.0 以下才有这种情况。从上面抛出的执行计划上看是 range，走了 orderid，用了主键。
|
|
offswitchJun 16, 2021
29
阿里云的 RDS，是不是配置比较低呢？事务的问题，用定时任务一条条删除不行吗？
|
 |
rockyliangJun 16, 2021
30
感觉两个图片对不上，EXPLAIN 显示扫描行数是 1，但 RDS 慢日志显示扫描行数几千行。建议用 SHOW PROFILE 命令查看语句的详细执行情况，看到底慢在哪里
|
 |
huazaigeJun 16, 2021
31
大致思路：
可以创建一个结构一样的新表，把需要留下的数据 copy 到这张新表里，然后直接删除老表，重命名新表 1 、基于老表创建一张新表：create table order_new like order; 2 、把需要留下的数据 插入到新表里：insert into order_new select * from order where id>1 and id<=3000000; 3 、删除老表：drop table order; 4 、重命名新表：alter table order_new rename to order; |
 |
littlewingJun 16, 2021
32
300 多万数据就算扫全表也不可能 6s 多，除非你单行数据特别大（几十 MB 这种）
|
 |
rekulasJun 16, 2021
33
1 检查是否索引导致删除慢
2 分析下表试试 不清楚你 tps 多少 |
 |
pgfourwell2020Jun 16, 2021
34
@billccn 666
|
|
35
@offswitch 是的，配置较低。请问事务的问题指的是？
|
 |
LeiggJun 17, 2021 via Android
36
@aeo13 直接执行 delete from where order_id in order_ids...不可能慢吧，order_id 是有索引的，你创建组合索引来试试。
|
 |
raaaaaarJun 17, 2021
37
额，不都是软删除么
|
Select Language