mysql 做千万级数据去重,总卡死,求指导

2020-06-22 17:16:04 +08:00
 yida1313
之前发过帖子问数据导入的问题,现在导入已经 OK 了,数据量在 2 千万条左右,20 多列

我用 SQL 做去重,去重语句查过一些资料,用的表连接做了优化。
但 mysql 服务经常跑一半就停止服务了。。。成功的时候大约需要跑 10 来分钟的样子
有啥解决方法不,再次感谢大家!
2185 次点击
所在节点    问与答
7 条回复
littlepoem
2020-06-22 17:42:38 +08:00
看有没有日期之类的隐藏条件,分下表
1069401249
2020-06-22 17:51:14 +08:00
sql 发一下啊,比如 group by 可以用索引
poisedflw
2020-06-22 17:53:34 +08:00
表的创建 sql,还有你的查询 sql,不然没法帮你。
yida1313
2020-06-22 19:32:42 +08:00
@poisedflw 已补充。。感谢!
poisedflw
2020-06-22 19:50:40 +08:00
@yida1313 加个 key idx_optime_usercode(oPtime, userCode)?
marquina
2020-06-22 20:38:35 +08:00
谁能告诉我 sql 里的 m2 是哪冒出来的
oneoy
2020-06-22 22:28:14 +08:00
把时间换成时间戳会减少一三分一的查询时间

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/683818

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX