大表怎么进行数据归档

2020-07-06 22:10:45 +08:00
 awanganddong
现在表数据量大概在 1500 万左右，
现在设计是每 7 天对旧数据进行归档，
归档过程中还要尽可能小的影响业务。请求量最少时候在 1000qps 左右。
1642 次点击
所在节点    程序员
6 条回复
sherlockwhite
2020-07-07 00:08:11 +08:00
定时任务？
xuanbg
2020-07-07 01:54:22 +08:00
SQL 定时任务跑脚本啊，单次数据 1K 条以内基本不会影响正常业务。估算一下应该多久跑一次，留个 20%余量安排上就行。
cubecube
2020-07-07 02:05:26 +08:00
1000qps 那么，大表一天就超过 1500w 天纳克呀。。
cubecube
2020-07-07 02:08:48 +08:00
想成修改了，实际没那么多。归档弄成归档库得了，从库直接 select into
awanganddong
2020-07-07 09:02:55 +08:00
也就是我复制一份表结构做归档表，然后起 sql 把数据写到归档表，最后删除原表的数据，只保留七天内的。
这时候存在问题就是原表数据其实还是存在的
cyspy
2020-07-07 10:57:24 +08:00
binlog 同步过去

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/687703

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX