请教一个批处理的的问题

2020-12-16 22:40:05 +08:00
 findlisa

要用 srpingbatch 做批处理定时任务,把两个 a 表,b 表的数据查出来根据某些字段分组,每个分组里面的金额要求和生成一条记录,然后 a 表的某条记录的金额会根据某个字段去和表 b 的那条记录做差,写到另外一个 c 表去,求思路。

每个月大概处理 500w 数据

我目前是这样想的: step1 a,b 表数据先查出来,在 service 做金额分组求和,然后批量插入 c 表 step2 去 c 表批量拿那两个金额出来做差,再写入

但是 step1 会有个问题,比如统计完一批,到第二批的时候不能直接 insert, 要在数据库找到一样条件的字段查出来金额相加,再 update,这样一条一条查还叫批处理吗。。。。

1360 次点击
所在节点    算法
2 条回复
findlisa
2020-12-16 22:47:07 +08:00
有别的 思路吗,我感觉我这个好麻烦
Tumblr
2020-12-16 23:49:49 +08:00
看到标题还以为是 batch file 。。。超纲了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/736195

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX