Java 问题请教,优化双重 for 循环执行效率

2021-04-05 21:08:02 +08:00
 Cyzc

有两个集合,取集合中对象的经纬度,计算两者之间的距离。 之前写的是双重 for 循环遍历,然后取两对象的经纬度计算距离然后落库。但是现在数据量太大了 一个集合是 20000+,另一个集合是 50000+,这样要计算 10e 次,请问有啥优化方法吗?

1646 次点击
所在节点    问与答
13 条回复
tairan2006
2021-04-05 21:15:17 +08:00
并行算啊……map reduce 不都老生常谈了
godlovesxcjtest
2021-04-05 21:23:41 +08:00
java8 开始的 stream 可以用一下:parallelStream 可以并行计算,算是一种优化的思路
Cyzc
2021-04-05 22:00:39 +08:00
@godlovesxcjtest
谢谢老哥,感觉 parallelStream 效率还是不够高,感谢
Cyzc
2021-04-05 22:01:17 +08:00
@tairan2006
没接触过 mapreduce.....
jmc891205
2021-04-05 22:07:40 +08:00
这两个集合每次都是全新的?还是说其中有一些数据是老的不变的?
直觉上你应该从系统设计上去考虑如何避免重复的计算
Cyzc
2021-04-05 22:21:07 +08:00
@jmc891205
老哥,没有重复数据,相当于就是计算 10e 次。。。
yeqizhang
2021-04-05 22:48:59 +08:00
落库啥意思? 10 亿全存了?这需求是什么啊?
akira
2021-04-06 02:00:30 +08:00
先弄清楚你需要的结果是什么,是 10e 个结果么,应该不是。
不是的话 那就要根据具体情况具体分析了呀
是要最近的 2 个点的距离,还是最远的,还是什
uselessVisitor
2021-04-06 08:26:04 +08:00
有顺序要求吗?没有就起多线程算
zqjnew
2021-04-06 08:59:39 +08:00
1 、 确定计算精度, 将经纬度合为 一大范围后的 值
2 、并行计算, 讲集合的数据均分成 CPU 数量个线程处理
3 、用 CUDA 或 GPU 进行计算
xxxyh
2021-04-06 09:51:52 +08:00
不清楚需求的背景,猜测一下是想一次计算所有结果存下来以后直接查。如果是这种情况的话,反正只跑一次,就不用太在意计算的过程,反正 10 亿次的计算是少不了的,落库比较慢,至少比计算慢得多。基于这个前提,不如花时间想想后面的查询怎么优化
dqzcwxb
2021-04-06 11:23:06 +08:00
动态规划+并行
cubecube
2021-04-06 16:18:11 +08:00
你这个需求应该不完整,经度和纬度的集合不可能无脑组合都是合理的?首先要找出方法确定在第一个集合经度已知时,第二个集合的取值范围
不然怎么优化都是暴力算。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/768173

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX