请问 Java 大佬如何处理这种 rpc 调用问题?

[ngx4ss]

如题,公司用的是 motan /dubbo 之类的 rpc 框架

• 现在,我这边调用别的同事写的 rpc 接口 但每次只能处理 300 个,我这边数据总共有 300 万个
• 请问如何多线程异步消耗完这些数据 ? 用 mq 吗? 还是 FutureTask ?

[jiangjz]

for 循环?

[ngx4ss]

@jiangjz #1 不行的 ,一次性调用处理数据太多 就会 timeout 报错了

[gejun123456]

多线程同步调用呗

[boywang004]

让「别的同事」努努力？

[notreami]

丢数据库里，让 别的同事，自己取数据，自己处理。

[wdlth]

可以试试生产者消费者模式

[jason19659]

分组多次请求

[livepps]

要处理的数据，放到任务队列中，每次执行 300 个。
可以定时检查当前在执行的数量，不足 300 个，就执行新的任务；也可以做回调，就这样每次执行 300 个，直到任务队列为空

[ngx4ss]

@livepps #8 请问大佬 任务队列是 blockqueue ?

[billlee]

异步请求限制 on-the-fly 的数量？简单做的话用信号量就可以了吧

[BBCCBB]

你甩在 mq 里，他慢慢消费？

[veightz]

换我我选 mq

[dengtongcai]

消息 mq 吧，消费整个多线程，速度很快

[metrxqin]

能不能详细说明每次只能处理 300 个什么意思？ RPC 调用次数单位时间内不超过 300 次？ 如果是这样瓶颈在哪里？

还有就是 RPC 提供了什么功能？

[night98]

线程池就行了

[bobuick]

300w 数据，你场景应该不是 c 端用户的请求吧。
更像是 OTAP 场景了。你们可能应该要改改这架构设计了。

[lihongjie0209]

@ngx4ss #2 多了 timeout 意味着你同事的接口的处理能力可能就是 1000 左右, 你用多线程提交那就是 DDOS 攻击了

[mkeith]

你是怎么堆积到 300W 条数据的呢

[Kyle18Tang]

@metrxqin 估计是处理了 300 个以后，时间就差不多超时了

[misaka19000]

一次能处理 300 个，假如说你每一个请求需要 1 秒钟，我算了一下，把 300 万个处理完，只不过是用两个小时而已，这种时候你使用并发是没有用的，因为这个瓶颈在提供方那边，你没有办法进行处理