请问 Java 大佬如何处理这种 rpc 调用问题?

[ngx4ss]

如题,公司用的是 motan /dubbo 之类的 rpc 框架

• 现在,我这边调用别的同事写的 rpc 接口 但每次只能处理 300 个,我这边数据总共有 300 万个
• 请问如何多线程异步消耗完这些数据 ? 用 mq 吗? 还是 FutureTask ?

[xuanbg]

这种情况，最好的办法就是你丢队列里面，他去慢慢消费。但总感觉你说的 300 万和 300 不是一个概念的东西

[ysweics]

你这边瞬间 300W 的数据请求过来，然后 rpc 调用处理，这肯定不行呀，如果真的瞬间 300W 的数据过来，rpc 调用不能处理，就只能像楼上说的，用 mq，然后慢慢消费，但是我总感觉你 300W 的说法有问题，最好在你这边把这 300W 的数据给处理一下，一般很少一下子有这么大的数据，提供方的数据太大了

[ngx4ss]

@ysweics #22 这边的 300W 数据是直接查询 mongo 数据库出来的

[sdushn]

听描述感觉 mq 可以解决啊，你放进去他自己慢慢取就是了，我之前也遇到过类似的问题，就是用 mq 搞定

[ysweics]

@ngx4ss 那你完全可以分批次处理，从 mongo 里面取的时候就一次少取一点，然后调用 rpc，感觉最好的办法还是 mq,然后多个生产者发送，多个消费者消费，这样并行处理，速度快些

[teek]

塞 redis ？ 300w 不多的。

[biaoliruyi]

spring 的 ApplicationEvent 异步事件 分页读再去请求 rpc

[cion]

就是生产者消费者的问题，消费太慢肯定需要一个缓冲区的，缓存，mq，数据库随便选。