V2EX › jamesyf 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

2016-11-12 12:16:28 +08:00

尽量多用 batching, 一次网络沟通多发几个信息，这样你的 network 效率比较高，硬盘性能也会好很多

基本思路：
1. producer type 用 async
2. batch.size 尽量调大
3. linger.ms 适当调大

2015-10-29 06:03:46 +08:00

你是写什么 hadoop 代码？如果是 java/scala 的 mapreduce 代码的话一般你可以使用 maven/gradle/ant 来做依赖管理，只要把这些东西陪好的话 intellij 就可以自动把对应的依赖拉下来做代码补全。