V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 2934 days ago, the information mentioned may be changed or developed.
在使用 kafka stream 聚合时候如何指定间隔 1s 去聚合数据结果发送到数据库
e.g:
在一个时间段内
key1:{a:1,b:1:c:1}
key1:{a:11,b:1:c:5}
那改时间端聚合之后的结果就是
key1:{a:12,b:2:c:6}
翻看 kafka streams 的文档貌似没有找到解决办法
请问各位遇到过类似的问题么，在实时数据分析上，
e.g:
在一个时间段内
key1:{a:1,b:1:c:1}
key1:{a:11,b:1:c:5}
那改时间端聚合之后的结果就是
key1:{a:12,b:2:c:6}
翻看 kafka streams 的文档貌似没有找到解决办法
请问各位遇到过类似的问题么，在实时数据分析上，
 |
1
3a3Mp112 Apr 27, 2018  1
logstash 采集 kafka 的数据到 spark 里，scala 清洗一下然后再 jdbc 写到数据啊。
https://aiyanbo.gitbooks.io/spark-programming-guide-zh-cn/content/spark-streaming/index.html |
 |
2
funky OP 不借助 spark
借助 spark 的方案我之前实现了但是觉得只是为了数据分析而搞一大推东西 |
 |
3
timonwong Apr 27, 2018
kafka streams 没有 windowed aggregation?
|
|
4
funky OP 有的但是效果不是我想要的 它内部是个 changelog，每次窗口之后内部的 key 不会清除
|
|
5
timonwong Apr 27, 2018
 如果 tumbling window 不行的话，就有点反自觉了 |
Select Language