每天有百亿级别的五元组数据需要进行存储和查询，选用什么方案好？

2019 年 3 月 19 日
 chy373180

假设每条日志包含一个五元组和一个时间戳，每天百亿级别。查询场景分两种：

  1. 查询访问某个目的 ip 的源 ip
  2. 查询某源 ip 访问果哪些目的 ip

目前想到的是直接怼进 es，有木有其他更好的方案？

4263 次点击
所在节点    程序员
15 条回复
kkjinping
2019 年 3 月 19 日
上 ELK
hbsfxlz
2019 年 3 月 19 日
HBASE，存 2 份或者做二级索引
zclHIT
2019 年 3 月 19 日
HBASE，非常适合时序场景
moonfly
2019 年 3 月 19 日
每天百亿级别，这是什么场景下的网络行为审计？
murmur
2019 年 3 月 19 日
我也好奇楼主的场景 能达到日千万访问量的公司都不应该有这个问题 我们自己做电力的实时数据 数据量也才千万级 测点上万 都 达不到日百亿
HuHui
2019 年 3 月 19 日
这种场景来 V2EX 问？
jeffersonpig
2019 年 3 月 19 日
楼主是建墙的吗
Mac
2019 年 3 月 19 日
楼主是孟姜女的老公没跑了，大家开怼。
0ZXYDDu796nVCFxq
2019 年 3 月 19 日
记录的是『连接』，这个量级，gfw ？
saulshao
2019 年 3 月 19 日
楼主的问题听起来确实是 GFW 才有的......
zyp0921
2019 年 3 月 20 日
请问是方校长吗？
berumotto
2019 年 3 月 20 日
细思极恐 楼主是干什么的
windfarer
2019 年 3 月 20 日
建议接入学什么强国
henglinli
2019 年 3 月 20 日
小心有诈
buhi
2019 年 3 月 20 日
这个数据量, 是监控强国人脑电波的系统吗?

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/546238

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX