假设每条日志包含一个五元组和一个时间戳,每天百亿级别。查询场景分两种:
- 查询访问某个目的 ip 的源 ip
- 查询某源 ip 访问果哪些目的 ip
目前想到的是直接怼进 es,有木有其他更好的方案?
假设每条日志包含一个五元组和一个时间戳,每天百亿级别。查询场景分两种:
目前想到的是直接怼进 es,有木有其他更好的方案?
1
kkjinping Mar 19, 2019 上 ELK
|
2
hbsfxlz Mar 19, 2019 HBASE,存 2 份或者做二级索引
|
3
zclHIT Mar 19, 2019 via iPhone HBASE,非常适合时序场景
|
4
moonfly Mar 19, 2019 via iPhone 每天百亿级别,这是什么场景下的网络行为审计?
|
5
murmur Mar 19, 2019 我也好奇楼主的场景 能达到日千万访问量的公司都不应该有这个问题 我们自己做电力的实时数据 数据量也才千万级 测点上万 都 达不到日百亿
|
6
HuHui Mar 19, 2019 via Android
这种场景来 V2EX 问?
|
7
jeffersonpig Mar 19, 2019
楼主是建墙的吗
|
8
Mac Mar 19, 2019 楼主是孟姜女的老公没跑了,大家开怼。
|
9
0ZXYDDu796nVCFxq Mar 19, 2019 via Android
记录的是『连接』,这个量级,gfw ?
|
10
saulshao Mar 19, 2019
楼主的问题听起来确实是 GFW 才有的......
|
11
zyp0921 Mar 20, 2019
请问是方校长吗?
|
12
berumotto Mar 20, 2019
细思极恐 楼主是干什么的
|
13
windfarer Mar 20, 2019
建议接入学什么强国
|
14
henglinli Mar 20, 2019 via iPhone
小心有诈
|
15
buhi Mar 20, 2019
这个数据量, 是监控强国人脑电波的系统吗?
|