在意查询速度,并且也会实时写入的场景,如何选择数据库?

2016-05-23 11:17:29 +08:00
 pengpotter

各位好,请教一个问题

我现在有一个使用场景,就是我们的系统会实时的获取一些数据,然后把数据存储起来,另外的一个服务,会频繁的调取存储的数据做分析,数据的调取是从全部数据里面根据关键字来查询的

这样的使用情况,如果使用 mogodb 适合吗? 还是 redis 或者 MySQL ?或者用其他的方案?

谢谢

1420 次点击
所在节点    数据库
13 条回复
knightdf
2016-05-23 11:32:31 +08:00
elasticsearch
NullMan
2016-05-23 11:33:36 +08:00
这种小任务, 用文本文件就行了. 一行行存储, 一行行读取, 再用上文件锁机制, 查询的时候, 用正则表达式进行匹配即可. 哪里用得上这些庞大怪物的数据库嘛.
9hills
2016-05-23 11:35:00 +08:00
没有量化数据就是刷流氓。

等下面的同学各种推荐后, lz 加了一个条件,需要实时存储 PB 级数据。。分析频率几万 QPS
wjself
2016-05-23 12:11:59 +08:00
@9hills PB 級(゜-゜)w 級 QOS … QAQ
fredcc
2016-05-23 13:25:29 +08:00
@9hills 也有相应服务可以择的,就怕说不清需求
9hills
2016-05-23 13:28:25 +08:00
@fredcc 然后 lz 来一句,预算 10w ,请满足。。 @@
gefranks
2016-05-23 13:29:52 +08:00
用过 mongodb 的请举手,哗啦,手全举起来了.现在还在用 mongodb 的请举手,哗啦,手全放下去了
ayaseangle
2016-05-23 13:30:03 +08:00
月经贴。。。
fredcc
2016-05-23 13:41:33 +08:00
@9hills 套路很熟悉嘛(・_・;)
fredcc
2016-05-23 13:44:02 +08:00
正经点说,看起来像日志实时收集分析的需求,业界是 kafuka 汇聚后多订阅消费比较多吧, AWS 上有类似的托管服务 kinesis ,关键字简单的话应该可以直接抽取。复杂的需求就是大数据分析了
realpg
2016-05-23 17:25:09 +08:00
全世界 95%的 PHP+MYSQL 的程序都跟楼主的差不多
shiny
2016-05-23 17:30:56 +08:00
@gefranks 还在用,原因是懒得迁移。但迟早要把它迁走
m939594960
2016-05-23 17:37:14 +08:00
@gefranks 大概说下是为什么被。。 我最近也准备研究 mongodb

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/280584

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX