高压缩比引擎/数据库有啥好推荐?

2018-03-21 10:23:08 +08:00
 YYDL

游戏会记录许多日志(物品消耗、等级、经验等),这些日志是需要入库的

后续会做统计、查询,但是不会很频繁

日志量大不大? 这个看游戏成不成功....

1.我有考虑过 ELK,但是这种方式不太适合

2.尝试过 mariadb tokudb,使用默认压缩算法 zlib 3G 1000W 行的数据 load 到数据库后,数据+索引 1G 左右(infobright 300M 左右)


原来是一直用了 infobright 的社区版(7-8 年了),官方社区版很久之前就不支持了,老板也不舍得花钱买...

1665 次点击
所在节点    数据库
22 条回复
janxin
2018-03-21 11:03:16 +08:00
Terark ?
owenliang
2018-03-21 11:05:30 +08:00
试试俄罗斯人写的那个。
YYDL
2018-03-21 11:25:11 +08:00
@janxin Terark 刚去看了一下,非商业用途免费, 老板估计会拒绝
YYDL
2018-03-21 11:27:16 +08:00
@owenliang sphinx ?
feverzsj
2018-03-21 11:30:56 +08:00
硬盘都是白菜价,没必要在这种问题上浪费时间
YYDL
2018-03-21 11:35:22 +08:00
@feverzsj 说得也有道理...
limitsy
2018-03-21 12:26:47 +08:00
不是很理解。ELK 为什么不太合适?
swulling
2018-03-21 12:31:09 +08:00
高压缩比是 CPU 换硬盘,值不值就要看你的场景了
MeteorCat
2018-03-21 12:32:09 +08:00
我明确告诉你,数据量贼大!我们去年 10 月份开坑的一个游戏项目,用的 mongDB,现在单单活动数据量记录的库就超过 10G,游戏产生的数据量比传统的 Web 更大更密集,我们过年前加了 50G 硬盘内存,估计下半年又得加一次!
wooyuntest
2018-03-21 12:40:02 +08:00
看一半标题,我第一个想到的是马自达
akira
2018-03-21 12:41:35 +08:00
你一天的工资拿来加硬盘空间 已经够你们用几年了
xuyl
2018-03-21 12:47:39 +08:00
clickhouse, 列式数据库; influxdb,时序数据库
glues
2018-03-21 13:21:44 +08:00
创驰蓝天,高达 13 : 1 的压缩比
kkfnui
2018-03-21 13:36:53 +08:00
这个数据量也不大,几百 G 的数据也可以放在 MySQL 中,分库分表就是麻烦点。等到了那个量自然可以有对应的资源投入做事了。
zts1993
2018-03-21 14:10:05 +08:00
@glues #13 一定要这么皮么
YYDL
2018-03-21 14:22:04 +08:00
@limitsy 游戏研发好后,会代理给一些平台,各个平台的数据要独立分开,如果用 ELK,就会导致每个平台都要搭建一个
YYDL
2018-03-21 14:25:54 +08:00
@akira
@swulling
加硬盘确实是最快的解决方法
limitsy
2018-03-21 14:58:08 +08:00
@YYDL 那难道不是看你们服务器方案么?服务器都单独搭建了的话。ELK 单独搭建一套也不是什么事情吧?如果不分开。ELK 也可以使用区分 index 之类的方式啊。
sujin190
2018-03-21 15:20:38 +08:00
@MeteorCat #9 黑的可以。。肯定是吧 T 协程了 G 了,2333
sujin190
2018-03-21 15:26:01 +08:00
认真说起来,压缩比高的,使用时 cpu 压缩解压缩的消耗远远超过硬盘正常存储的消耗了吧,你要是弄几个 T,解压都又能要等一天,这还怎么用啊

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/439973

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX