大数据下查询性能如何提高?

2013-04-24 00:58:38 +08:00
 fatkun
需求:
1.每天入库50万条
2.有group by的需求
3.group by的字段不定

这个是一个报表系统,目前看来只有分表的方法解决。但是分表后怎么查询又是一个问题,因为需要group by多个表的内容。


想看一下淘宝myfox的实现,但是技术不足,nodejs和php都不是很了解。而且myfox很久没更新了。。

各位有没有遇到类似的问题?
3193 次点击
所在节点    MySQL
4 条回复
fatkun
2013-04-24 01:22:53 +08:00
mysql cluster 是否可以解决这个问题?稳定性?
fatkun
2013-04-24 21:15:23 +08:00
木有人回复。。自己顶一下
VYSE
2013-04-25 01:46:52 +08:00
@fatkun cluster是为HA设定的,NDB性能远不如INNODB,坚持现有schema的话,只能推荐你使用PerconaDB。如果数据量总量不高,只是行数很多的话,不分表针对group by的字段加索引也没太大问题吧。
fatkun
2013-04-25 22:14:10 +08:00
@VYSE 总量应该有3000万以上的,目前group by的字段个数不定,可以用户自己选。。所以还不能做联合索引。。。 我看看perconaDB。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/66778

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX