千万级数据,数据库优化方向有哪些

2020-04-03 08:12:15 +08:00
 cnbattle

情况说明:目前使用 MySQL, 四个字段,低频短时间大量写入百万到千万,中等更新需求两分钟左右一次几十条数据,正常的范围查询需求

分库分表 ,但范围查询会有些不方便

或使用别的啥数据库更适合这种场景

4387 次点击
所在节点    问与答
26 条回复
ebony0319
2020-04-03 08:15:31 +08:00
hbase,但是灵活性下降一点。
MiaRunis
2020-04-03 08:18:15 +08:00
钱多要省事直接上 aws aurora/polardb,疼逊云的 cynosdb 没人用过不知道啥情况。这几个都读写分离,阿里直接上了 rdma,操作层面不改靠性能硬撑,大多数情况不需要再分表
aec4d
2020-04-03 09:07:35 +08:00
如果查询语句很简单,没有事务要求可以上 ES, clickhouse 这些
virusdefender
2020-04-03 09:32:02 +08:00
tidb 加队列异步写入
opengps
2020-04-03 09:33:40 +08:00
如果必须用关系型,看下我的这篇分享: https://www.opengps.cn/Blog/View.aspx?id=284&from=v2ex
线上业务实际承载到过每秒 1500 写入,表分区单表总行数 15 亿。没到瓶颈不过后来改 nosql 了
dalibaxiaoliba
2020-04-03 09:42:36 +08:00
支持一下 TiDB,兼容 Mysql,加上最新的 Tiflash,速度可以的
xyjincan
2020-04-03 10:16:04 +08:00
现在有啥存在的问题
idblife
2020-04-03 10:24:41 +08:00
oracle 分区表
这数据量太小了
xsm1890
2020-04-03 11:00:29 +08:00
千万级别 mysql 压力应该也不算特别大吧。按时间分区,索引合理的话应该不会很慢
fancy111
2020-04-03 11:04:37 +08:00
亿级再说吧
gz911122
2020-04-03 11:04:56 +08:00
千万级别 mysql 也没太大压力
正常用就行了
optional
2020-04-03 11:12:54 +08:00
放队列慢慢写呗。 或者来个 cssandra hbase
tairan2006
2020-04-03 11:14:05 +08:00
你这写的啥,时序数据的话,可以用时序数据库
bnm965321
2020-04-03 12:39:04 +08:00
放队列,然后 batch insert/batch update
cnbattle
2020-04-03 13:50:04 +08:00
@fancy111 有个表已经 17 亿了 2333...
cnbattle
2020-04-03 13:53:29 +08:00
@xyjincan 查询慢
hbolive
2020-04-03 14:05:54 +08:00
确实,千万级别 mysql 其实没啥压力的。。
zclzhangcl
2020-04-03 14:12:23 +08:00
千万?没有复杂查询,到 5 亿也没问题
cnbattle
2020-04-03 14:20:17 +08:00
@zclzhangcl
@hbolive
大佬 ,你们 mysql 架构大概什么样的自己搞得还是用云的, 公司这样目前是用阿里云 rds mysql 4c8g 的高可用版上
meeop
2020-04-03 14:45:15 +08:00
千万级别 mysql 都不用分表
我司规范是 mysql 单表最大 10 亿
另外 tidb 是最多快好省的方法

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/658863

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX