公司的数据量越来越大了

2019-07-01 18:28:19 +08:00
 v2eb

一张 mysql 主表有三千万数据量,这才刚开始,后期数据量会更多,v 友有什么建议吗

9381 次点击
所在节点    程序员
46 条回复
watsy0007
2019-07-02 01:43:35 +08:00
tsdb 了解下.
ETiV
2019-07-02 05:15:04 +08:00
#17 +1

5 年前供职的公司就是这种情况:
MySQL、每天一个表,每天一千万行数据,遇到推广可能两三千万,收集客户端上报的数据
每天零点过就把线上数据拉下来算一下当天的新增、日活这些指标
同时客户端还会冗余的向百度统计上报数据,作为一种参考手段
ihipop
2019-07-02 07:20:28 +08:00
用 tidb,告别分库分表
jaskle
2019-07-02 07:28:09 +08:00
一个字:删
feiyunruyue
2019-07-02 09:09:03 +08:00
Tidb 搞起吧,兼容 mysql
chaleaochexist
2019-07-02 09:09:51 +08:00
妥妥大数据.具体用啥咱也不懂.
好像 ES 是最简单的.
opengps
2019-07-02 09:11:38 +08:00
挺好,能遇到这类问题真的可以快速提升自己的架构水平
Aresxue
2019-07-02 09:20:22 +08:00
我们公司用的是 ES,算是比较简单粗暴的做法吧。我很羡慕这样的机会。
alpha2016
2019-07-02 09:21:22 +08:00
es 吧,我知道个 mysql 到了瓶颈,然后上 es 的
HunterPan
2019-07-02 09:43:48 +08:00
类似的日志数据 就不需要 mysql 了
laojiaqing
2019-07-02 09:49:16 +08:00
@icekingcy 请问下 es 是什么
fengxianqi
2019-07-02 10:09:17 +08:00
@laojiaqing #31 我一个前端,猜一下是指 Elastic Search
sujin190
2019-07-02 11:17:47 +08:00
@ETiV #22 如果纯统计数据完全没必要落数据库吧,直接队列,实时计算,之后文本存储就行了,写入速度快性能好,就算之后有其他统计需求,读文本也比读 mysql 快多了
tiedan
2019-07-02 11:30:27 +08:00
直接每天一张表即可
salamanderMH
2019-07-02 11:38:00 +08:00
如果可以,试试 tidb
chrisliu1314
2019-07-02 12:13:35 +08:00
不知道是什么业务场景,无法分析。
分布式数据库 tidb,可以了解一下,没用过。
如果是数据分析的话,那就用 hive 表。
ducklyl
2019-07-02 12:23:38 +08:00
要求加薪,然后,就有解决方案了
PerpetualHeng
2019-07-02 12:27:15 +08:00
数据量大,增长慢,用分库分表。
你这是数据量已经大了,但是增量也大,后面无法预估,传统 db 已经不能解决了。
搜索引擎(ES),或者 HBase。
kim01
2019-07-02 12:43:56 +08:00
mongo 数据库,一天 8000W+数据。搞了一伙按月分表按小时存,简直就是洒洒水一个月也就 5000W+左右了
linxiaoziruo
2019-07-02 14:40:34 +08:00
如果坚持使用 MySQL 的话,建议了解一下 MySQL 的分区功能,专做历史数据处理的。如果用 mongo 的话,建议了解一下 mongo 的分片功能,专做大数据的,如果是 es 的话,如果只做统计,建议使用,如果频繁增删改查,我建议不要用 es,会有很多数据不一致的坑出现。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/579045

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX