搭建 [物联网] 数据中台

[RedBeanIce]

我们是一个 30 人不到的小开发团队。

目前选型数据库是 tdengine ，但是遗留了很多老系统有数据库 sql server ，mysql 等等

我们要将这些其他数据库的数据同步到 td 里面，我们查询了很多文档，类似 datax 方案，类似 flink cdc 方案，消息队列方案，流处理方案，数据库本身自带的主从方案。

请问一下问题：
1 ，我们选择 td 数据库有问题么
2 ，数据同步方案有推荐的么，我们目前准备使用 datax ，原因是他简单。
我们没有人维护 flink 大数据相关的集群，也没有人去维护消息队列的高可用。

[512357301]

只说一句，免费 0 预算不建议用国产，因为使用体验并不好。。。（文档缺失或不通顺，使用案例少）
0 预算建议用国外的，或者行业热门的，资料、文档多的。

[ZGame]

相比较时序数据库 我觉得关系型数据库+es 缓存 这种更方便把...

[Dream95]

没有信创要求，Postgresql+Timescaledb 吧更省事

[brant2ai]

@xueling 前段时间就看到你的项目，原来大佬就是你呀

[brant2ai]

TDEngine 只适合存放数据，到使用的时候还是需要 OLAP ，TDEngine 不太适合查询

[NoobPhper]

@RedBeanIce 看你的需求 , 第一个需求只要迁移数据就好了, 数据体量 还有 前端业务 是影响数据库选型的唯一标准,

第二个需求, 前置套个队列, 然后写个程序 处理 后转成 metrics , 放到 prometheus , 然后 配合 grafana embed dashboard ,你们前端开发量都能省一大半

[hero1874]

@RedBeanIce #5 这样看的话，可以看下 doris starrocks ，当然如果没有时序相关需求，有的话，这俩就不大合适了

[qiyilai]

@haimianbihdata 推测一下，这种类似的项目一般都是对接多种数据源，数据处理后展示在大屏，或者对接 bi ，以及做机器学习，数据挖掘分析之类的；会涉及到复杂的聚合查询，td 适合去对接传感器数据的存储，不适合做为数仓使用

[Karte]

td engine 虽然是很适合物联网数据, 但是极其不稳定, 很不推荐. bug 没人修, 版本升级问题, 驱动问题.

[raywong]

自建投入生产使用过一段时间的 TD ，当时使用的版本是 3.0.2.x ，碰到过好几个问题：
1. 乱序、重复写入数据会导致性能下降
2. 业务上是在 TD 的子表查询，某些子表出现过以下问题：
- 由于数据涉及到更新（覆盖写入），导致数据无法查询最新状态
- 查询总数量 COUNT(*) 失败
3. 3 个节点的集群出现过宕机，集群无法恢复工作
4. 数据设置了 TTL 后只是逻辑删除，数据还是保留在磁盘上，需要手动执行命令才会清空磁盘

-----------------------------

以上问题目前最新版本可能已经修复了（未关注）。由于是自建集群，碰到问题后只能升级版本解决，但是线上环境升级数据库是个风险很大的操作，而且不可能每次一有问题就升级版本，折腾了一段时间最后还是停用了 TD 。
选择什么数据库要考虑数据类型、数据量、数据写入、查询方式以及运维成本，如果 OP 想要自建，考虑好遇到问题要怎么升级版本。

[tuotuolala]

交给乙方

[MoYi123]

反正数据量这么小, 不如在 mysql 和 postgresql 里挑一个, 可以保证在数据库上一定不会出问题. 能用的工具也很多.

[janus77]

只查询不修改？我觉得这个需求后期大概率会变。我建议用主流的 mysql 。各种 feature 成熟，后期扩展性高

[QWE321ASD]

不可能不修改,我们也做过类似的,经常因为一些原因要修改数据

[QWE321ASD]

我们懒得搞那么复杂,就单纯一个 mysql 然后同步到 clickhouse 里面,一年多没事

[xuhui54]

先评估数据体量，qps ，数据情况、业务情况，再定技术。

[yinxs2003]

@qiyilai doris 是 olap 工具，当数仓的结果肯定是提桶跑路

[yinxs2003]

Datax 可以，挺稳定的，优势是不用开发，多种数据源接入数仓。td 没听过估计不太行。看你提到数据接入，那估计就得在 hive clickhouse es 这里选型

[VoiceEXONE]

如 append2 中的需求，你会选择直接拉取 TD 或者 influxdb 中的数据做分析还是 先把这些数据转存 OLAP （ postgresql ）进行分析？

[yinxs2003]

同意楼上，如果量不大，一个 clickhouse 是不是就能搞定