物联网大数据用什么数据存储方案

[daijinming]

如果要搭建物联网大数据平台，接收来自众多设备的时许数据，以及分析查询，预警等功能，这样的要求需要采用什么样的数据存储方案，sql 数据库还适用吗

[nnnToTnnn]

推荐使用 apache hadoop 当然 mysql cluster 也能支撑，但是生态没有 hadoop 的强，这是我了解到的

[chucongqing]

hdfs

[qihao]

influxdb、opentsdb 时序数据库

[daijinming]

@qihao 朋友这种数据库好用吗，相对 sql 而言

[netnr]

说个文件数据库方案，用 sqlite，按设备按日期分文件（夹）存储
可以用常规的关系型数据库存储设备列表，每一个设备所产生的数据，分文件夹，分月或周或天存储，分的颗粒度较小时，可以间隔一段时间生成中间统计（按天存储时，一个月完，生一张月统计表，一年完生成一张年表，方便后续查询统计）

[freeznet]

时序数据的话无脑推 timescale db

[huiyifyj]

hadoop 系列 HBase 数据库

[funky]

无脑 timescaledb +1

[daijinming]

@huiyifyj 听到 HBase 感觉好重呀，好上手吗，我们这边都是 SQL 数据库，真是有点闭塞了

[huiyifyj]

@daijinming #9
HBase 是列式数据库，与平常的数据库有些反向，所以只要懂过这之中的区别就应该可以上手。

[ccl945]

druid，clickhouse （来自一个大数据之神的建议）

[kifile]

看数据量级，每日大文件增量(GB 单文件)，上 HDFS.
小文件增量，数据总量 TB 级别，考虑分布式部署，使用 Greenplum,
小文件增量，数据总量 TB 级别，单机可以支撑，使用 ClickHouse

[kifile]

ps: 如果时序数据监控，influxdb 有一整套监控方案

[kifile]

就是开源版本不能分布式部署

[Ley]

可以看一下 Microsoft Azure HD Insights，他的文档里介绍了一些解决方案