新系统做大数据解析是否需要上 hadoop

[dimingxuan]

求助，公司新建一个系统，几十亿条数据，需要业务人员能写一些简单的规则做一些数据离线筛查和判断，每天新增数据几万条。数据现在都在 MySQL 做的数仓。

规则编写想用 drools ，现在遇到了数据读取大的问题，需不需要上 hadoop 全家桶？还是简单一点，spark➕HDFS 、Hive➕drools 。对大数据了解不多，请大大们提提建议

[v1]

怎么简单怎么来，解决问题最重要，一切为了业务。
不然就是这个流程：
写方案->做调研->得结论->报领导->开会议->扯预算->被优化

[guo4224]

几十亿看看 es 就行了吧

[includewins0ck2h]

duckdb 感觉轻轻松松

[dododada]

clickhouse ，只要更新不大没什么问题，hadoop 有点重

[colincat]

drois 轻轻松松

[springz]

这么一点点数据，duckdb 还没热身。或者存成 Parquet 文件，爱用啥用啥。

[springz]

看自己情况，公司资源丰富的话夸大一点，多争取点资源练手也行。不过建议不要上 hadoop 的船，淘汰了的玩意。

[cutiechi]

大数据已死

[tf2]

看你是求快速解决问题，还是扩大团队编制

如果求快现在 10 亿量级单机轻松跑

但是单机肯定不可能给你配几十条人的大数据团队。

[ptaooo]

不建议 hadoop ，太重了，维护成本也不低

[masterclock]

才这么点数据，上个毛线 hadoop

[leeg810312]

小团队直接用 doris 或 clickhouse 好了，几台机器做集群。Spark 现在没有可用的开源集成套件，CDH 早就不更新不提供支持了，自己搭建得有人自己会维护。

[CoderGeek]

clickhouse

[user1284]

我推荐 clickhouse, 部署简单文档完善, 对比竞品非常清爽

[min]

单机 duckdb ，分布式用 doris 系即可

[tabris17]

clickhouse+1

甚至 postgresql 都可以

[user1284]

@tabris17 那我用 clickhouse 里面建一个 pg 引擎表岂不是两手都抓?

[dapen]

离线分析随便玩吧，感觉不重就行

[cando]

StarRocks

[bronyakaka]

1 、如果不需要模糊搜索，上 clickhouse ，适合各种分析统计
2 、如果需要搜索，上 ES ，其实也支持分析统计，不过性能稍弱
3 、单机的话，这俩部署都比较简单。几十亿数据单机足够
4 、如果觉得上面俩还是太重，试试 duckDB ，10 亿级问题不大