有没有老哥做过数仓或者数据中台，请教个问题

[voids]

公司最近推行数字化转型，要求建立一个数据仓库，统一产出所有项目的报告。但各项目使用的产品来自不同的第三方公司，没有 API 接入，日常报告只能基于导出的 Excel 数据。由于我不是技术出身，能想到的方案就是从各项目收集每天导出的数据，用脚本定时读取数据，上传到 MySQL 中，再用 MySQL 中的数据做可视化。想咨询一下在这种背景下，从“数据仓库”技术角度还有没有更好的解决方案？或者这样的需求有没有必要引入其他数仓的技术？

[aru]

数据就是干这活的呀
市面上很多数仓产品，大部分都是有定制化开发的，就看你们有多少预算做这个事情

[sss495088732]

oss+foreign table+bi

[sijue]

代码使用 httpClient 直接访问第三方公司页面 http 的请求，获取返回的 excel ，解析 excel 写入 mysql ，然后从 mysql 定时写入数仓

[hhjswf]

就这么点需求感觉没有数仓的必要，一般是考虑大数据量的实时或者离线计算才引入。

[xuelang]

最简单就是用 clickhouse 了，直接 Excel 导入 clickhouse 表，秒级分析。。

[voids]

@hhjswf 是的，这也我最近思考的，尤其了解了一些 Hadoop ，Hive 的基础，感觉不是很合适这个需求

[liprais]

你先把你想要的做出来
就知道怎么做了

[voids]

@xuelang 感谢，我了解一下。

[optional]

数仓=etl 工程师+报表工程师。
理想很美好，各部门都准备好数据。
实际很现实，数据都要自己去扣，自己找资源整合数据。

[voids]

@optional 是的，深有体会😂

[tensorzhang]

直接去找专业的公司就好了，例如神策之类的。能花钱尽量自己不动手

[sujin190]

这事看起来没啥复杂的，就是累人，图表显示还好，既有开源系统可以用各种云厂商也有，收集数据确实麻烦，一般也不标准化，或许可以看看各种 pra 工具能不能搞搞

[voids]

感谢各位老哥，我大概知道方向了。

[xuelang]

clickhouse + grafana / redash 都行，肯花钱就直接买云服务，不舍得就自己部署，也是很简单的

[vincent7245]

友情提醒 OP ，如果只有你自己维护这套系统，别弄太复杂，如果 mysql 这种数据库就能满足你的需求，那就用 mysql 。如果你们没有 BI 部门，没有专业的大数据开发，别搞数仓那一套东西，光运维这套系统就能累死你。

[qzwmjv]

你这个不需要大数据，合理的数据库就行了，就是需要 ETL 工程师写解析任务