被强拉来做 Olap 系统,求大佬指点怎么搞

2019-11-20 09:43:55 +08:00
 pibicha

项目主要是从一堆数据中,加工出一堆报表展示到前端页面(柱状图、饼状图、桑基图、等等)。

我这完全不知道怎么开展啊... 有做过类似项目的大佬,能指点下么?


PS 说得不是很清楚 请见谅啊,完全不熟这种类型的项目;本来这个项目是找 BI 做的,BI 不做,强拉我进来。。

5671 次点击
所在节点    程序员
26 条回复
levelworm
2019-11-22 05:08:59 +08:00
这不就是 BI 么?首先分析需求,就是看有啥报告要出的,然后 ETL 进数据库做数据仓库,最后接 Tableau 或者 Power BI 出报告。Clickhouse 不熟,也许能够直接拿来用?我记得它本身适合做 OLAP。

Tableau 的话可能需要 ODBC Driver,Power BI 查了下应该也是如此。

这活可是我梦想的活,可惜没机会做。
levelworm
2019-11-22 05:12:27 +08:00
DWH 的话 PostgreSQL 怎么样?这也是免费的,不过不知道你们数据量,以及原先存储在哪里。
levelworm
2019-11-22 05:17:56 +08:00
@fireapp 同意,基本上这种系统都是两部分,一部分是 Monitoring 性质的,直接做成 Dashboard,如果效率不够高就要想办法预先 aggregate 等等。还有一部分是 Analysis 性质,其实不应该是楼主管,其他部门应该有 BA/DA,但是需要楼主做好数据仓库,否则查询起来要死了。
pibicha
2019-11-22 21:36:58 +08:00
@levelworm 我可能真不是这个领域的。。。 除了 BI 和 ETL 其他都没看懂(实际上我之前连 BI 和 ETL 是啥都不知道)
levelworm
2019-11-22 22:57:47 +08:00
@pibicha 我也不是 BI 的,是 BA。。。不过经常和他们接触就是了。你要出报表的话,肯定有需求对吧,有了需求就知道大体上目前的数据行不行了。因为很多时候原始数据查询起来特别麻烦,效率很低,所以这时候就要做成 OLAP,然后再写查询,最后进可视化软件。但是具体怎么做我也不懂,而且我印象中 Clickhouse 本身就是 column-based,适合做数据仓库,所以弄不好不怎么需要处理?
levelworm
2019-11-27 05:12:34 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/621254

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX