关于 spark 持久化问题

2016-07-18 02:24:05 +08:00
 SlipStupig
本人打算做一个比价软件打算用 spark 做 ETL 工具，想请教一下，如果用 spark 进行长期存储商品历史价格数据数据可靠吗？（会不会出现性能下降或数据丢失等情况？）
2050 次点击
所在节点    程序员
2 条回复
vietor
2016-07-18 05:54:57 +08:00
spark 只做运算不做存储。
Todd_Leo
2016-07-18 10:43:37 +08:00
可以存成 parquet file

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/293101

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX