有熟 Spark 大佬么？ Spark 分析逻辑怎么验证正确性？

2019-04-26 20:32:14 +08:00
 leeg810312

第一次做大数据项目，用 Spark 写分析代码，现在客户要我们证明运算逻辑没有问题，海量数据要怎么验证啊？

3769 次点击
所在节点    编程
3 条回复
yangxin0
2019-04-26 21:43:34 +08:00
设计一个 FakeSpark 主要用作测试, 基于每个 action 做单元测试, 标记好输入和输出.
yangxin0
2019-04-26 21:45:02 +08:00
话说, 你设计的时候没有考虑到测试么?
leeg810312
2019-04-27 23:42:54 +08:00
@yangxin0 第一次做 Spark，用 Scala 写的，FakeSpark 的意思是做一个工具生成测试数据吗？另外一般单元测试是不能有外部依赖的，那么 Spark 的单元测试是要将所有的测试数据硬编码在单元测试代码里吗？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/559067

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX