如何测试写好的 hadoop job

[bbx]

就想知道大家都如何测试的？
比如平常写好了一个pipeline，跑一次几个小时，为了避免逻辑错误之类的，都如何测试呢？
目前，我就自己写的一个driver，然后本地测。

[monkeylyf]

如果是用Java来调用Native API,个人现在的做法是把mapreduce写的尽量是纯函数调用而尽量避免mapper或者reducer里定义任何具体的逻辑. 这样外调函数可以用JUnit来测, Mapper/Reducer可以用MRUnit
总之是非常蛋疼的事情。。而且如果input数据比较脏的话一切皆有可能。。

[bbx]

@monkeylyf 你的做法也是我们组大部分其他人的做法. 但是有的时候想要测试一个pipeline的话，有很多个mr job，需要一个一个的运行，unit test总觉得不够好。
mrunit没试过，不知道真正用起来如何

[monkeylyf]

@bbx 做end-to-end unit test. 我自己写过脚本把这个pipeline的每个component都串起来然后测 这个脚本我自己写了半天 不知道有没有现成的工具 想想就蛋疼阿。。。

[wecoders]

使用小数据量进行测试

[bbx]

@wecoders ...这谁不知道..

[bbx]

@monkeylyf 貌似没有现成得。不过如果pipeline非常大，确实非常蛋疼。。

[monkeylyf]

@bbx 私以为这种工作量比写这个pipeline还要大 如果抽象出来可以给公司级别的 提供testing framework 说不定是个好主意和机会噢

[sqrabs]

都是写python代码通过hadoop streaming跑job，因为streaming是用stdin、stdout跟hadoop通信的，测试起来就直接通过stdin、stdout看输入输出就好，上层再封一层薄框架就更方便了