各位 spark 上用的语言是 Python 还是 scala

2017-11-28 07:08:04 +08:00
 ufo22940268

我们用的是 Python,但是 python 上还是少了一些功能,比如说 udaf

想问下大家用的是哪个语言,有没有必要从 python 切换到 scala

21072 次点击
所在节点    程序员
35 条回复
90928yao
2017-11-28 14:39:05 +08:00
@linuxchild scala 那 2 行肯定也可以。。。
linuxchild
2017-11-28 15:42:12 +08:00
@90928yao 发现打错字了,应该是 看同事。

哈哈,数了数,好像也没超过 10 行。

没接触过 Scala 和 Java 还是觉得好复杂啊 Orz
lszxlong
2017-11-28 16:19:04 +08:00
必须 scala,好像 scala 语言排名下降了..
90928yao
2017-11-28 16:27:24 +08:00
@linuxchild 感觉 scala 算是最复杂的语言之一了
secondwtq
2017-11-28 16:28:41 +08:00
@bigknife 学会 Haskell 还真不一定能通 Scala ...
https://zhuanlan.zhihu.com/p/27610478 来看这个
owenliang
2017-11-28 18:17:30 +08:00
大数据生态基本不离开 jvm,逼你上船。
bnbvb
2017-11-28 18:25:31 +08:00
@ufo22940268 <amp-youtube data-videoid="x7pkWlost64" layout="responsive" width="480" height="270"></amp-youtube>
bnbvb
2017-11-28 18:31:16 +08:00
@ufo22940268 <amp-youtube data-videoid="qul2B8iPC-o" layout="responsive" width="480" height="270"></amp-youtube>
Comdex
2017-11-28 22:11:48 +08:00
java
SlipStupig
2017-11-28 22:25:14 +08:00
python 跑 spark 巨难用,前段时间用 spark 读写 es, python 连 API 都没有
gyf304
2017-11-29 11:31:45 +08:00
scala. scala 比 python 效率高 如果要用 graphX 的话只能用 scala
lzhCoooder
2017-11-29 12:25:47 +08:00
pyspark 阉割版啊
xiaoshenke
2017-11-29 15:38:32 +08:00
有什么区别,不还是 spark。。。。。。。。。
swordspoet
2019-04-17 22:14:52 +08:00
Scala 给人的感觉就是这也可以,那也可以。
ivanchou
2020-03-11 15:03:14 +08:00
楼主能讲讲 Scala 相比于 python 的优势在哪里么?同时为什么 pass 掉了 java。在我看来写 spark 程序,scala、java 都跑在 jvm 上,差别会很大?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/410076

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX