为啥大部分大数据框架都是 Java based

2018-07-22 17:08:12 +08:00
 YuuuZeee

比如 Hadoop/各种 MQ/开源的 OLAP 引擎 Apache Kylin 系列。。。。

萌新特别想理解=-=当然不是引战 单纯的好奇 写了一段时间的 python 感觉在语义上比 Java 好很多诶。。。

7957 次点击
所在节点    Java
41 条回复
est
2018-07-22 23:11:38 +08:00
java 系的大数据工具没有一个能打的。C++毫无悬念碾压 jvm 系全家。

python 玩 db 引擎这种事是自不量力。golang 都悬。
feverzsj
2018-07-22 23:22:46 +08:00
真的海量大数据,核心还得靠 c++的,java 只能搞搞中小型的 data warehouse,而且 java 在容器领域水土不服,马上就要嗝屁
lsmgeb89
2018-07-22 23:26:55 +08:00
因为当初 Google 考虑再三没有开源他自家的黑科技,涉及到了 Google 的看家本领,如果开源了就没 Java 什么事了……
yanaraika
2018-07-22 23:40:55 +08:00
其实就是最早几个大佬抄 google 论文的时候用的是 Java,再加上刚好这几个大佬一开始用的是 Java。

如果都像 google 那样能够招到某个领域最牛逼的一批人,估计都会用 c++写。当然这也和 google 用 c++传统有关。

另一方面,以前觉得瓶颈在 i/o 所以用 Java 无所谓,这几年经过发展瓶颈又回到了 cpu,所以最新分布式的项目又渐渐用起 c++来了
pabupa
2018-07-23 00:27:03 +08:00
@bombless ??????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????????
luosuosile
2018-07-23 00:30:23 +08:00
所以 c++是最好的语言?
我再重申一遍,php 是世界上最好的语言?!!
streamo
2018-07-23 01:44:13 +08:00
@est 说性能 C++更好没问题,但至于 Java 不能打是怎么说?
linus3389
2018-07-23 03:44:09 +08:00
人多,社区大
030
2018-07-23 05:17:39 +08:00
脚本🐶人多势众是这样的
YuuuZeee
2018-07-23 08:20:36 +08:00
诶…可是不觉得 Java 如果不用 ide 自己想办法配置环境的话很麻烦诶
Allianzcortex
2018-07-23 08:21:43 +08:00
@yanaraika 因为万兆网卡和 SSD 已经成主流,又变成了 CPU bound,但 Hadoop 系早都成了事实标准,所以就很难受
ucanuup
2018-07-23 08:54:36 +08:00
主要是因为,Java 有很多顶尖大佬组成了强大的委员会 JCP,他们的大部分工作就是制定规范,比如各种 JSR 标准。
其他程序员只需要实现这些标准,事情就做好了。这样 各自实现的可以协同工作,或者被替换。

这是我作为 C++程序员在学习 Java 时想到的,为什么 Java 如此强大。

再回到你说的,Apache 基金会了解一下,都是大牛。

Java 是在做行业解决方案,而 Python 更多的是作为胶水语言使用。
est
2018-07-23 08:58:32 +08:00
@streamo 因为 apache 下面几乎所有的基于 java 的,用 C++改写之后都是 3-5 倍的性能提升。几百倍的也有
ucanuup
2018-07-23 09:07:03 +08:00
@ucanuup 补充一句,就是规范为什么重要,试想没有规范会怎么样,你想实现功能,你需要想很多情况,并且还不能兼顾到所有的情况,你也没有这么多经验,这几乎是必然的。现实中,各人的水平还有高低,没有规范也无法协作。而规范是大佬们给你指明了需要做什么,都很清楚。
lihongjie0209
2018-07-23 09:10:59 +08:00
@est #33 比如说?
ala2008
2018-07-23 09:22:16 +08:00
工程化,标准化,入门级别又不是 c++,so...
hiddendeerer
2018-07-23 09:47:00 +08:00
当然,java 是最出色的语言之一,但 PHP 是世界上最好的语言-飙理由:易学易用,工作岗位多,避开学院派竞争小,说不能搞大项目,我仔细一想,有几个大项目给我搞的,自身履历还进不了大厂,无非都是中小项目,够用了,说没追求,兄弟,路是一步步走出来的,打 BOSS 靠升级呀
ioth
2018-07-23 09:54:28 +08:00
中国啥都是一阵风,zf 又乱吹,什么大数据、物联网、云服务、5G,不懂装懂。
就是一简单技术。浪费我交的税。
numoone
2018-07-23 14:13:09 +08:00
我觉得更重要的是 Java 有成熟的商业推广和支持。
lolizeppelin
2018-07-23 16:59:22 +08:00
别 TM 吹 python 了...python 一个 int 占用最少 28 字节,用来密集计算找死啊

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/473093

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX