我跟你们说, UCBerkeley 做了个牛逼的 Python 分布式计算框架,上灭 Spark 下踩 MapReduce

2018-01-19 22:53:51 +08:00
 est

标题只是打个广告。。。。灵感来自逼乎问题: 如何看 UCBerkeley RISELab 即将问世的 Ray,replacement of Spark ?

项目在 github

https://github.com/ray-project/ray

里面有个 plasma 组件挺好用的。 zero copy 的共享内存对象存储引擎。

https://arrow.apache.org/blog/2017/08/08/plasma-in-memory-object-store/

5009 次点击
所在节点    Python
5 条回复
privil
2018-01-19 22:55:10 +08:00
前排围观,现在学 python 还来得及么,哈哈哈
nooper
2018-01-19 23:13:54 +08:00
我用过了。看下性能。并没有那么理想
bbx
2018-01-20 05:31:05 +08:00
没仔细看,不过看到说用 arrow,如果 zero copy 是卖点,那么没啥新奇的,spark 也用了 arrow
janxin
2018-01-20 07:35:18 +08:00
看了下是分布深度学习框架?这个好像和 spark 差得远了点?
rogerchen
2018-01-20 21:53:15 +08:00
ray 是基于 actor model 做强化学习的分布式框架,框架确实解决了不少分布式机器学习的痛点。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/424381

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX