以后的时代,大量数据都会存放在服务商提供的存储上了吗?那我们岂不是面对黑盒子编程?

2018-10-21 10:33:40 +08:00
 abcbuzhiming
这两天看到说 Hadoop 要死的新闻 。据说 Hadoop 已经落后,而大量数据存放在诸如亚马逊 S3、微软 Azure Blob Storage 和 Google Cloud Storage 上的话,成本据说比 HDFS 便宜 5 倍。但是作为一个比较传统的程序员,我有如下疑问:

* 如果所有数据都上了这些云,那我们不是在面对黑盒子编程?毕竟这些云的技术细节不会告诉你
* 在关系数据库时代,我们对数据还是有设计和掌控能力的,如果所有数据都上云,我们会不会失去这个技能?
* 以后是不是再也不可能自己在本地搭建在技术上对自己透明的大型数据处理系统了。这个能力又会重新回到巨头手里?

各位说说自己的看法
4415 次点击
所在节点    云计算
26 条回复
agdhole
2018-10-22 10:05:54 +08:00
@l4ever 电信机房在哪里找?能分享下路子吗
cyspy
2018-10-22 10:32:48 +08:00
Hadoop 死不了,虽然 MapReduce 快被替代了,YARN 能替代的就不多,HDFS 一个能完全替代的都没有。其他所有的框架基本都建立在 Hadoop 上
youxiachai
2018-10-22 10:43:52 +08:00
云最大的作用是临时扩容.........

没有临时扩容需求的..上云并不经济..
artandlol
2018-10-22 11:17:16 +08:00
@cyspy Ceph 能不能替代 hdfs 不清楚,但是比 hdfs 主流,分布式 hadoop 可以走的路不长,谷歌发力 cncf cncf.io ,也快吞并分布式的领域了。
artandlol
2018-10-22 11:28:29 +08:00

l4ever
2018-10-22 12:12:51 +08:00
@agdhole 因为接触互联网早,认识不少业内人士。现在租的 2k 佛山电信,酷狗,多玩也在这机房。为避免广告嫌疑,需要联系方式需要的话私信我一下。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/499574

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX