黑洞照片数据交给码农处理？

[wzf611]

天文学家近日公布了第一张黑洞的照片，验证了广义相对论。

这张黑洞照片使用了 5PB 的数据。 https://globalnews.qq.com/article/20190411A02SMU00

一名参与该项目的 MIT 学生表示，“获得第一张照片将归功于为一个国际科学家小组，一个地球大小的望远镜和一个将照片最后完成的算法。” https://www.ted.com/talks/katie_bouman_what_does_a_black_hole_look_like/transcript?language=en#t-52468

跟码农工作最接近的就是“一个将照片最后完成的算法”。

具体到这个算法，根据介绍，关键是将分布在全球的 8 台望远镜数据整合到一起。 http://news.mit.edu/2016/method-image-black-holes-0606 Computational Imaging for VLBI Image Reconstruction https://dspace.mit.edu/handle/1721.1/103077

类比一下，这个工作有点像现在的双 /三摄手机，将不同摄像头采集的影像合成为一张照片。但数据量、计算量远远大于双 /三摄照片合成（类似于从 8 个角度拍摄的照片，每张照片 7000TB，最后合成为一张）。

我在想，如果把数据处理工作交给 IT 界，如何能够更加高效得完成这项工作？哪些工业界的技术（包括不限于计算、存储、通讯）能够应用到这项工作中？

[CEBBCAT]

歪个楼：先上个 Redis 把数据缓存了

[lance6716]

现在工业界的地位这么高了吗，都能超过 MIT 了

[murmur]

码农跨界天文学？
这照片的难度不是在数据量大
而是在 5pb 的数据找出能用来合成照片的部分
你合成出的照片又要好看还得科学

[whileFalse]

5PB 的量对于码农来说问题不大。

如 ls 所说，5PB 里面大部分是不需要的数据；首先要在每个文件中提取需要的部分，这一步可以滤掉大部分数据。第二步再把数据合并。

使用 AWS 或其他云处理 PB 级数据是有很多先例的。

[learnshare]

SETI@HOME https://setiathome.berkeley.edu/
Galaxy Zoo http://zoo1.galaxyzoo.org/
都是面向公众开放的项目，而且持续多年了

天文学是一门以观测为主的科学，数据处理是比较日常的工作。论编程能力，应该比 IT 界高出不少了

[celeron533]

楼主搞混了科学家、程序员和码农之间的区别
科学家 1 使用计算机：编写特定（甚至是目前市面上不存在）的算法，完成某种科学计算任务
科学家 2 使用计算机：写操作系统、数据库软件、并发处理调度机制软件等
程序员：依据业务和实际需求，编写业务或者业务相关的框架、工具、实用部分程序。比如写了在线商城、相关的中间件、数据库访问层等
码农：ctrl-c ctrl-v

[Sylv]

2017 年的 Ted 演讲《 How to take a picture of a black hole 》
<amp-youtube data-videoid="BIvezCVcsYs" layout="responsive" width="480" height="270"></amp-youtube>

[ipwx]

超算是性价比很低的大型科学计算设备，但也是最高效的。你工业界的并行计算只是权衡了成本和性能而已，一堆通讯开销。至于上超算，你可真是外行知道内行了，所以不要瞎起劲。

[yanaraika]

现代科学都是一个系统工程。cern 里几千位码农+一堆开源项目了解一下

[lyshine]

总结一句话就是班门弄斧, 祖师爷面前献丑. 自己有兴趣就玩玩. 你还 IT 界 ? 你知道你 IT 界的底层都是人家随手搞出来的吗

[youngxu]

笑死我了，你以为“ IT 届”、“工业界”在科学计算乃至技术领域比科研界厉害吗？

[youngxu]

WWW 只是 CERN 当年处理数据时随手创造的东西

[keith1126]

是不是太高估所谓的"工业界"了...残酷一点来说,不少人"学界"混不下去了才转去"工业界"

[across]

这是不是有点井蛙了，估计楼主都没看过计算机科学基础····

计算机、算法之类的，最开始就是科学家研究的一个工具，叫他们“码农”，好比说诺贝尔是个挖洞工人，因为他搞鼓出的炸药，然后经常被用在工程里··

[strive]

想多了，NASA 里面随便走出来一个工程师都可以秒杀一大片。说个段子，苹果和谷歌的人员招聘最害怕的竞争对手就是 NASA

[zzzzzzZ]

@youngxu

码农界差不多等同于科研界大佬随手创世时期打出来的一块破碎虚空里面的小界，修炼环境和修真天才都非常稀少

[IanPeverell]

你让码农去处理这些数据和让科学家去处理上千万级的并发的结果都是一样，就是浪费时间。不同领域的东西，即使你花费大量时间去解决了有什么用？做好自己领域的工作就得了。

还有工业界不如学术界……这就像造桥工程师和桥梁科学家一样，你理论性不代表你就能实际造出来；你造出来不代表你就能在理论上有所建树。当然，如果只懂得复制粘贴那种，那就是搬砖的工人吧。

[paperseller]

这次的黑洞照片合并算法就是由七楼给的 ted 演讲者 Katie bouman 领导编写的

[HackerOO7]

居然类比为多摄手机。。 基本的物理知识都不具备嘛

[zycpp]

高看程序员了