想问一道 Java 面试题，关于数据处理

[NeilMaster]

具体的题目内容是： 有 1TB 的数据，一秒钟只能处理 1MB ，问如何 10 内处理完

求助，各位大佬。谢谢啦

[NeilMaster]

第一次用 V2EX ，少打了一个，要求是 10 秒内处理完这个大数据文件

[dqzcwxb]

104857.6 个线程并行

[v2eb]

比我移动硬盘复制快

[ruanimal]

什么硬盘 1s 能读 100G ？

[cdlnls]

如果这个处理指的是”删除文件“，并且一秒只能删除 1MB

所以 格式化磁盘 / 删除分区，10 秒应该够了:)

[liangkang1436]

10s 处理 1TB 的数据？我想问问现在有什么硬件架构能做到这一点

[kkkkkrua]

确定是面试官说清楚了吗？
你反问他，一秒钟吃 1 粒米，怎么在 10 秒吃完一桶饭

[EarthChild]

@kkkkkrua 哈哈哈把他头砍了，往里倒

[knightdf]

这问题跟 java 没关系吧，我把 1TB 数据分成 N 份 1MB 数据然后用 N 个机器 1 秒就能处理完，沙雕问题

[NeilMaster]

@kkkkkrua 哈哈，我在准备一家公司面试，我在网上找到往期的面试题目。 我也是对这个题目很疑惑才来求问的， 目前来说很多人的建议就是开多个线程并行解决问题。

[NeilMaster]

@ruanimal 要走内存吧。我觉得

[NeilMaster]

@liangkang1436 我也不懂。。

[mortalbibo]

大规模分布式处理呗, 又没说限制机器数量[doge]

[NeilMaster]

@mortalbibo 嗯，谢谢指导，因该就是分布式处理

[blankmiss]

@knightdf 那硬盘不会卡 io 吗

[dog82]

脑残问题，就是空间换时间，哪有那么多玄学

[bthulu]

数据跟数据之间是互相独立的, 不用管前后因果关系的吗? 那就简单了, 阿里云临时申请 100 台 128 核心的按量付费的机器, 再建一条 100GB/S 的光纤专线到阿里机房, 把这 1TB 数据拆成 100 分发到这 100 台机器上处理就好了.