 |
yangxin0V2EX 第 35131 号会员，加入于 2013-03-03 15:25:18 +08:00今日活跃度排名 13188 |
yangxin0 最近回复了
8 小时 14 分钟前 回复了 drymonfidelia 创建的主题 › 程序员 › 要对单个 6.20TB 的超大 csv 文件保持顺序的情况下进行去除重复行，有什么好思路？显然不可能加载进内存 |
分治：
1 、用空间换时间（计算）
2 、用时间（计算）换空间
针对（ 1 ）有 spark 集群很快的，如果预算有限那么方法（ 2 ）：
1 、把数据分成 N 块，并针对 N 块内进行去重
2 、从 n 块中取一块，和剩下的 n-1 块去重，取这一块建立 hash or map 都可以，n-1 按照顺序读取
3 、从剩下的 n-1 块中又进行步骤（ 2 ）， 直到 n=0
4 、经过上述思路处理的 csv 就包含重复
1 、用空间换时间（计算）
2 、用时间（计算）换空间
针对（ 1 ）有 spark 集群很快的，如果预算有限那么方法（ 2 ）：
1 、把数据分成 N 块，并针对 N 块内进行去重
2 、从 n 块中取一块，和剩下的 n-1 块去重，取这一块建立 hash or map 都可以，n-1 按照顺序读取
3 、从剩下的 n-1 块中又进行步骤（ 2 ）， 直到 n=0
4 、经过上述思路处理的 csv 就包含重复
5 天前 回复了 qingshui33 创建的主题 › 生活 › 你有哪些 [这钱花的是真冤，真后悔] 的瞬间 |
我的 iPhone 贷款了 2 年，终于要还完了，抢首发其实真不好，等几个月真香。
42 天前 回复了 xboxv 创建的主题 › 奇思妙想 › 给大佬提个 真实刚性 需求（感觉可做副业）关于 html 网页标记 浏览器插件方向 |
Save As PDF and Annotate
42 天前 回复了 uselessVisitor 创建的主题 › 职场话题 › 想问一下月薪 20k 以上的生活是怎么样的 |
最开心的还是刚毕业的时候，拿到工资吃吃喝喝
42 天前 回复了 uselessVisitor 创建的主题 › 职场话题 › 想问一下月薪 20k 以上的生活是怎么样的 |
有孩子、没房贷、没车贷、没有任何消费欲望、以前还买 1k+的体恤现在优衣库新款一样拿一件。
73 天前 回复了 foru17 创建的主题 › 问与答 › 我的老婆确诊肺癌,希望能得到你的帮助 |
感谢
73 天前 回复了 foru17 创建的主题 › 问与答 › 我的老婆确诊肺癌,希望能得到你的帮助 |
老哥，看了你的帖子，我说实话被吓住了，回去就去医院检查肺结节。
85 天前 回复了 suqiuluck 创建的主题 › Windows › AI 需求，主机配置推荐， 2024 年准备 all in AI |
all in AI 至少 4090 起步吧，你这个配置最多 all in AI 学习。
Select Language