要对单个 6.20TB 的超大 csv 文件保持顺序的情况下进行去除重复行，有什么好思路？显然不可能加载进内存

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 751 days ago, the information mentioned may be changed or developed.

去重

顺序

文件

101 replies • 2024-06-08 02:13:43 +08:00

1 2

❮

❯

101

Keuin

Jun 8, 2024

@Keuin 没有保序，bugfix 一下。假设 csv 有 4 列，把 sort 替换成`sort -u -t, -k1,4 | sort -t, -k5`，把结尾的 uniq 删掉，变成：

```shell
awk '{print $0","NR}' input | sort -u -t, -k1,4 | sort -t, -k5 | sed -E 's/,[0-9]+$//' | uniq
```
不能假设列数的话，受这几个 shell 工具的限制，需要换一个没有出现过的字符做分隔符

1 2

❮

❯