 |
ltuxV2EX 第 43134 号会员，加入于 2013-08-04 18:25:36 +08:00今日活跃度排名 7272 |
我的 v2ex ID 是个回文数。
ltux 最近回复了
7 天前 回复了 revival83 创建的主题 › 问与答 › 你们有没有 app 图标强迫症，再好的软件图标不好看只能放文件夹里 |
不能接受的是一个 app 频繁更换图标上的文字用来打广告，每次更新换一次
8 天前 回复了 zheny2002 创建的主题 › 美酒与美食 › 求适合夏天的饮料/饮品推荐 |
冰镇白开水泡柠檬片
8 天前 回复了 drymonfidelia 创建的主题 › 程序员 › 要对单个 6.20TB 的超大 csv 文件保持顺序的情况下进行去除重复行，有什么好思路？显然不可能加载进内存 |
不能全部加载到内存，那没法用哈希表去重。
简单地归并排序，再顺序读取去重就完了。归并排序是稳定排序，可以保持行原来的顺序，也适合用于对超出内存限制的数据排序。
结果就是 gnu sort 就完了-_-，加 --unique 选项一步到位。
sort --stable --unique --output=OUTPUT.csv INPUT.csv
根据你 cpu 核心数量 N 加个 --parallel=N 选项就完
简单地归并排序，再顺序读取去重就完了。归并排序是稳定排序，可以保持行原来的顺序，也适合用于对超出内存限制的数据排序。
结果就是 gnu sort 就完了-_-，加 --unique 选项一步到位。
sort --stable --unique --output=OUTPUT.csv INPUT.csv
根据你 cpu 核心数量 N 加个 --parallel=N 选项就完
13 天前 回复了 northernsongy2 创建的主题 › 骑行 › 上班 23 公里，准备骑自行车上班了！祝我一切顺利 |
目的是减肥么？骑车燃脂效率不高呀
14 天前 回复了 windseeker 创建的主题 › 问与答 › 求助：卧室电视的选择 |
要求开机即用，那么国产品牌 pass 。只剩三星、索尼、LG 。建议去线下商场看看，开关机试试
Select Language