 |
ltuxV2EX 第 43134 号会员，加入于 2013-08-04 18:25:36 +08:00今日活跃度排名 2517 |
我的 v2ex ID 是个回文数。
ltux 最近回复了
13 小时 8 分钟前 回复了 banyasmya23 创建的主题 › Android › 求推荐一个安卓手机，要求能 root 和刷机，性能不差，价格不要太高，性价比越高越好，屏幕不要太差就行，有高频 pwa 最好 |
@banyasmya23 定位不同。数字系列定位旗舰，各方面用料都是照旗舰标准做的。ace 系列主打性价比，SoC 作为主要部件其规格堆高，其他地方能省则省。
19 小时 22 分钟前 回复了 banyasmya23 创建的主题 › Android › 求推荐一个安卓手机，要求能 root 和刷机，性能不差，价格不要太高，性价比越高越好，屏幕不要太差就行，有高频 pwa 最好 |
一加上一代旗舰机：一加 11 。解锁无限制，LineageOS 官方支持 https://download.lineageos.org/devices/salami/builds
一加 12 目前没有可靠的第三方系统可刷。
一加 12 目前没有可靠的第三方系统可刷。
11 天前 回复了 revival83 创建的主题 › 问与答 › 你们有没有 app 图标强迫症，再好的软件图标不好看只能放文件夹里 |
不能接受的是一个 app 频繁更换图标上的文字用来打广告，每次更新换一次
12 天前 回复了 zheny2002 创建的主题 › 美酒与美食 › 求适合夏天的饮料/饮品推荐 |
冰镇白开水泡柠檬片
12 天前 回复了 drymonfidelia 创建的主题 › 程序员 › 要对单个 6.20TB 的超大 csv 文件保持顺序的情况下进行去除重复行，有什么好思路？显然不可能加载进内存 |
不能全部加载到内存，那没法用哈希表去重。
简单地归并排序，再顺序读取去重就完了。归并排序是稳定排序，可以保持行原来的顺序，也适合用于对超出内存限制的数据排序。
结果就是 gnu sort 就完了-_-，加 --unique 选项一步到位。
sort --stable --unique --output=OUTPUT.csv INPUT.csv
根据你 cpu 核心数量 N 加个 --parallel=N 选项就完
简单地归并排序，再顺序读取去重就完了。归并排序是稳定排序，可以保持行原来的顺序，也适合用于对超出内存限制的数据排序。
结果就是 gnu sort 就完了-_-，加 --unique 选项一步到位。
sort --stable --unique --output=OUTPUT.csv INPUT.csv
根据你 cpu 核心数量 N 加个 --parallel=N 选项就完
Select Language