如果有 33W 行文字，去重应该怎么写呢？

[daiqiangbudainiu]

比如有个 txt 文本，一共有 33W 行文字，以行作为单位，去重，我应该怎么写效率会比较高呢？

我目前用的普通的方法，发现耗时比较长

我列出我目前的方法

    with open('/Users/lizhao/Downloads/aboutchinese.dict.yaml') as f:

        for i in f.readlines():
            if i == '\n':
                continue
            if i not in oldList:
                oldList.append(i)

    with open('tmp.txt','w') as g:
        g.writelines(oldList)

代码渣，请轻喷

[l00t]

为啥不用 dict

[realpg]

33 万行 这么点数据还考虑啥性能……

[wspsxing]

hash

[ihciah]

list 查找是线性的似乎…换成 dict 或者 set 会好

[fy]

蛐蛐 33w 行，pandas 读入，drop_duplicates，导出，收工。

[vimiix]

我的话，可能会先考虑用集合 set，下面是伪代码思路：
values = set()
vals_len = 0

dest_file = open('dest_file', 'w')
with open txt:
for line in readlines():
val = hash(line)
vals_len = len(values)
values.add(val) #主要在这一步借助 set 的不重复特性，判断集合长度是否增长
if len(values) == vals_len+1:
dest_file.write(line)
dest.file.close()

仅供参考，没试验过。

[Guaidaodl]

list 的查找是 O(n) 的吧，整个复杂度是 O(n^2)。去重的时候不要用 list, 换成 set 就好了。

[em70]

直接 EmEditor 打开 TXT,工具->插件->删除重复行,搞定

[rrfeng]

这个题我最喜欢了：

awk '!a[$0]++' file.txt

[ytterbium]

这么小数据量，hash, map 都行啊。linux 的话就直接 sort -u，虽然不是最快的，不过简单省心。

[ytterbium]

@ytterbium 之前做 nlp 数据预处理去重过 5 亿多行的数据，偷懒用的 sort -u，多线程 1 天不到也就跑完了。30 几万行几秒的事。

[param]

转成 set 再转成 list 不知道行不行

[ytterbium]

@ytterbium 50 亿

[param]

list(set(open('/Users/lizhao/Downloads/aboutchinese.dict.yaml'))) 这样子？不知道性能如何。

[cljnnn]

用 set，set 自带去重

[ioven]

如果对流程没太多需要直接用 awk 更简单

[swulling]

awk dict

[wweir]

除了 hash，还可以考虑用排序的方法来做
如果 33w 仅仅是代表大（内存不允许）的话，还可以考虑利用一些磁盘排序的算法

[secsilm]

这也不大吧

[cxbig]

sort -u dict.yml
awk '!a[$0]++' dict.yml