请教如何删除 6 万 txt 中重复的行

[holinhot]

文本1中：

123.com.     3600    IN      SOA     ns1.dns.com. dns.dns.com. 1419473850 3600 3600 3600 3600
123.com.     3600    IN      A       2.2.2.2
123.com.     3600    IN      NS      ns2.dns.com.
123.com.     3600    IN      NS      ns1.dns.com.
123.com.     3600    IN      SOA     ns1.dns.com. dns.dns.com. 1419473850 3600 3600 3600 3600

文本2中

aaaa.com.     3600    IN      SOA     ns1.youdns.com. dns.youdns.com. 1419473850 3600 3600 3600 3600
aaaa.com.     3600    IN      A       11.1.1.1.1
aaaa.com.     3600    IN      NS      ns2.youdns.com.
aaaa.com.     3600    IN      NS      ns1.youdns.com.
aaaa.com.     3600    IN      SOA     ns1.youdns.com. dns.youdns.com. 1419473850 3600 3600 3600 3600

删除每个文本中重复的行
像文本1中

123.com.     3600    IN      SOA     ns1.dns.com. dns.dns.com. 1419473850 3600 3600 3600 3600

这行重复了去掉重复的一行

文本2中

aaaa.com.     3600    IN      SOA     ns1.youdns.com. dns.youdns.com. 1419473850 3600 3600 3600 3600

重复了 去掉重复的一行。
我也不知道为什么为有两条SOA记录 真是奇怪

[holinhot]

不能说固定删除第几行，这个行不通 因为每个域名的解析记录条数有多有少

[magicianzrh]

每读入一行 一行文字md5一下作为key，就可以检查了

[ksupertu]

uniq命令加管道重定向输出文件

[airqj]

sort -u

[ob]

话说搭个hadoop环境是否可行。。

[ob]

好吧，没注意这是python节点，请忽略我上面的评论。。

[ipconfiger]

@ob 6w行还需要动hadoop？
python读进来，"\n".join(list(set(f.readlines()))) 写回去就好了

[youxiaer]

如果不考虑原有顺序就比较简单了。
for i in `find ./ -name "*.txt"`; do sort $i | uniq > $i".bak"; mv $i".bak" $i; done

[staticor]

考虑顺序?
如果不考虑的话是用set() : uniqlines = set(open('/tmp/foo').readlines())
*Nix下sort <file name> | uniq

也有用dict的keys()的:

import collections

with open(infile, 'rb') as inf, open(outfile, 'wb') as outf:
outf.writelines(collections.OrderedDict.fromkeys(inf))


-----------------------------------------

要保持原顺序, 那就算一行一行读也能操作:
for ...
if line not in ... :
read_it



注: 我只是ST搬运工.

[holinhot]

@staticor
@youxiaer 顺序都不保持也可以。到时候导入数据库就好了
刚测试了一个 没有问题，现在还在执行中 感谢了 我自己查了半天 uniq还没看明白

[youxiaer]

@holinhot 保证顺序也是可以的。
for i in `find ./ -name "*.txt"`; do awk '!a[$0]++' $i > $i".bak"; mv $i".bak" $i; done

用上面的语句就行

[kimmykuang]

sort + uniq命令可以搞定的吧？

[GreenJoson]

Emeditor 打开10多W万行的文本都不成问题，删除重复行用他的插件~~瞬间的事~~

[atan]

sublime text 打开后 Edit>Permute Lines>Unique

[xiaoheshang]

直接sort |uniq -c |sort -r 解决

[duzhe0]

感觉你是想做个diff,把逻辑上相同的行批掉就行了
mv aaaa.com.log aaaa.com.log.backup
sed -i 's/^aaaa.com/123.com/;s/ns1.youdns.com. dns.youdns.com/ns1.dns.com. dns.dns.com./' aaaa.com.log
diff 123.com.log aaaa.com.log

[duzhe0]

弄错了， 不是mv, 是cp

[jianghu52]

up @GreenJoson 的做法，emeditor打开大文件绝对飞快。

[IssacTseng]

全部复制到excel，全选6W行数据
数据选项卡-数据工具栏目“删除重复数据”

[cbsw]

不要拘泥于工具，Python只是一种方便的编程语言而已，sort、unique两个命令干这事最合适了

Do the right thing with the right tool, never try to do everything with one tool.