请教如何删除 6 万 txt 中重复的行

[holinhot]

文本1中：

123.com.     3600    IN      SOA     ns1.dns.com. dns.dns.com. 1419473850 3600 3600 3600 3600
123.com.     3600    IN      A       2.2.2.2
123.com.     3600    IN      NS      ns2.dns.com.
123.com.     3600    IN      NS      ns1.dns.com.
123.com.     3600    IN      SOA     ns1.dns.com. dns.dns.com. 1419473850 3600 3600 3600 3600

文本2中

aaaa.com.     3600    IN      SOA     ns1.youdns.com. dns.youdns.com. 1419473850 3600 3600 3600 3600
aaaa.com.     3600    IN      A       11.1.1.1.1
aaaa.com.     3600    IN      NS      ns2.youdns.com.
aaaa.com.     3600    IN      NS      ns1.youdns.com.
aaaa.com.     3600    IN      SOA     ns1.youdns.com. dns.youdns.com. 1419473850 3600 3600 3600 3600

删除每个文本中重复的行
像文本1中

123.com.     3600    IN      SOA     ns1.dns.com. dns.dns.com. 1419473850 3600 3600 3600 3600

这行重复了去掉重复的一行

文本2中

aaaa.com.     3600    IN      SOA     ns1.youdns.com. dns.youdns.com. 1419473850 3600 3600 3600 3600

重复了 去掉重复的一行。
我也不知道为什么为有两条SOA记录 真是奇怪

[USCONAN]

sort uniq

P.S. 論起標題的嚴謹性和歧義的產生

[leavic]

sort|uniq

done

[shierji]

python cookbook里面有介绍保持顺序的去重方法

[carmark]

bloom filter 值得研究
用这个工具处理500g数据都没问题，当然有一定错误率

[GreenJoson]

@holinhot 把6W多个合并成一个，然后用emeditor 就行~~

[KoleHank]

每一行读出来了往redis里面一塞可行不？

[rrfeng]

不需要保证输出顺序的话：

awk '!a[$0}++' file1 > file1_output

如果要合并去重的话
awk '!a[$0]++' file1 file2 file3.... fileN > all_output


----------
一个合格的运维从来不用 sort -u 23333

[LuciferSheng]

果然都是程序员，我的方法是导入到 excel - 删除重复项...

[withboost]

第一反映是用 excel

[ShunYea]

@LuciferSheng 我想到的第一个方法也是这个。

[zts1993]

为什么没人用redis

[Battle]

那么多用编程解决的都编得定势思维了？用个excel一下子就行

[geeti]

cat|uniq > xx不就行了。。。。

[20150517]

来说个上T的情况怎么处理的办法,把这个弄进hdfs,开hive,来个row_number函数partition by重复的列,几T数据也帮你处理下来

[ryd994]

@geeti uniq前须先sort
@Battle bash cat sort uniq打字10秒顶天了
唯一怕内存不够。不过如果内存不够的话，excel也一样，就只能上数据库了。

[ibolee]

导入excle中滤重可能不？备份下试试。

[s51431980]

ls *.txt | xargs -I{} bash -c "sort -u {} > {}.bak ; mv {}.bak {}"

[hicdn]

awk '!a[$0]++' *.txt > new

[lzg]

你这个TXT应该是从SQL中导出的吧。在SQL中就很好做了。
你直接Select distinct再导出TXT。

[holinhot]

@touch 不去重用api不行