请教如何删除 6 万 txt 中重复的行

[holinhot]

文本1中：

123.com.     3600    IN      SOA     ns1.dns.com. dns.dns.com. 1419473850 3600 3600 3600 3600
123.com.     3600    IN      A       2.2.2.2
123.com.     3600    IN      NS      ns2.dns.com.
123.com.     3600    IN      NS      ns1.dns.com.
123.com.     3600    IN      SOA     ns1.dns.com. dns.dns.com. 1419473850 3600 3600 3600 3600

文本2中

aaaa.com.     3600    IN      SOA     ns1.youdns.com. dns.youdns.com. 1419473850 3600 3600 3600 3600
aaaa.com.     3600    IN      A       11.1.1.1.1
aaaa.com.     3600    IN      NS      ns2.youdns.com.
aaaa.com.     3600    IN      NS      ns1.youdns.com.
aaaa.com.     3600    IN      SOA     ns1.youdns.com. dns.youdns.com. 1419473850 3600 3600 3600 3600

删除每个文本中重复的行
像文本1中

123.com.     3600    IN      SOA     ns1.dns.com. dns.dns.com. 1419473850 3600 3600 3600 3600

这行重复了去掉重复的一行

文本2中

aaaa.com.     3600    IN      SOA     ns1.youdns.com. dns.youdns.com. 1419473850 3600 3600 3600 3600

重复了 去掉重复的一行。
我也不知道为什么为有两条SOA记录 真是奇怪

[holinhot]

@prinzchao 这个厉害 你手动从6w txt复制到excel?

[chengzhoukun]

用SQL也可以吧

[chengzhoukun]

用SQL

[holinhot]

@GreenJoson 不是10w行吧。是6w个txt 每个txt大概10来行

[holinhot]

@chengzhoukun 最终用api入库

[MarioLuisGarcia]

vim里 :sort u
搞定！

[tikazyq]

cat <filename> | sort | uniq >> unique.txt

6万行数据不算大，直接unix操作就ok

[IssacTseng]

@holinhot 临时处理某个文档数据当然可以这样啊，6W行数据对现在的电脑配置来说毫无难度吧。

[Anybfans]

为什么大家看不清。。。人家说的是6个txt文件。。。。。。。。。

[sbboy]

@Anybfans 6万个吧。。。

[touch]

既然最终要入库的那不是一条sql语句的事

[raman]

这里 sort - u file.txt

[idblife]

导入数据库里操作一下

[anexplore]

sort -u src.txt > des.txt 就可以搞定了...

[likexian]

http://www.zhetenga.com/view/linux%E5%8E%BB%E6%8E%89%E6%96%87%E4%BB%B6%E9%87%8D%E5%A4%8D%E8%A1%8C-d0df4c10.html

简单方便、值得拥有

[iiilii]

这么多人都没看懂楼主的问题，6万个txt文件，每个文件10几行。

[incompatible]

python里没有 既能保持添加顺序、又能滤重 的数据结构？
类似Java里的LinkedHashSet

[staticor]

@incompatible ordereddict collections中的

[mucid]

cat *.txt | sort | uniq > all.txt

[Jaylee]

@mucid sort -u 就可以