如何优雅的实现导入去重？

[javatao]

表格导入的时候，需要对其中的几个字段进行重复性校验？如何才能足够的优雅？ 比如导入用户的所有信息，需要对用户的 QQ，微信，钉钉在数据库的用户信息表进行查找重复。 当导入量和表的数据量都比较大的时候，如何能够快速的实现这个需求？求 V 站大佬们给个解决办法。

#最初级的方法，遍历导入的所有数据，对每一条数据在数据库进行查重处理。