如何删除重复的图片!

2022-01-30 15:23:07 +08:00
 iyg429
不知不觉已经存了有 6TB 的照片了
,硬盘里的照片应该有一部分是重复的
有没有什么软件可以检测到重复的照片 让我筛选,
这样硬盘就可以存了
一张一张看太浪费时间了
之前写入硬盘的时候,也没有懂得分配 就是全部的照片都放到一个文件夹的
3833 次点击
所在节点    问与答
28 条回复
cnrting
2022-01-30 15:28:12 +08:00
ccleaner
atrexl
2022-01-30 15:37:17 +08:00
为什么重复照片文件名竟然不一样
iyg429
2022-01-30 15:46:09 +08:00
@atrexl #2 因为老硬盘汇总到一个新硬盘的 ,当时本着就算重复也不能拷贝少的缘故 导致现在硬盘里有相当一部分应该是重复的 但是文件名应该是被我改掉了
iyg429
2022-01-30 15:46:20 +08:00
@cnrting #1 这玩意不是清理电脑的吗
jasonyang9
2022-01-30 15:50:32 +08:00
https://dupeguru.voltaicideas.net/
开源跨平台的,用过还行。但你这么多图谱扫描一次也够呛,哈哈。
jasonyang9
2022-01-30 15:51:04 +08:00
@jasonyang9 s/图谱 /图片
cnrting
2022-01-30 16:00:10 +08:00
@iyg429 有重复文件清理功能
dji38838c
2022-01-30 16:07:35 +08:00
自己写一个好了,很快
重复的图片字节数应该是完全一样的
hello2090
2022-01-30 16:07:49 +08:00
楼主你找不到的话可以留个邮箱,我有个自己写的 python 脚本可以发给你,查找 /删除两个文件夹中的重复文件的
dianso
2022-01-30 16:11:18 +08:00
Glauben
2022-01-30 16:14:48 +08:00
相同文件只是文件名不同的情况下,可以比对一下文件 hash ,找出重复的。自己写吧。我一开始还以为是用 AI 找出相似度高的删除
TigerK
2022-01-30 16:19:14 +08:00
重复文件使用 DoubleKiller 删除,可以设定文件大小、hash 值相同。
重复图片、相似图片使用 DuplicateFinder 删除,可以找到一定相似度的图片,一般是不同分辨率下的,或者是组图。
virlaser
2022-01-30 16:21:26 +08:00
用过不知道从哪儿下载的破解版 Duplicate Cleaner Pro ,可以根据图片相似度来查找,扫描速度也蛮快的
https://imgur.com/a/3iuU7aR
yfugibr
2022-01-30 16:22:52 +08:00
antidupl ,可以查找相似照片,标记不同之处
iyg429
2022-01-30 16:24:04 +08:00
@hello2090 #9 邮箱:aXlnNDI5QDE2My5jb20= 非常感谢)
villivateur
2022-01-30 18:28:05 +08:00
有个专门做这种事情的软件,Duplicate cleaner
imn1
2022-01-30 18:45:01 +08:00
我还以为你要找“相似图片”,这是个大难题,我程序写了几年,这块功能至今还没满意
我 50+TB 找相似那才叫一个头痛

根据你 #3 的描述,这种情况只是文件多重拷贝,hash/bytes 都相同的,很多工具可以做
windows 有个软件叫 clonespy ,速度比较快,可以检查同时自动删除,你指定某个目录作为参照(不删除),哪个作为查找删除就可以了
NAS 的话我不晓得,linux 下面也有不少类似工具
imn1
2022-01-30 19:03:02 +08:00
PS: 找相似图片的工具我用过二十多个,个人觉得最强是 SimilarImages © 2004-2012 by Nils Maier
这货是用 image hash 比较的,可以保存 hash 值到自带的数据库(sqlite),然后离线检查,就是不用挂载着参照目录去逐一比较,对于图片分散在多个硬盘的人很好用,可惜好像已经停更多年

我现在是用 opencv 的 template match 自写程序(还在不断修改)
Issacx
2022-01-30 19:21:32 +08:00
我用过一个 python 库,有 hash 和 CNN 的几种实现,其中 CNN 是基于 MobileNet 做的,可以检测相似但不完全相同的照片。我自己写了几个脚本调用,效果还不错。

Github: https://github.com/idealo/imagededup
hanguofu
2022-01-31 01:55:41 +08:00
好奇问问:这种软件为什么不是使用 c/c++ 效率最高吗 ?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/831418

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX