V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
kenvix
V2EX  ›  Windows

Windows 10/11 有哪些文件数据去重(deduplication)的方案?

  •  
  •   kenvix · 96 天前 · 1201 次点击
    这是一个创建于 96 天前的主题,其中的信息可能已经有所发展或是发生改变。

    已知对于 Windows Server ,NTFS 和 ReFS 均支持数据去重(deduplication)。这种去重似乎不是简单地把重复的文件删掉,而是创建两个引用指向同一个数据块,然后其中一个引用的文件发生修改时进行写时复制/CoW 。

    但是非 Server 版似乎没有带有这样的功能,想问下非 Server 版有类似的解决方案吗? NTFS 或 ReFS 的都行。

    11 条回复    2023-11-21 19:14:53 +08:00
    ho121
        1
    ho121  
       96 天前 via Android
    是说硬连接吗?
    AoEiuV020JP
        2
    AoEiuV020JP  
       96 天前
    @ho121 #1 不是吧,硬链接改了一个其他都会改,这里是不会改其他文件的设计,
    meattball
        3
    meattball  
       96 天前 via iPhone
    Windows 10/11 里面的存储空间似乎支持数据去重
    kenvix
        4
    kenvix  
    OP
       96 天前
    @ho121 硬链接在修改时不会发生 CoW ,不是去重
    kenvix
        5
    kenvix  
    OP
       96 天前
    @meattball 没有 RAID 的需求,用存储空间似乎实在是不合适,白白损失 CPU 和 SSD 性能
    ho121
        6
    ho121  
       96 天前
    https://github.com/microsoft/CopyOnWrite 找到个这个,但说不支持 NTFS ,只支持 ReFS
    ikas
        7
    ikas  
       96 天前
    提取 windows server 的相关功能包,然后装到 windows 中
    使用 Microsoft-Windows-Dedup-Package-amd64 这个包作为关键词搜搜看吧
    HarveyLiu
        8
    HarveyLiu  
       96 天前
    微软 ReFS 格式支持,但是不建议现在就迁移到 ReFS ,这个格式的版本有点混乱,目前还没统一,等统一了,就可以用它的,去重特性了,目前还是得用第三方的软件去重。
    kenvix
        9
    kenvix  
    OP
       95 天前
    @HarveyLiu ReFS 我已经在用了( devdrv ),ReFS 的去重有相关文档嘛,我没找到非 server 的
    kenvix
        11
    kenvix  
    OP
       94 天前
    @mscsky 去重不是硬链接啊,不是硬链接啊,是文件系统层级的。不过这个工具非常适合微信这种到处拉屎的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2760 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 09:00 · PVG 17:00 · LAX 01:00 · JFK 04:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.