咨询各位 v 友,文件服务器针对海量小文件有什么优化手段

[lingeo]

公司有台服务器，系统是 windows server 2019 数据中心版。里面放了很多数据集，音视频，文本、很多小文件，磁盘有没有做 raid 不清楚，我入职之前这服务器就存在了，而且塞了很多数据了。现在每次拷数据进去，如果移动硬盘的小文件过多，服务器的文件资源管理器直接卡死，感觉是有服务在检索移动硬盘里的文件，排查的时候发现不知道哪个哥们装了个 everything 内存占用 60%，卸了之后发现资源管理器卡顿消除了。还有拷数据的时候为了跑满带宽，我都是先打成压缩包再复制，虽然压缩也比较费时间但是总体来说要比直接复制快一点。我想问下现在 AI 这么火，存储数据集的服务器都是怎么设计的，传输时有大量小文件需要寻址，有时候可能还需要在服务器进行文件检索。

[MrGba2z]

HDD 还是 SSD ？

我自己家全固态存文件服务器 之前简单测试过下没啥问题
* 几十万张的色图包（我真没看，纯测试用的）复制来复制去
* 整个 PC 机系统盘带游戏等 1T 直接复制备份
（网络是 10G 内网）

[lingeo]

@MrGba2z 机械硬盘，家用 SSD 成本咋样。

[opengps]

首先是硬盘格式，格式化时候需要选最小的块，否则可能极大浪费存不下文件
其次是资源管理器的操作模式天然就很卡，反倒是你可以直接精确控制程序写入或者读取文件不会卡死

[tool2d]

我服务器挂的是固定大小的 VHD ，速度也很快。

[MrGba2z]

@lingeo 我用的带保修的 sn640 我觉得还行吧. ssd 没做冗余, 每小时自动备份到 HDD 的冷备里. 也在等之前传言的 zhitai 还是长江的大容量 ssd