ZFS 持续写入变慢问题

[louisxxx]

我用 11 个东芝 18TB 企业盘（ MG09ACA18TE ）组的 RAIDZ1 ，机子内存 256GB 。
用 fio 测试顺序写入最高才 150MB/s, 之前测试上面这个单盘直写能有 250MB/s 。可能是组了 RAIDZ1 损耗了性能。
但更要命的是测试写入 1TB 数据：
前 5% 基本有 110 ～ 130 浮动；
到 20% 基本在 60 ～ 90MB/s 浮动；
到 50%基本在只有 ～ 48MB/s ；
到 60%基本在只有 ～ 40MB/s ；

ZFS 上的配置：
Type: FILESYSTEM
Sync: ALWAYS
Compression Level: LZ4
Enable Atime: OFF
ZFS Deduplication: OFF
Case Sensitivity: ON

观察了 CPU 使用率非常低，才 5%不到；
内存使用如下：
251.8GiB total available (ECC)
Free: 115.8 GiB
ZFS Cache: 126.0 GiB
Services: 9.9 GiB

FIO 测试命令：
fio --randrepeat=1 --ioengine=libaio --direct=1 --gtod_reduce=1 --name=test --filename=test --size 1000GB --bs=4m --iodepth=1 --readwrite=write

第一次用 ZFS ，不知道问题在哪，还是说这就是 ZFS 的标准性能。

[ladypxy]

参考 https://icesquare.com/wordpress/how-to-improve-zfs-performance/

[sNullp]

ashift 多少？

[sNullp]

另外你的 storage controller 是啥？会不会再 expander 上有瓶颈？
我的 6*14TB zfs pool raidz2 用你的 fio 写大概有 550MB/s

[sNullp]

破案了
Sync: ALWAYS
你这就硬是把 async io 转换成 sync io 来写。你这不配个 SLOG SSD 的话估计就这么点速度了。

[hefish]

zfs 这东西就不能太多盘， 我 12 个盘做 zfs ，经常 hung up 。 另一台 12 个盘，每 6 个做了一个 pool ，反而跑的很欢，从来没 hung up 的情况。

[louisxxx]

@sNullp
NAME PROPERTY VALUE SOURCE
data01 ashift 12 local

放内存异步写容易掉数据，可能得加个 NVME 才行。storage controller = AOM-S3108M-H8L-P
看了背板 1 是接了 2 根 SLIMLINE SAS to MiniSAS HD ，然后背板 2 连接到背板 1 用的 2 根 MINI SAS HD

[sNullp]

@louisxxx 你这就是闭门造车了。行吧，你非要 force sync 建议上 optane

[zzboat0422]

额外提醒一下，在数据中心中，东芝盘的故障率是最高，粗略感受约为另外三家的十倍以上，建议多设置冗余，多备份数据。

[mikewang]

Sync: ALWAYS
强制同步的问题，速度低正常。我两个 NVME 盘开强制同步速度也就剩不到 200M/s 了，损失明显。
建议关掉 Sync ，怕丢数据上一个靠谱的 UPS 吧。

[lianyanjiajia]

你这个也太慢了 truenas core 4 盘 4t rz1 顺序读写都有 3 400mb/s

[louisxxx]

@zzboat0422 哪里的数据？我之前看 dropbox 的数据东芝盘的故障率最低好像

[louisxxx]

@zzboat0422 数据在这里 https://www.backblaze.com/blog/backblaze-drive-stats-for-2022/

[louisxxx]

@lianyanjiajia 我测试我这里顺序读才 200-300MB 。感觉极度不正常。打算装个 md 软 raid 再测试下速度看

[zzboat0422]

@louisxxx 实测的，本人管理的硬盘大概几万块，其中东芝盘数量占比不到 10%，故障率占比超过 60%。v2 上也就运维少，这在运维行业都不是秘密。之前 B 站因东芝盘故障率高影响太大，一口气换掉了数据中心几千块东芝盘，无论好坏。

[zzboat0422]

@louisxxx 我看了一下，确实没有我们这边东芝 6T 8T 10T 容量的规格。后面我们新签的采购协议已经禁止东芝盘了，所以没有更大容量的东芝盘的故障率数据。

[louisxxx]

@zzboat0422 不清楚什么情况😳 我 8 年前的东芝硬盘现在都还好好的

[lianyanjiajia]

@louisxxx
你是 scale 吗 我用 scale 就慢的要死 换了 core 就好了