新硬盘顺序读取速度异常

2022-08-12 00:03:18 +08:00
 Puretoe

刚买的威联通 NAS 和一块京东自营的希捷 16T 硬盘和淘宝南京总代的西数 16T 硬盘,刚才发现在 nas 系统里面,两块盘速度相差特别大,新手小白不知道这是否正常,淘宝店主说是希捷硬盘速度过快了不正常。

4273 次点击
所在节点    NAS
91 条回复
documentzhangx66
2022-08-12 19:11:40 +08:00
@ruidoBlanco

1. fio 就算能在 Windows 下面用,这算主流软件吗?会不会存在问题?

主流软件之所为兼容性高,就是因为很多人已经把该踩的雷都踩过了,该改进的 bug 也都修复了。

2.你提的这两个客户的问题,难道不是正好印证了我的观点:Linux 就是在这个方面做的不好。
ruidoBlanco
2022-08-12 20:01:30 +08:00
@nevin47 你我都错了。我就不该进这帖子来。
nevin47
2022-08-12 20:36:10 +08:00
@documentzhangx66 你别把我划到什么派系里面,ball ball 了

我们团队的研究不仅局限在 Linux ,Linux 只是因为比较好用于白盒分析所以我们常用而已,我们过去还用过很多小众的系统来满足我们的分析需求,有时候我们还会在 x86 和 arm 的裸机上直接 bringup 二进制起来进行一些测试。

我已经说了,现在所有所谓开箱即用的性能测试工具只能做玩具性的基础标定,如果哪天 AIDA64(或者任何一个主流的开箱即用性能工具,无论任何平台)能发用来顶会了,欢迎联系我,来打我脸,我可以线下请你吃饭聊表谢意
nevin47
2022-08-12 20:39:20 +08:00
@ruidoBlanco 我现在堵在川西路上的。。。正好和他讨论一下性能测试的议题打发一下时间

我大概懂了他的逻辑了,他就是觉得 Linux 需要关注的变数太多了,所以就是不好。我觉得这个 GAP 来自于他没有做过性能问题的工程解决或者学术分析。。。
liaohongxing
2022-08-12 20:41:04 +08:00
dd 测试要加 conv=fdatasync , 才能有点参考作用,没加速度都是假的,内存加速的结果,比如:

dd if=/dev/zero of=/opt/test.dbf bs=4k count=200000 conv=fdatasync

才能大约屏蔽 linux 缓存,不加的话。内存缓存起作用。IO 会偏大,根据我的实际使用,偏大一倍左右。
liaohongxing
2022-08-12 20:43:08 +08:00
还有 bs=4k 这个参数,大概能看看出硬盘在小文件情况下的速度,bs 偏大就有点像顺序 IO ,写入速度也会变大。
liaohongxing
2022-08-12 20:46:52 +08:00
linux 会把空闲内存大部分用来进行文件系统加速,当应用需要是,会释放出来给应用,跟 windows 不一样,linux 会完全利用空闲内存,这个内存加速对应用来说是极好的。可以说是取舍的结果。
liaohongxing
2022-08-12 20:51:12 +08:00
回到楼主问题 ,你可能买到了带自带缓存的硬盘,缓存写完回归真实速度,
还有可能买到了叠瓦盘, 没查参数哈,看下是叠瓦,还是垂直盘。两种盘速度差异是很大的。
documentzhangx66
2022-08-12 23:04:44 +08:00
@nevin47

那这样,你觉得我的逻辑有问题,那我们就按你的逻辑来:

请问你能用 Linux 玩暴雪游戏、玩 Steam 游戏嘛?
documentzhangx66
2022-08-12 23:12:57 +08:00
@ruidoBlanco 没有必要阴阳怪气。

从头到尾,他只是个 Linux 领域的研究者。

当别人问到 Linux 的一个缺陷时,他不知道 Windows 那边很好办到这事。

然后他开始给你扯各种原因,反正就是你不懂,在 Linux 上要严谨地办到,需要先懂 A 、B 、C 、D ,然后还要实现 E 、F 、G 、H 才行。

我并没有否认 Linux 不能办到,只是 Windows 那边 5 分钟下完测试软件,已经开始在测了。

Linux 这边,如果按照他的逻辑,是不是要让楼主从 Linux 系统开始学起,还要再加一门硬件课程?学 2 个月后,再开始用 Linux 测?说不定还要给驱动打个补丁屏蔽掉缓存?

这种问题,总是发生在,只懂 1 种东西,然后刚好被别人问到缺陷上,因为是自己吃饭的家伙,总不能承认有缺陷嘛,于是开始找借口,开始你不懂,开始巴拉巴拉。

因此,两个系统,都会,都熟悉,在此刻才显得那么重要,因为你能很客观,很中立的,直接给出最佳方案,而不是让题主再去啃两本书吧?
Sasasu
2022-08-13 00:18:44 +08:00
@documentzhangx66 在 Windows 上,使用 ReFS v2 的固态硬盘上,全盘测速,第二次测速时速度会明显减慢。请复现并解释原因。
Sasasu
2022-08-13 00:23:51 +08:00
然后同样的问题在 exFat 上复现了,如何在不修改微软代码的情况下解决这个问题
sNullp
2022-08-13 00:28:08 +08:00
@documentzhangx66 我在硅谷某专做存储的上市公司干了四五年,高级工程师,从没见过你这套滑稽的理论。

Windows 的测试没什么高级的,软件开发者封装了一下做了个一键测试(这就是为什么不同软件数据不一样,但你无法解释,因为是个黑盒)。下载 5 分钟开测本质上是因为 linux 的桌面太拉胯,根本没人开发好的桌面软件。用命令行的又因为懂行的太多各有各的需求,所以非常灵活高度可配置。

技术方面我没啥好补充的,该说的人家都说过了。
nevin47
2022-08-13 00:48:29 +08:00
@documentzhangx66 我的车道貌似快通了,今晚最后回复你一次

首先我的研究领域和主要工作是体系结构和操作系统,Linux 只是我们的研究路径上的一个方向之一,所以我对任何操作系统或者发行版均没有偏见

另外,我想和你讨论的核心问题是测试的方法论,而不是某个具体的操作系统。但是我是旗帜鲜明的坚持所谓开箱即用的测试工具就是个测试玩具这个观点。同时我也反对你认为的 Linux 下 io 测试中有很多坑这个观点。
clearc
2022-08-13 01:09:08 +08:00
ls 两位一副关公战秦琼的味道

其实都没说到一起去。
Puretoe
2022-08-13 01:24:31 +08:00
更新一下,运行了二十几个小时的完整测试,得出没有坏道,就放心了
![]( https://i0.hdslb.com/bfs/album/d7abbc787f6ac89d155214037218b74a0599cb79.png)
documentzhangx66
2022-08-13 01:31:45 +08:00
@nevin47

你在前面不是牛逼轰轰地加入过 Kernel 社区参与 patch 讨论和建设吗?

你在前面不是很有自信的极其复杂的系统工程 + 学术课题吗?

你的团队不是在研究体系结构问题吗?

你不是说图灵听了要流泪吗?

你不是一直鄙视开箱即用的爱好者同学吗?



既然你这么牛逼,

现在开箱即用的爱好者同学,

在 49 楼问了你一个微不足道的问题,

为什么这么牛逼的你,突然在 54 楼焉了一样,

不敢正面回答问题了?

开始左右而言他了?

还今晚最后回复我一次?

你敢正面回复 49 楼的问题嘛?

敢吗?别回避,别扯开话题,直接刚正面,敢吗?
documentzhangx66
2022-08-13 01:39:08 +08:00
@sNullp

1.你不应该来参活这个问题的,因为你和他属于一路人,你们肯定有相同的立场,所以你和他,回复我的思路也一样,那就是我在 50 楼结尾两段文字所说的:

这种问题,总是发生在,只懂 1 种东西,然后刚好被别人问到缺陷上,因为是自己吃饭的家伙,总不能承认有缺陷嘛,于是开始找借口,开始你不懂,开始巴拉巴拉。

因此,两个系统,都会,都熟悉,在此刻才显得那么重要,因为你能很客观,很中立的,直接给出最佳方案,而不是让题主再去啃两本书吧?


2.你为了给自己的吃饭的家伙拉偏架,着急驳倒我,你甚至没有反复审视你的发言,导致犯了很低级的错误:

这事与 Linux 桌面是否拉胯一点关系都没有,Linux 通过包管理器,直接下载,效率甚至比 Windows 更高,你用 Linux ,连这个事情都不知道吗?

如果你不知道,那么你这水平,怎么让你在硅谷某专做存储的上市公司干了四五年?怎么当上高级工程师的?走了后门?

如果你水平的确强,那你为什么会犯这种低级错误?因为你是真的急了。你为什么急?因为就像我在 50 楼结尾两段文字所说的,你终于发现自己专业的缺陷,被别人戳中,你只会这个,你没办法保持客观,所以你急了,思路乱了。
documentzhangx66
2022-08-13 01:46:01 +08:00
@Sasasu

请问,在测试期间,

1.注意过 CPU 的负载没有?

2.注意过 CPU 、主板与固态硬盘的温度没有?

3.速度明显减慢,是多慢? 1%? 30%? 50%?

我也很好奇这事,但我不想因为你的失误,而浪费我的浪费时间。如果你能确认一下以上 3 个问题,我可以考虑复现一下,因为我手头上有一大堆闲置机器与固态硬盘。
HXM
2022-08-13 02:08:16 +08:00
歪个楼,Steam 上确实有官方支持 Linux 的游戏,而且 Steam Deck 的 Steam OS 也是 Linux-based

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/872312

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX