realpg

不涉及 GPU 的情况下 永远是 最新 lts
一路升级等新 lts 小版本.1 立刻升级

@Features #12
还是搞明白自己为什么会被打才能治本...

你要找的是
Microsoft Office Onenote & Onedrive

我支持 APP 备案制

@aloxaf #17

这里走 dd 还是建议用 odirect...
fsync 也会有奇怪问题 我记不住是啥问题了 得看知识库 懒
我们整天跟 io 打交道 为了把成本降低到正常使用云的 5%

@zhongjun96 #19
额 仔细看了下 你这是 buffered io 肯定是很快的
这也是我跟 4 楼讨论的问题

你需要用 iostat 查硬盘真实写入速度 这也是我这个办法的最核心的东西

@aloxaf #18
对 cgroups v2 能控制 buffered io 才有这个彻底的方法
用 systemd 的 slice 也可以实现类似方法 我对 systemd 研究不透彻

@zhongjun96 #19
那可能是我的哪个脚本写的有毛病 我就随手脑测手打的 理解思路自己修改即可 绝对是可用的
查一下 cgroups v2 的状态 查一下分组的内容
因为因为我的生产业务每天都依赖这玩意 遇到的问题跟你是一样的 而且比你的麻烦在于我这边的吞吐量问题是不限速就会因为写入超过 6GB/s 把虚拟化后端的 25Gbps*2 IPSAN 打死 机器直接死掉

@aloxaf #4

大内存机器, 没特殊优化的, 你这样写还会炸硬盘吞吐量

缓冲区大的, 都限速写 ram buffer 里了, 然后刷新脏页时候还不限速的, 会堆死掉硬盘

如果硬盘的限速是因为后端是类似云盘的 IPSAN 虚拟化挂载到虚拟机, 速度限制是因为存储网络带宽瓶颈, 甚至会导致这个盘的 IO 整体被内核 hang 住, 系统盘直接死机, 不是系统盘的话, 必须硬断电重启可破, 本机 reboot 命令都没用, 永久 hang 住

如果空闲内存小的机器, 问题不大, 不会读吞吐量

OP 这个问题 基本就是我们的面试题之一
低成本嫖各大云厂商的 IOPS 和吞吐量

您这个解答基本算是常见考虑不充分的错误答案

默认你是较新版本的操作系统, 比如 22.04 的 ubuntu, 比如最新的 debian 而不是上古内核的 centos 直接拷贝以下命令到 bash 脚本执行即可

--------------------------

#!/bin/bash

echo "+io" >/sys/fs/cgroup/cgroup.subtree_control
mkdir /sys/fs/cgroup/limitio


echo $$ > /sys/fs/cgroup/limitio/cgroup.procs

ls -la /dev/block/ | grep -v '/loop' | grep -v '/sr' | awk '{print $1, $2, $3, $4, $5, $9}' | grep -oP '\d+:\d+' | while read line
do
echo "$line wbps=52428800 rbps=52428800" > /sys/fs/cgroup/limitio/io.max 2>/dev/null
done

#this script's disk read and write are both set to 50MB/s, plz add your gzip -d command below


#gzip -d a.gz


----------------

格式如果错乱, 去下面复制:

https://gist.github.com/realpg/f36ae7bc655d7eab6903fad82ead65f8

请用 root 执行, uncomment 代码最后一行的 gzip 指令换成你自己的

本脚本后面的任何语句的本地磁盘 IO 会被限速到读写各 50MB/s