为什么非要用 s3 协议的存储?

[vopsoft]

支持 S3 好像也就 Minio 其他是 S3 网关实现的吧

• 我认识的一家公司存储录音文件 直接用 windows server 的 REFS 目前稳定运行 2 年多 , 已使用容量 100 多 T 了 . 我也查询一下 Refs 单卷最大能64PB

我们这儿 用的阿里 oss 90 多 T, 一年的费用大概 10 万多

[vinciacao]

@vopsoft 这不是多一事不如少一事，你运营这个云平台，那就有遵守当地法规的义务
无论是版权，色情，暴力，政治，每个国家有每个国家不同的要求
做盗版站的要找抗投诉资源，搞色情网赌都在国外建站都是一个道理，你搞的东西合法合规，那自然没有问题
但你上传的东西有可能对平台运营产生风险，平台自然要封禁相关的资源，虽然他没有主动监督的义务，但出现法律合规问题，是要负连带责任的

[ambition117]

@Mithril 那是客户端版本的 windows update ，windows server 的 windows update 不会有这么大的变动，除非手动安装。
linux 你用 ext4 、xfs 自然不会有这种问题，然而 btrfs 这种还在积极开发新特性的也是绑定内核版本的

[vopsoft]

@summerwar 确实, 我有点混淆了, S3 作为协议还是挺完美的, 但自建支持 S3 的存储...没太完美的, MinIO：简单可靠，但扩容受限
Ceph：功能强大，但维护复杂

[yb2313]

为什么要给公司省钱

[vopsoft]

@ambition117 提示下 ext4 是会有问题的,概率挺高, 会无法挂载分区

[vopsoft]

@vinciacao 这个回答有点官方了, 虽然可以理解. 但实际上确定是那样吗?
例 1 如我说的那文件 100%合法合规还是被封. 申诉没用
例 2 已知 115 用的 oss, 115 里有几百 PB 的动作片也没被封
--------------------
从公司的角度来说,肯定也不希望公司内部的文件被扫描 无论文件是否涉秘

[hackroad]

被刷流量可能导致公司破产 ，什么？ s3 直接对外？下一个帖子是不是 CDN 被盗刷？那不用 CDN 。 你这都什么乱七八糟的逻辑。。。

[xiaomushen]

@min 不都是买服务器预装的嘛？

[vinciacao]

@vopsoft
例 1 ，底层扫描的代码逻辑对使用者是黑盒，且无法保证 bug free ，至于确认无问题无法解封，那是对应供应商的流程问题了
例 2 ，115 这个不知道了，可能人家老板有关系，毕竟动作片是 115 的一大卖点

使用者不希望被扫是肯定的，所以涉密文件上云是要考虑的，到底要不要上，之后才是怎么上，以及涉密性强的可以选择私有云，专有云

[justNoBody]

我觉得你说的缺点都是 OSS 的，和标题没关系。我挺喜欢 minio 的，尤其是不使用他自己的扩展模式，有完整的目录结构，我想怎么折腾都可以。

[frankies]

因为 aws 最早这么用的，aws 用户最多，导致几乎所有对象存储服务商都要主动去兼容 s3 ，自然形成垄断。

[Mithril]

@ambition117 你可以看看这个： https://techcommunity.microsoft.com/discussions/windowsserver/refs-volume-appears-raw-version-doesnt-match-expected-value-after-windows-update/3058652/replies/4002933

另外出问题的这些都是累积安全更新，而且也没写过说这个更新会不兼容以前版本的 ReFS 。就是简单炸掉而已。

[vopsoft]

@hackroad 随便搜下 好多人被刷过，你说的对 不该对外，但普通人不知道 我也是被刷了两小时知道的 扣了 10000 多 。上边说的普通人，包含部分阿里云客服 ，被刷后问的第一个客服没能给出解决办法 。逻辑不通 ，现实在发生。

[vopsoft]

@Mithril 版本不兼容确实存在，现在已经知道了 也能避免。ZFS 升级也可能会遇到不兼容的问题。上边说的那家公司还在用 2016, 网络做好隔离 安全性也没问题。不过微软的升级确实太随意了

[ambition117]

@Mithril 这个 refs 版本也太老了吧…

[sampeng]

1.90T 数据一年 10 万多是你们没做合理分层和成本优化。我们 300T 也也就 10 万左右。
2 ，同样大小的本地。首先要备份，其次要维护。当然，数据丢了就丢了当我没说。我以前公司是 raid 卡坏了，花了好多钱都没完全恢复。
3 ，同样容量，但方便性，性能，等都不是线上能比的。当然你要完全拿线上成本和线下成本比不是这么比的…

[hd7771]

对象存储是好东西，s3 协议从 api 层面是倒退，大部分人为了用上对象存储不得不吃这口💩。

[vopsoft]

@sampeng 回复 1 咱们用的是一个 oss 吗? 300T 光存储 不算流量费用就 373,248 了 就算是冷归档也要 8-9 万吧

[laminux29]

ReFS 同样炸过好几次的路过。最后用 Debian 12 OpenZFS + Windows Server NTFS 存储池的异构双机热备搞定。

[untitledabc]

对 web 来说 s3 完美：
横向扩展
把站点消耗 cpu 的 io 从服务卸载到 s3 ，使得 web 服务本身更容易扩展
海量小文件在文件系统里检索起来就是灾难
数据共享和服务集成，不会有人喜欢搬数据吧