这是一个创建于 51 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在硬件是一台淘汰下来的浪潮，两块硬盘，一块 10T 机械，一块 256 的固态
需求是有稳定的服务和可以一点一点追加硬盘
现在装的是 ESXI ，几个虚拟机跑服务，但是好像如果硬盘故障会很难搞
我本身是建议装 nas 系统，然后在 nas 上装虚拟机跑服务，靠 nas 系统来维护硬盘（比如说 unraid 的奇偶校验，truenas 的 raidz ）
还是说应该搞一个阵列卡组硬 raid ，但是现在就两块硬盘，一块 10T 机械，一块 256 的固态，组 raid 好像要一次搞满硬盘
个人对这种不是特别了解，大佬们有什么推荐的方案吗？
第 1 条附言 · 51 天前
机器是浪潮 SA5212M4 ，2308 直通卡，E5-2682V4*2 ，128g 内存，一块日立 HUH721010AL4200 ，一块 400gssd
53 条回复 • 2024-03-14 04:13:16 +08:00
 |
1
opengps 51 天前
仔细看下你现在纠结的只是硬盘问题，办法只有一个那就是加硬盘
|
 |
3
cdlnls 51 天前
建议不要自己整 nas ，除非再加硬盘，做 raid 。万一运气背，服务器出问题/丢数据了/磁盘坏了/数据没有冗余，到时候第一个想到的就是你。一般服务器上都带了阵列卡这个不用担心。
也可以考虑直接加新硬盘，还是继续用上面的 ESXI ，原来的虚拟机跑服务可以继续跑，NAS 系统也装在虚拟机上，新加的盘组完阵列后单独放 NAS 的数据。 |
 |
4
NewYear 51 天前  9
首先，看需求是什么，需求显然是要稳定，稳定性优于一切。
其次，看条件，“淘汰的服务器”、“旧硬盘”，“单机”。 怎么看都和“稳定”不沾边，随时都要炸的样子，还有就是装 NAS 系统的建议……否掉 ESXI 。 太炸裂了。 首先，不清楚你是什么岗，不同的岗位认知是不一样的，在运维的世界里，服务器最起码的是要做 raid ，防止突然坏了硬盘，服务器就停工了，ESXI 有集群方案，服务器也要有冗余，随时能替换。 你的问题都是可以解决的，但是看到 NAS 系统，唉。 否掉 ESXI 上 NAS 系统，我…… 记住一点，服务器事关身家性命，必须要靠谱，没有什么条件不合适之类的，出事了你跑路都没用。如果你实在没有服务器了，搞几个 PC 机来做冗余也可以，如果你没预算买服务器级硬盘，消费级的也可以，如果你没钱买固态，机械硬盘也可以。 还有你服务器配置也不写，跑什么服务也不写，别人给不了什么好建议，似乎你对服务器的认知是“后续性能不满足，就加硬盘”……我们很懵逼啊兄弟，术业有专攻，实在不行你推给服务商去整靠谱的方案啊，不要自己扛啊，到时候身家性命可是没人会帮你啊。 |
 |
5
mohumohu 51 天前
不熟悉最简单就是直接上 Windows ，开 hyper-v 虚拟机，想监控硬盘多的是软件还能发通知，想加硬盘直接加谁都懂的操作，硬盘故障随便下个软件也能自己动手恢复，满足你所有需求。
|
 |
6
Jirajine 51 天前
没 raid 没冗余说明不需要高可用性，那就随便玩了，我建议直接上 nixos ，挂了重装特别方便。
|
 |
7
iGmainC OP @cdlnls 背锅这个点倒不用担心，nas 的数据也不是特别重要，主要是要保证服务的正常运行（虽然现在没服务），而且因为硬件的关系，不能设置 SATA 控制器的直通，RDM 直通在 nas 虚拟机创建好后又不能添加，拓展性又没了
|
|
9
NewYear 51 天前
看了下楼主的历史贴，居然是明星贴作者，牛逼了，估计 V2EX 大多认识你的帖子。
哥们，你的认知还要加强，尽量找个前辈多学习一下日常的工作思想吧，要不然看着怪吓人的，感觉就像：职场新人却负责公司重要事项…… 之前的贴我也有印象，感觉你的想法就是按自己的想法在公司折腾，这样的想法是要不得的，我给你一个新的观念，公司的事情，主打的就是一个稳，如果要搞不稳的，宁愿不干，多去要预算买设备。 去坑！去骗！去耍手段！ 如果你搞不到预算，那你就只能做一个低级的小兵，方案很弱，保障能力很差，出问题就和老板吵架，没意义，议价能力也非常差。 如果你能搞到预算多买设备，买材料，你就能通过你的技术去做可靠的事情，公司让你负责干的事情就靠谱了，议价能力提升了。 如果你能搞到预算，而且还能搞到人员来帮你干活，不光自己轻松，也让公司的事情也变得更加好了。 如果你能搞到预算，还能管理好人员，自己不用干活，活都丢给手下去干，那你就是部门老大，公司自然也是最高。 如果你能搞到预算，并且能做到需要做的事情，用 A 的钱去找 B 干活自己赚差价，要面子有面子，要权利有权利，恭喜你，你已经当上老板了。 老实说，我不想看到你第二次发帖在 V2EX 再火一次，对你来说也并不舒服。 |
|
11
NewYear 51 天前 1
@iGmainC
你根本不懂什么叫节约成本，更不懂什么是期望。 你以为的期望：虽然它旧，虽然我菜，但是它不会出问题。 实际上的期望：说不定明天就炸了，什么时候炸，看老天，我也没什么办法。 你以为的节约成本：用烂服务器，做可靠的事情，又给公司省了一笔钱。 实际的节约成本，通过更多的设备或者更好的技术（哪怕是老设备、哪怕是老技术），去做靠谱的事情，避免造成公司损失。 你到大一点的公司上班，去看看别人写的方案，都 TM 写的是“我要花很多钱，但是我能把这个事情搞定，而且很靠谱，老板不慌，我自己更不用慌”，如果公司规模小，你就设计贫穷版方案，如果公司规模大，你就设计至尊版方案，但是所有的目标都指向一个：靠谱。 而不是：吓人……就有种要是没出事我就继续混，出事了就赶紧跑的节奏。 |
|
12
NewYear 51 天前
|
|
13
iGmainC OP @NewYear 很感谢你的看法和意见，这个服务器本身并不是生产服务器，并不是“职场新人却负责公司重要事项”，只是期望这台测试服务器，或者说是用于跑一堆杂七杂八服务的 pc 可以更稳定的运行，来问一问各位大佬有没有什么好的建议
|
|
14
iGmainC OP @NewYear 配置已经 append 了，望大佬指导一下，现单位在创业阶段，预算确实不充足，不然肯定找服务器商配个顶配服务器硬盘插满😂
|
 |
15
Mithril 51 天前 1
分享两个个人理解：
- RAID 能服务的可持续性，就是坏几个盘你大概可能也许还能用。至于说数据安全性，还是要靠异地备份。你可以搜搜 RAID 重建阵列的时候炸盘的有多少。除非你用好几个硬盘组更多的冗余。 - 服务器直接虚拟化是没问题的，你想办法备份虚拟机的磁盘就行了。但你这一共能用的就一块 10T 盘，这盘炸了就全完了。 如果我是你的话，会再找一块固态，小点也行，组个 RAID1 做 ESXI 的系统盘。或者可以随时重做 ESXI 的话，不做 RAID 也行。先保证它不大会挂掉。我不太了解 ESXI ，不知道和 PVE 是不是一样需要一个系统盘。 剩下的，考虑一下要跑的是什么服务。我自己倾向于所有服务都用 DockerCompose 或者 K8S 跑，然后外挂持久化存储。这样你只要找个额外的地方备份好你的 Compose 或者 Helm ，然后再备份一下持久化用的存储就行了。至于服务器或者那些用来跑服务的虚拟机挂不挂的无所谓。 比如你用 Compose ，这服务器挂了你只要有别的地方能跑一下 compose 文件，改个存储路径就能重新拉起来。 你用 K8S 就更简单了，只要存储还在迁移一下很容易。 |
 |
16
cnbatch 51 天前
公司环境的话，哪怕是做测试，NAS 最好独立一套，不要用来跑其它服务。就是前面楼层提到的一个字：稳。
这台服务器可以安装 esxi 用来做程序、服务的测试，但不要把 NAS 也丢给它负责。 同一台机弄成 ESXi + NAS ，正是不少家用 DIY NAS 玩家最喜欢的 All in One ，别名 All in Boom 。 为什么别名叫 All in Boom ？来个故障开机失败（尤其是过保二手货，出现大故障一点都不奇怪），直接全部完蛋。 All in One 家里玩玩可以，公司就不该这样了。 这台二手机，要么只做 NAS ，要么只跑测试，不应该混着用。如果做不了 NAS ，那就直接跑测试吧。 |
|
17
iGmainC OP @cnbatch 我是想让这台机器以 nas 的身份跑几个 docker 和几个虚拟机，因为本身虚拟化的需求 nas 系统就可以满足，对性能也没有要求，比两核 2g 的弹性云性能好就完全满足要求了，所以更考虑在尽可能稳定的前提下，灵活的扩展硬盘
|
|
18
cnbatch 51 天前
@iGmainC NAS 系统承载虚拟机，那得看虚拟机放在哪个种类的硬盘，如果是 SSD 那还没什么。
要是放在机械硬盘（即使是阵列），那么速度就会很慢了，体验回退到十几年前的机械硬盘时代。机械硬盘的 4K 读写非常糟糕，跑虚拟机是能跑，只不过对于日常测试来说嘛……假如用来跑编译，或者测试时需要上传一大堆小文件、读取一大堆小文件，就可以重新体会到什么叫做“拖后腿” |
 |
19
cczh678 51 天前
@iGmainC OP ，我的建议是按照你的想法就可以了，你装一个 truenas 的 iso 就可以了，你的选择是对的，用 ssd 做性能加速，在 truenas 上就可以配置。HDD 按照容量去追加，配置 raid5 或者 raid6. vmware 有点企业化，不推荐用 DIY ，技术没有兜底，确实很容易出现问题后，睁眼瞎，而且确实方案笨重了。
建议组装后，部署完存储 pool ，通过 FIO 或者 dd 来测试整体的 nas 的吞吐能力和小文件的能力，是否因为配置错误或者其他原因，数值过低，进行业务上线前的调试工作。 看到 OP 两个痛点：第一，对硬件服务器、解决方案不是很了解，这个我上面针对您现在的问题，给您的决策投一票，如果还有其他的服务器、存储方面的问题或者需求，您联系我。 第二，公司刚起步，成本预算有限，还是那句话，如果您的 IT 想要走上正轨，我可以帮您进行 IT 分阶段规划解决方案。 总之一句话，您的决策是对的，搞一套 truenas ，后台 passwd abcd1234 。我自己创业做 IT 解决方案规划的，和您所需要的服务很对口，我主要开发和服务商业中小型企业用户，希望和您取得联系。 |
 |
20
hanssx 51 天前
nas 是 nas ，虚拟化是虚拟化，分开之后，nas 用来备份虚拟化镜像快照数据。
|
 |
21
dayeye2006199 51 天前 via Android 1
Debian, ubuntu server
|
|
22
hanssx 51 天前
像 pve 虚拟化底层应该也是提供数据可靠存储的，目前就是用的 pve ，还算稳定，用了 1 年多了。
|
 |
23
Admstor 51 天前
你到底要 NAS 干嘛的？
你有没有想过？ 一方面说数据不重要，一方面又要当成开发服务器 NAS 本身就是保存重要数据的设备，你这硬件上就不符合要求，行为上也没有这个需求，你非要上个 NAS 系统的意义是什么？ 另一方面你又要开发，上面还要跑各种虚拟机，杂七杂八的服务，不选择成熟稳重的专业虚拟机系统，去选择家用 NAS 系统，意义又是什么？ 你想玩 all in boooom ，自己买个机顶盒都可以玩，没必要用公司服务器来玩 |
 |
24
qping 51 天前 1
你的需求除了：稳定服务，后期追加硬盘，还有隐含的成本最小化。
我建议你还是直接用 linux ，使用 docker 来跑测试程序。 - 后期追加硬盘是可以实现的，了解下 LVM - 稳定服务，靠定期备份，只要备份下测试数据库，而且没想象的那么容易崩（除了停电） - 基于已有硬件，没有任何额外开销 |
|
25
iGmainC OP @Admstor nas 就一定必须要往里放重要数据吗，我们要存 nas 的数据就是一个同事可有可无的冷数据，但就是会有这个需求。完全抛弃 nsa 这个需求，问题依旧，问题的关键点又不是 nas 这个需求，是我用什么方案可以实现可以后期追加硬盘替换坏硬盘，且数据迁移备份的时间成本最小，数据要在后期追加硬盘时有冗余，上面的服务在任何状态下都要尽可能保持运行
|
 |
29
markgor 50 天前 1
如果是跑测试环境，为了避免麻烦，我宁愿购买两块全新 DC HC320 8TB ，加起来 3k 以内。
然后这两个做 RAID1 日后资金充足，再加多两个做 Raid1 接着把这两组 RAID1 做 RAID0 ， 即 RAID10 前期由于是全新的，故障率和售后有保障。 后期资金不紧张，就改 RAID10 速度有保障。 至于你的日历和 ssd ，我不清楚经历了多少磨炼，所以要稳定就不建议用二手盘。 剩下的就是电源方面，电源要稳如老狗，支持双电源尽量上双电源，一个全新一个二手问题也不大。 主板呢我试过有老化的（ 18 年左右）出现线路串扰问题，这个没办法解决。 |
 |
30
kim01 50 天前
你都说了是创业阶段，再穷不至于几个硬盘买不起，实在不行就单机，反正都是测试环境，不用想太多
|
 |
31
alexsz 50 天前
1 、建议加 1 块同规格 10T 硬盘做 RAID1 或者加两块做 RAID5
2 、加 1 块同规格 SSD 做 RAID1 后再装 ESXi |
 |
32
tudou1514 50 天前
裸装，kvm （狗头）
|
 |
33
N9f8Pmek6m8iRWYe 50 天前
侥幸心理比较重，没关系，事教人，一次就会
|
 |
34
defunct9 50 天前
奇怪的问题。当前的 esxi 没问题。反倒是你换 truenas 才 hold 不住呢。truenas 是 bsd 。
|
|
35
defunct9 50 天前
对了。换我来搞的话，肯定是加阵列开，raid10 ，ssd 做缓存盘，直上 kvm ，再产虚机用。
|
 |
36
pota 50 天前
你一个硬盘折腾啥，盘坏了数据就没了。盘不坏数据就不会丢
|
 |
37
vincent7245 50 天前
只讨论你的需求
1 只有一台服务器，在安全方面能做的只有是保证数据安全了，高可用就别想了。 2 你对于数据安全的要求是什么，看你的描述应该是做测试用，只要做磁盘冗余保证数据在服务器上不会丢就行，不用考虑机房着火等问题，也就是不用异地灾备。 3 如果只是以上两点需求的话，就是直接用 raid 卡做硬件级别的磁盘阵列，然后再装系统，装虚拟机就可以了啊，你说的靠 nas 系统维护软 raid 还是算了吧，这不是企业级的方案 |
 |
38
gimp 50 天前
我觉得你对「稳定」的认识不够，现在可能不运行什么重要的东西，但只要它运行起来，你保不准同事在上边儿存储什么
假设这个机器 Boom 了，数据丢失，影响到同事日常工作，你猜猜领导怎么想？ A. 替你承担责任，跟大家说这个机器就是容易坏，复合预期，丢失的数据和工具自己想办法 C. 体谅你，想着当时给了你一堆二手，已经做好了随时挂掉的心里准备，买设备再让你搭一套 B. 这 ** 服务怎么搭的，动不动就坏，给大家制造这么多问题 |
 |
39
libook 50 天前
除了 RAID-1 以外，RAID 只保障可用性，不保障完整性。
对于企业来说，通常标准实现是两地三中心，也就是本地主集群+本地备份集群+远程备份集群。如果不这么做，一方面等保可能不好过，另一方面遇到天灾人祸丢数据。我们就曾经因为空调故障，导致硬盘挂掉，因为没有远程备份，导致有一个月的业务数据丢失了。 然后一个集群要用什么方案，取决于业务场景。比如只是做办公文件的网络存储，那么 JBOD 就足够了；如果存储媒体之类的大文件，可能需要一些 RAID 方案来提升 IO 性能。 用 JBOD 方案（或 unRAID 之类的等效方案）扩展性好、性能差；用 RAID （或 ZFS 之类的等效方案）扩展性差、性能好。 |
 |
40
zhpjy 50 天前
pve 的虚拟机可以跑在 btrfs 和 zfs 上。我比较熟悉 btrfs ，你可以一开始用一块硬盘，后面加盘做 raid 0, raid 1 ，raid 10 都行。除了 raid 来保证数据。pve 还有官方的 pve backup server 。这些手段肯定是能满足你的需求了。
|
 |
41
guoyijun163 50 天前
公司里的方案是两台服务器，一台跑 TrueNAS CORE ，组 3-way mirror （三盘镜像），一台跑 PVE ，通过 iSCSI 挂载 TrueNAS 上的存储，这个方案问题是 iSCSI 性能一般般，但是满足了逐步存储扩容的需求（但是注意扩容要一次加 3 个盘，而且不会自己均衡）
|
 |
42
StrangerA 50 天前
大概去年一月的时候我协助公司采购了两台铜牌至强，四万块，我当时还纳闷各种扯皮来回寄合同可太麻烦了。
转身我就拿 4000 块给自己家里搭了个环境，跑 NAS + AIO ，还暗暗得意花了十分之一的钱干算力差不多的事情。 一年过去了，公司那两台服务器除了有那么一次物业断电没通知到位，没出过别的情况。家里的环境各种爆炸修都没空修。 实话说有点后悔了。TO C 的产品可靠性未知吧，就不该买二手的。买个新的好歹还有售后支持。 |
 |
43
adambob 50 天前
干嘛用淘汰的服务器，还是给公司用的，这不是给自己找不痛快嘛。
|
 |
44
xuanbg 49 天前
OP 你这个不是应该在 ESXi 里建 2+个虚拟机跑你的乱七八糟的服务，再建个虚拟机把磁盘空间都给他装 NAS 系统么？
|
|
45
qping 49 天前 via Android
|
 |
47
benjaminliangcom 49 天前
windows server/RHEL
|
 |
48
Hengtang 47 天前
服务器一般不同类型硬盘归不同的驱动卡管理，比如我自用的戴尔 R730XD ，前面板 12 个 3.5 寸盘位由一张博通 H330 卡驱动，后面板两个 2.5 寸盘位由主板的 8643 转接扩展板驱动，然后加了一张戴尔的双 SD 卡扩展模块，以及一张佳翼 PCIE 转双 M.2 扩展卡。
现在我的硬盘是这么分配的，首先是底层虚拟化环境由双 SD 卡组成 RAID1 后安装 ESXI 实现，然后两个 2.5 寸盘位安装了一张 1TB 、一张 4TB 的 SSD 用于 ESXI 的虚拟机存储，最后把 H330 卡和佳翼扩展卡均直通给黑群晖虚拟机，由黑群晖管理所有实际存储数据的机械盘，以及使用两张扩展的 1TB NVME 创建读写缓存用于 IO 加速。 这样安排的话，实际存储数据的机械硬盘均交由相对在这方面更加专业的群晖来管理，经过 NVME 缓存加速 IO 后通过超万兆的 VMXNET3 组成内部网桥共享存储给其他虚拟机。相对而言既实现了硬盘管理的安全便利，也有较大的虚拟机管理的灵活性。同时其他的虚拟机也通过群晖的 Active Backup For Business 套件来定时备份 |
|
49
Hengtang 47 天前
公司使用的话你这个硬盘实在是太寒碜了，首先机械是肯定至少两块组 raid ，不然一旦出问题就全凉了。剩下一张 ssd 做 ESXI 系统盘+虚拟机存储也只能说凑活着用。推荐你用 SSD 分 16GB 左右装 ESXI 然后剩余空间作虚拟机存储，然后 ESXI 上开一个群晖或者 TrueNAS ，在意版权的话就 True NAS ，机械盘全直通给 NAS 系统。
不过一切的前提，你得至少加一块 10T 机械，不然你所谓的稳定服务是不能长久的。公司内部用为了数据安全连一块硬盘都加不了那我觉得这公司也没啥前途，没必要待下去 |
|
50
Hengtang 47 天前
NAS 系统上跑虚拟机这个想法最好不要有，各大 NAS 系统的虚拟机功能都属于玩票性质，功能和稳定性相比 ESXI 和 PVE 这种正儿八经的虚拟化环境差很远，真出问题很难维护。专业的事情还是专业的系统来做，虚拟化交给 ESXI 或者 PVE ，磁盘管理交给群晖或者 True NAS 。
|
 |
51
mingwiki 47 天前
懂技术就 debian+mdadm+lvm2 不懂就 openmediavault 。我个人服务器用 win+hyperv+arch+mdadm+lvm2 ，公司不打游戏又追求稳定，那就无脑 debian 或 omv 比 unraid freenas 易用多了还容易扩展。
|
 |
53
dann73580 44 天前
方案实在是太吓人了。如果你硬件懂的多一点，做个垃圾佬买服务器，但是别在硬盘上缩水也行。这种情况要么靠硬 raid 卡冗余。要么安个 pve ，用自带的 zfs 管理。但无论如何最少也得两块硬盘 raid1 ，或者一块盘跑一块盘拿来备份，才勉强算得上有一点点安全性。
预算再怎么锁，也要以满足最基本的冗余为前提。不然就不是揽活，而是揽一个定时炸弹给自己了。炸弹是一定会炸的，不要有侥幸心理。 |
Select Language