Linux 主力机+多开虚机的最佳实践是什么

2022-04-17 22:07:11 +08:00
 hanssx
前 2 天发了这么一个帖子(已下沉 1 天) https://v2ex.com/t/847100

主要需求:
1. Linux 作主力机,把虚拟机多开的这个需求分离出来,让 PVE 方案来做,当主力机需要用到虚拟机时,就 rdp 或 vnc 到 pve 里面的 windows 或 linux 。
2. 只用来安装 windows 与 linux ,不需要安装 openwrt 、omv 、nas 等。初步想法是在 PVE 里面装一个 windows 7 (用作日常工作沟通、收发邮件、安装 windows 的一些软件比如 X 雷)、一个 windows server 2016 (学习与测试)、一个 ubuntu (学习与测试)、一个 linux mint (学习与测试)。
3. 不考虑 mac ,已习惯 i3wm+mint ,主要是业界这些毒瘤软件不支持 Linux 让人烦。


因为没做过相关实操,有几个问题想请教做过的老哥:
1. 我也知道 pve 里面装 Linux 比较合适,但是需求就是要用 windows ,想问一下,在相同硬件情况下,pve 里面装 windows 虚拟机和普通的 vmware workstation 装 windows 虚拟机的方式,性能差别应该不大吧?如果相差很大,是为什么以及咋解决呢?
2. 如果这套方案可行,我是想把 pve 放到公司 7*24 (主要在公司用电脑嘛,只走内网 RDP 也快,还能用公司电费),硬件体积最好小一些(也不用追求太极致,性能还是最主要的),pve 也是看了几天 youtube 视频才了解一点点(视频杂乱不成系统),硬件选配方面也不懂,我想问一下应该如何学习硬件选配和 pve 虚拟化(有网络基础和 Linux 基础),老哥们有比较推荐的播主或资源论坛吗。
13522 次点击
所在节点    Linux
76 条回复
documentzhangx66
2022-04-18 13:11:30 +08:00
方便自己开发测试:Windows Server 2019 里面装 VMware Workstation Pro 。

企业生产、稳定,裸机直接装 VMware ESXi 最新版。

PVE 的优势在于集群 ceph ,如果只是单机且无 ceph 需求,用 PVE 不如用 VMware ,毕竟 VMware 的方便性与兼容性更好。
longbye0
2022-04-18 13:31:58 +08:00
昨天折腾了下 PVE ,暂时就安装了 win10 显卡直通用来打游戏。
msg7086
2022-04-18 13:37:17 +08:00
@documentzhangx66 ESXi 功能上太残废了,被 PVE 吊打。
要好好用 ESXi 的话,至少也要装上 vCenter 吧。
而且 ESXi 对硬件的兼容性仅限于服务器配件,家用件根本不管的。
Workstation 我没怎么玩过,不评论。
Chase2E
2022-04-18 14:02:44 +08:00
不知道为什么有在本地启动多个虚拟化主机的需求.
如果只是为了隔离服务环境的话, aliyun 或者 aws 开几个 ec2, 用 terminal 连接就行了, 还不用担心关机影响代码运行
hanssx
2022-04-18 15:18:22 +08:00
@ltkun 老哥你写的文章在哪儿呀

@ferock 这也是一种思路,但是就需要 2 台设备了,我得再想想。

@0o0O0o0O0o 擦,64G 内存夸张了

@ety001 老哥你这啥配置呀,扩展显卡的话就是方便插拔然后也是要直通给 windows 虚机吧。

@aaniao002
@chocotan
@Linken404
感谢各位,已将推荐硬件加入调研计划。
hanssx
2022-04-18 15:21:10 +08:00
@Chase2E 老哥,病毒分析会需要的,虽然我不会分析,但是经常需要测试一些恶意软件,平台 windows 、linux 都有。
documentzhangx66
2022-04-18 16:15:38 +08:00
@msg7086

ESXi 只是 VMware 全家桶 里的一个基础部件而已,相当于 PVE 的底层 KVM ,你拿 ESXi 和 PVE 比不恰当。

要比,应该是拿 VMware 全家桶 和 PVE 去比。

VMware 是早期 IBM 内部一帮专门做虚拟化,然后独立出来的公司,基本上是地球上最早做企业级虚拟化的。其产品 VMware 全家桶,包含虚拟化、分布式存储、软件定义网络、私有云、混合云,还有 EMC 提供的备份还原与数据重删等等,这些都是地球上最顶尖最前沿的东西。

PVE 、openstack 甚至 docker 都是在抄袭它的技术架构,然后做成免费版...连 java 那边一堆容器化思路也是这么来的。

真要比,VMware 全家桶是劳斯莱斯,PVE 是 5 号电池驱动的玩具车。

另外,连 DELL 、HP 、IBM 等厂家甚至要专门为它的技术标准,来出专门的硬件与软件,所以 VMware 不需要去费力不讨好地适配各种家用级硬件,因为家用级硬件不配,其不稳定性还容易搞坏 VMware 的声誉。PVE 如果不去做家用硬件兼容,连汤都喝不上了。
wolfmei
2022-04-18 16:55:45 +08:00
@documentzhangx66
赞同,VMWARE 还是大牛,我自己在工作环境搭了个三节点的 PVE 问了朋友关于 PVE 升级的问题,直接给我来一句你们这么有钱玩 PVE 干嘛~笑死我
CatCode
2022-04-18 17:22:29 +08:00
@msg7086 @documentzhangx66 vCenter 这种到底有啥用啊?感觉个人折腾虚拟化或者只有一台宿主机的情况下,ESXi 本体就完全够用了(如果选用 vmware 方案而不是 pve 方案的话)
Biwood
2022-04-18 17:30:25 +08:00
外加一个 Windows 平板,用 Barrier 进行通信即可
Agre
2022-04-18 18:03:18 +08:00
最近配置了百元机装 pve 可供参考
documentzhangx66
2022-04-18 19:09:47 +08:00
@CatCode ESXi 只是个虚拟化基础,并且只有一些最基本的管理功能,相当于 VMware Workstation Pro 、PVE 等在高级功能上大砍一刀。

不过,如果 ESXi 的功能,就足够你用了,你也没必要去安装其他全家桶软件,毕竟装那些软件要浪费一大笔资源。
itgoyo
2022-04-18 19:43:15 +08:00
同样的 i3wm+Linux Mint ,这组合真的是太香了,就是 A 卡驱动总是驱动不上,我枯了
msg7086
2022-04-18 23:44:30 +08:00
@documentzhangx66 那么,和免费的 PVE 对比,VMware 全家桶要花多少钱呢?
我上一家公司就是做 vCenter 二次开发的,只知道光装一个 vCenter 做虚拟机克隆就已经要小 5000 刀了。
咱公司大概买了十几个授权,几万刀的样子。
当然你要说全用 D 版倒也不是不可以。
但是就稳定性来说 vCenter 和 PVE 真的是不能比。
我们帮客户修机器,大概有 20%的时间是 vCenter 炸了我们要帮他们删了重装系统。
VMFS 也经常炸,如果不小心死机重启了,或者断电了,开机回来各种小鸡配置或者数据就不见了。
这种企业级的东西我觉得真的需要企业级的运维,炸了以后知道怎么去修去重装,又或者去买订阅。

@CatCode ESXi 只有最基本的功能,开新鸡,开关小鸡,改小鸡配置,这些基本功能。
集群,主机间迁移,小鸡克隆,这些高级功能全都需要 vCenter 。
当然你可以打开 SSH 进去在 VMFS 之间手动搬文件……
documentzhangx66
2022-04-19 00:08:35 +08:00
@msg7086

1.PVE 为啥免费?因为无论功能上、稳定性上,都是被 VMware 全家桶 吊打。再不免费,谁用?

2.VMware 全家桶是贵,但人家配啊。企业级不用 VMware ,难道去用 PVE ?

3.你说稳定性来说 vCenter 和 PVE 真的是不能比,你有证据嘛?

4.你说你们帮客户修机器,大概有 20%的时间是 vCenter 炸。那么,PVE 有没有这情况?

其次,客户的 vCenter 每次炸的原因是?

VMFS 每次炸的原因是?

5. 企业级的东西,因为承载的东西贵,价值高,当然需要企业级的运维,来保障数据安全。出这个钱的目的就在此。

PVE 这类家用的玩意,数据丢了就数据,会导致很大损失嘛?会有人担责甚至离职嘛?
msg7086
2022-04-19 01:19:02 +08:00
@documentzhangx66 那,这和楼主有什么关系呢……楼主是有运维团队,还是有 24 小时不间断电源配柴油发电机,还是愿意每年交 VMware 订阅呢?

企业用 VMware 当然没问题,出问题直接打电话找 VMware 的技术工就行了,5000 刀加每年的技术支持订阅费也不是白交的呀。

你要问炸的原因,就是 ESXi 有时候会紫屏崩溃,以及有时候机房电力供应会出问题。VMware 的全家桶是默认你服务器永不紫屏永不断电的情况,如果出现了就很容易挂的。我们有很多次就是因为 ESXi 死机,重启以后小鸡 BIOS 的 NVRAM 都丢了,然后我们加班帮客户重建小鸡恢复系统。我们和 VMware 打了那么多年交道,直接就导致了我自己绝对不考虑去用 VMware 的虚拟机产品,太坑了。

我可以给你再列举一些 VMware 整的活。比如他们家的产品 SSL 证书安装是有问题的。系统生成的自签名证书用起来一切正常,但是你要是把公网或者公司内部签出来的证书往 vCenter 里塞,你就等着 vCenter 炸了重装系统吧。这问题从我入职的时候 vC 5.5 开始,一直到我离职的时候 vC 6.7 为止,没一个好的。
还有比如他们刚开始的时候用的 vSphere client 桌面端来管理 vC ,用起来好好的,非要整活,搞 HTML5 管理界面,搞就搞吧,结果正式版发布出来,HTML5 的界面没做完,vSphere client 又 deprecate 了,硬要用不仅缺功能还会莫名其妙炸,一直到 vC 6.5 发布出来,才总算有个能用的 HTML5 管理界面。每次客户来问我们能不能升级 vC6 ,我只能告诉他们这版本没法用。
还有比如 VMkernel 里有个 Linux 驱动兼容层,可以让 VMkernel 挂载 Linux 的驱动。但是 ESXi 6 里给 megaraid 新做了一个原生驱动,但是这个原生驱动是有问题的,放在 HP 特定的服务器上跑,会不定时出现 IO 错误。我司内部的一台 HP 刀片机集群上了 ESXi 6 以后整个炸了。解决方法是换用 5.5 ,或者把 6 里面的原生驱动删了,强制用 Linux 驱动跑。
后来我们给 ESXi 6 做二次开发的时候,测试环境你猜我怎么搞的?底层装一个 ESXi 5.5 ,里面开虚拟机,虚拟机里装 ESXi 6 ,再在虚拟机里开虚拟机跑系统,好了,不炸了。
哎,这堆破玩意儿贡献了我好多的加班时间,想起来就火大。

确实,这东西就是靠运维团队(比如我们)来撑起来的。只要客户永远不碰这个稀烂的管理界面,永远不需要 SSH 连上去看 VMFS 里那堆文件,任何需求只要给我们打个电话,我们来帮他对接 VMware ,那这套系统用起来就挺不错的。我们收费也不贵,一年几万美元的样子,钱到位了什么都好说。

最后我再来问你,PVE 什么时候变成家用的玩意了?
「 Proxmox VE is a complete, open-source server management platform for enterprise virtualization.」
大哥看到 enterprise 了吗?
我现在副业帮人一起运营 VPS 服务,一半的机子跑 solusvm 一半的机子跑 PVE ,PVE 稳得一批。人家底层是 Linux ,你说 Linux 是家用级吗?我怎么觉得比 VMkernel 靠谱呢。

你说的「企业级不用 VMware ,难道去用 PVE 」我觉得只说对了一半。不是企业级用 VMware ,而是传统行业的企业级用 VMware 。科技公司的虚拟化大都基于 KVM 。我司对接的是那些传统行业的大企业,比如律所,货运公司,百货公司,医院,这些企业会大量用到基于 Windows Server 的大型环境,比如我们隔壁城市医院的整套医务系统跑在 80 多台 Windows Server 上,这种环境才需要用 VMware 的集群来承载。又比如普通公司,域控+Exchange+Sharepoint+Dynamics AX 的架构,才要用 VMware 来跑。

科技 /互联网公司的运行环境肯定是 KVM 为主的,至于在 KVM 上面跑的是 OpenStack 还是 PVE 还是古典的 libvert ,那也只是控制面板的问题。毕竟当我们说用 PVE 的时候,我们指的是用 Debian 当操作系统,Linux 当内核,KVM 当 Hypervisor ,PVE 当控制面板。

哦,刚想起来,VMware 的那套 HTML5 的管理系统,出过好多次 RCE 漏洞呢。
不用账号密码可以直接以管理员身份登录呢。
CatCode
2022-04-19 08:45:58 +08:00
@msg7086 @documentzhangx66 我遇到过最大的问题是:之前在我司的一台内网测试机上装了 PVE ,然后创建了一个虚拟机(物理机是双 CPU 的,所有核心全给虚拟机了),然后跑编译,总是跑着跑着虚拟机内核炸了,必须 ssh 登 PVE 来 kill 虚拟机进程。原因不明。
但是装 ESXi 就好了,一直没出过任何问题。
---------------------------
PVE 对于我而言,感觉一些 UI/UX 细节还是不如 VMware 。例如虚拟机 BIOS 的启动项配置失误,开机进了 PXE (开机->PXE->内网没有 PXE 服务->重启->PXE 循环),这个阶段想给虚拟机强制关机,PVE 就很困难。
Agre
2022-04-19 09:36:11 +08:00
@Agre #31 二三线品牌,还算稳定
knowery
2022-04-19 10:54:40 +08:00
小白,刚用 PVE ,感觉很稳定,IKAUI+OP+DEBIAN ,J1900-8G-240G ,家用 10-15W ,一天半度电
nilai
2022-04-19 12:08:12 +08:00
@msg7086 说得在理

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/847541

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX