如何打造云主机和家里服务器的 K3S 集群

[xxfye]

目前有腾讯云主机 2 台，性能较低，仅作为 web 服务器使用。

但有一些离线计算需要大量计算和存储资源，家里有一台 PVE 搭建的 16C64G16T 服务器希望能利用上。

家用这边打算新建虚拟机，部署 spark/flink on k8s 集群。

如何利用他们打通 k3s 集群部署，做到两边应用互访互通。

要求是家用这边下线，不影响云主机 web 服务。web 服务会自动处理无法访问情况。

[Manger8951]

同问

[ltkun]

我准备部署 docker 官方 swarm 集群 因为家里也是一路 pve 的 all in one 结果十几天前起不来了 人在外一个礼拜 到家又🐑了躺了几天 刚刚搞好 PVE 教训就是搞高可用集群了

[everyx]

几台机器，搞个 docker swarm 集群不行么？

[ruidoBlanco]

其实需求只是「互通」，那就做互通呗。

我三台 Oracle 不要钱的 vps 搭了三节点 k3s 。三节点都部署了 tailscale ，跟家里的 pve 可以打通直连。如果只是「互通」，tailscale 或者 wireguard 就够了。

如果一定要上 k3s ，那就 k3s over tailscale ，也可以的。

[worldquant]

家用 docker 就够用了，没必要折腾。

[locoz]

有个东西叫 kilo （ https://kilo.squat.ai/），你们可以看一下

@Manger8951 #1

[xxfye]

@ruidoBlanco 另一方面是想要学习 k8s ，之前都是 docker-compse 飞起。
我目前也是打算先用 wireguard 把他们搞到同一张内网，再部署 k3s 。
但是不知道比起直接使用 k3s ，再用 flannel 的进行互联的差别在哪里。

@ltkun 我个人从来不敢搞 all in boom 的东西，也做好降级的准备。

[ltkun]

@xxfye 难道 op 家里的 PVE 搭的集群吗？我也就是搞了个 16C128G60T 的 PVE

[nanmu42]

四楼的方案不错的，Tailscale 组网挺好。

k3s 本身耗费的性能还是可观的，还可以考虑 Nomad.

[bboysoulcn]

tailscale 已经垮云组了 4 个节点效果还可以

[bboysoulcn]

如果可以，你可以加入我的集群

[noahzh]

跨云方案的 k8s 方法都是 vpn 链路，没有别的什么可以解决的方案，主要是 k8s 集群内其实对于网络抖动很敏感，其实楼主需求直接上 wireguard 然后腾讯部署 traefik 最简单了，内网在部署一个 traeifk ，流量一中转，后期迁移成本也很低。

[xworkwithreader]

我也用 kilo 还挺好用的