服务隔离的必要性疑问、以及不同 Docker Host 之间通信的方案

目前的主机硬件及配置方案

具体配置可以参考之前的帖子，大概的配置是 5950X+128G+若干存储，host 系统是 proxmox ，安装了若干 lxc 和 vm 。其中有一个 lxc 用作 docker host ，lxc 基本上以服务类型区分，网关、下载、文件服务等等。

遇到的痛点

配置混乱，维护困难。难以记忆。作为一台 nas ，基本上不遇到大问题，我是不会进入到 cli 来进行维护，这样造成很容易忘记一些配置容器时的参数，包括挂载路径、密码、用户等等，结果就是上新服务麻烦，维护旧服务也很麻烦;

预想的解决方案

通过 ansible 进行各种服务的安装，包括创建 lxc ，安装 /更新 lxc 环境相关组件，安装 docker 服务，创建 /启动 /更新相关容器。目前已经实现了一个 lxc+几个 docker 容器的配置，实验下来体验完好。接下来只要按部就班把需要的服务一个个写成 playbook 就好。

新方案疑难

服务隔离。由于使用的配置性能较强，lxc+docker 套娃容器在 CPU 、硬盘性能上没有发现明显瓶颈，内存也够用，所以性能方面的 overhead 可以不用考虑，同时隔离后，我可以根据不同服务分别写一个 playbook ，可以进一步降低未来维护的心智成本；同时，隔离后也可以较为方便的对资源、权限进行加载、设置；所以是否有必要进行服务隔离呢，或者有什么弊端么？
容器通信。如果 1 中的答案是 yes ，那么接下来的问题是如何让各 lxc 以及其内的 docker 容器进行通信（因为打算数据库应用集中在一个容器、以及反代的需要），目前能想到的有两个方案
- Docker Swarm 。将所有 lxc 的 docker 组成 swarm ，建立 overlay network 。不考虑 k3s 、k8s 等等，非运维人士，也不打算在这方面更进一步；
- LXC Private Network over PVE Host 。在 PVE 上建立网桥，将所有 lxc 接入，所有 docker 容器配置为使用这个 interface ，网关容器使用所有 interface 。
- 上述两个方案简单试了一下，网络性能也没有瓶颈，最慢也可以到 40G 水平，所以倒是不用考虑，配置方面因为使用 ansible ，所以也不是痛点。我能想到的是，通过第二种方式配置，lxc 之间也可以较为方便的通信，方便非 docker 方式安装的应用可以无痛使用。但是不太清楚这两种方式是否有较大的弊端？

目前有这两大方面的疑问，提前感谢各位给予的各种建议。

ruidoBlanco

2022-08-15 06:40:42 +08:00

根据我的用法，大体说下：

- 我的 pve 上跑三个 lxc docker host ，按功能分配容器：

1. caja: jellyfin, heimdall, minio, node-red, paperless-ng, uptime-kuma ，总之各种家用服务
2. arr: radarr, sonarr, tdarr, transmission, prowlarr ，wireguard ，下载一条龙
3. adguard: adguardhome ，netinstallxyz ，算「基础设施」吧

- 每个 docker host ，都是一个 docker-compose 拉起所有服务。容器间如果需要在同一个网络，那么就放同一个 lxc ，比如 arr 里面的东西。

- 不同所有的配置文件，都在 pve 的同一个目录里，比如 /disk/backup/docker ，然后这个目录用 bind mount 的方式挂载到所有 lxc host 上，然后所有 docker 容器的 config 都写到这个目录里。另有一个数据分区，在 caja 和 arr 都需要，/disk/media ，我也是 bind mount 挂载到两个 lxc 。

- 所有的 docker-compose 文件，都在一台 vm 的同一个叫做 compose 的目录里管理，比如 caja 的在 compose/caja/docker-compose.yml ，切换子目录的时候，用 direnv 切换 DOCKER_CONTEXT 环境变量。这里当然需要先配置了 docker context 管理这些 lxc docker host 。

我用法只用到 docker-compose ，完全不需要 swarm 或者 k3s 。也不需要 ansible ，docker host 只需要大体配好一台，pve 里做成 template ，以后就是 clone 的事情了。vlan 感觉也是加了没必要的复杂度。