V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
NebulaGraph
V2EX  ›  推广

Kubernetes 部署 Nebula 图数据库集群

  •  
  •   NebulaGraph · 2021-03-03 11:27:32 +08:00 · 1239 次点击
    这是一个创建于 1121 天前的主题,其中的信息可能已经有所发展或是发生改变。

    本文首发于 Nebula Graph 官网:https://nebula-graph.com.cn/posts/how-to-deploy-nebula-graph-in-kubernetes/

    Kubernetes 是什么

    Kubernetes 是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes 的目标是让部署容器化的应用简单并且高效,Kubernetes 提供了应用部署,规划,更新,维护的一种机制。

    Kubernetes 在设计结构上定义了一系列的构建模块,其目的是为了提供一个可以部署、维护和扩展应用程序的机制,组成 Kubernetes 的组件设计理念为松耦合可扩展的,这样可以使之满足多种不同的工作负载。可扩展性在很大程度上由 Kubernetes API 提供,此 API 主要被作为扩展的内部组件以及 Kubernetes 上运行的容器来使用。

    k8s-architecture

    Kubernetes 主要由以下几个核心组件组成:

    • etcd  保存了整个集群的状态
    • kube-apiserver 提供了资源操作的唯一入口,并提供认证、授权、访问控制、API 注册和发现等机制
    • kube-controller-manager 负责维护集群的状态,比如故障检测、自动扩展、滚动更新等
    • kube-scheduler 负责资源的调度,按照预定的调度策略将 Pod 调度到相应的机器上
    • kubelet 负责维护容器的生命周期,同时也负责 Volume 和网络的管理
    • kube-proxy 负责为 Service 提供 cluster 内部的服务发现和负载均衡

    Kubernetes 和数据库

    数据库容器化是最近的一大热点,那么 Kubernetes 能为数据库带来什么好处呢?

    • 故障恢复:Kubernetes 提供故障恢复的功能,数据库应用如果宕掉,Kubernetes 可以将其自动重启,或者将数据库实例迁移到集群中其他节点上
    • 存储管理:Kubernetes 提供了丰富的存储接入方案,数据库应用能透明地使用不同类型的存储系统
    • 负载均衡:Kubernetes Service 提供负载均衡功能,能将外部访问均衡到不同的数据库实例副本上
    • 水平拓展:Kubernetes 可以根据当前数据库集群的资源利用率情况,缩放副本数目,从而提升资源的利用率

    目前很多数据库,如:MySQL,MongoDB 和 TiDB 在 Kubernetes 集群中都能运行良好。

    Nebula Graph 在 Kubernetes 中的实践

    Nebula Graph 是一个分布式的开源图数据库,主要组件有:Query Engine 的 graphd,数据存储的 storaged,和元数据的 meted 。在 Kubernetes 实践过程中,它主要给图数据库 Nebula Graph 带来了以下的好处:

    • Kubernetes 能均衡 nebula graphd,metad 和 storaged 不同副本之间的负载。graphd,metad 和 storaged 可以通过 Kubernetes 的域名服务自动发现彼此。
    • 通过 StorageClass,PVC 和 PV 可以屏蔽底层存储细节,无论使用本地卷还是云盘,Kubernetes 均可以透明对接。
    • 通过 Kubernetes 可以在数秒内成功部署一套 Nebula 集群,Kubernetes 也可以无感知地实现 Nebula 集群的升级。
    • Nebula 集群通过 Kubernetes 可以做到自我恢复,单体副本 crash,Kubernetes 可以重新将其拉起,无需运维人员介入。
    • Kubernetes 可以根据当前 Nebula 集群的资源利用率情况弹性伸缩集群规模,从而提升集群的性能。

    下面来讲解下具体的实践内容。

    集群部署

    硬件和软件要求

    这里主要罗列下本文部署涉及到的机器、操作系统参数

    • 操作系统使用的 CentOS-7.6.1810 x86_64
    • 虚拟机配置
      • 4 CPU
      • 8G 内存
      • 50G 系统盘
      • 50G 数据盘 A
      • 50G 数据盘 B
    • Kubernetes 集群版本 v1.14+
    • Nebula 版本为 v2.0.0-rc1
    • 使用本地 PV 作为数据存储
    • CoreDNS 版本 1.6.0+

    K8s 集群规划

    以下为集群清单

    服务器 IP nebula 实例 role
    192.168.0.1 master
    192.168.0.2 graphd, metad-0, storaged-0 node
    192.168.0.3 graphd, metad-1, storaged-1 node
    192.168.0.4 graphd, metad-2, storaged-2 node

    K8s 待部署组件

    • 安装 Helm3
    • 准备本地磁盘,并安装本地卷插件
    • 安装 nebula 集群

    安装 Helm3

    Helm 是 Kubernetes 集群上的包管理工,使用 Helm 可以极大地降低使用 Kubernetes 部署应用的门槛。本文不做 Helm 详细介绍,有兴趣的小伙伴可自行阅读《 Helm 入门指南》

    下载安装 Helm

    使用下面命令在终端执行即可安装 Helm

    $ wget https://get.helm.sh/helm-v3.5.2-linux-amd64.tar.gz
    $ tar -zxvf helm/helm-v3.5.2-linux-amd64.tgz
    $ mv linux-amd64/helm /usr/bin/helm
    

    查看 Helm 版本

    执行 helm version 命令即可查看对应的 Helm 版本,以文本为例,以下为输出结果:

    version.BuildInfo{Version:"v3.5.2", GitCommit:"167aac70832d3a384f65f9745335e9fb40169dc2", GitTreeState:"dirty", GoVersion:"go1.15.7"}
    

    设置本地磁盘

    在每台机器上做如下配置

    创建 mount 目录

    $ sudo mkdir -p /mnt/disks
    

    格式化数据盘

    $ sudo mkfs.ext4 /dev/diskA 
    $ sudo mkfs.ext4 /dev/diskB
    

    挂载数据盘

    $ DISKA_UUID=$(blkid -s UUID -o value /dev/diskA) 
    $ DISKB_UUID=$(blkid -s UUID -o value /dev/diskB) 
    $ sudo mkdir /mnt/disks/$DISKA_UUID
    $ sudo mkdir /mnt/disks/$DISKB_UUID
    $ sudo mount -t ext4 /dev/diskA /mnt/disks/$DISKA_UUID
    $ sudo mount -t ext4 /dev/diskB /mnt/disks/$DISKB_UUID
    
    $ echo UUID=`sudo blkid -s UUID -o value /dev/diskA` /mnt/disks/$DISKA_UUID ext4 defaults 0 2 | sudo tee -a /etc/fstab
    $ echo UUID=`sudo blkid -s UUID -o value /dev/diskB` /mnt/disks/$DISKB_UUID ext4 defaults 0 2 | sudo tee -a /etc/fstab
    

    部署本地卷插件

    $ curl https://github.com/kubernetes-sigs/sig-storage-local-static-provisioner/archive/v2.4.0.zip
    $ unzip v2.4.0.zip
    

    修改 v2.4.0/helm/provisioner/values.yaml classes 部分:

    • hostDir: /mnt/fast-disks 改成 hostDir: /mnt/disks# storageClass: true 改成 storageClass: true。然后执行:
    $ helm install local-static-provisioner --namespace default sig-storage-local-static-provisioner/helm/provisioner
    # 查看 local-static-provisioner 部署情况
    $ helm list
    NAME                    	NAMESPACE	REVISION	UPDATED                              	STATUS  	CHART            	APP VERSION
    local-volume-provisioner	default  	1       	2021-02-10 11:06:34.3540341 +0800 CST	deployed	provisioner-2.4.0	2.4.0 
    

    部署 nebula 集群

    下载 nebula helm chart

    # 下载 nebula chart
    $ helm repo add nebula-charts https://vesoft-inc.github.io/nebula-docker-compose
    $ helm pull nebula-charts/nebula
    $ tar -zxvf nebula-v2.0.0.tgz
    

    设置 Kubernetes node 节点

    下面是 Kubernetes 节点列表,我们需要设置 node 节点的调度标签。可以将 192.168.0.2_,_192.168.0.3_,_192.168.0.4 打上 nebula: "cloud" 的标签。

    服务器 IP kubernetes roles nodeName
    192.168.0.1 master 192.168.0.1
    192.168.0.2 node 192.168.0.2
    192.168.0.3 node 192.168.0.3
    192.168.0.4 node 192.168.0.4

    具体操作如下:

    $ kubectl  label node 192.168.0.2 nebula="cloud" --overwrite 
    $ kubectl  label node 192.168.0.3 nebula="cloud" --overwrite
    $ kubectl  label node 192.168.0.4 nebula="cloud" --overwrite
    

    调整 values 默认值

    nebula helm chart 目录如下:

    nebula
    ├── Chart.yaml
    ├── README.md
    ├── templates
    │   ├── configmap.yaml
    │   ├── deployment.yaml
    │   ├── _helpers.tpl
    │   ├── NOTES.txt
    │   ├── pdb.yaml
    │   ├── serviceaccount.yaml
    │   ├── service.yaml
    │   └── statefulset.yaml
    └── values.yaml
    
    1 directory, 11 files
    

    可以根据运行环境需求修改 charts/nebula/values.yaml  里面的默认值

    通过 helm 安装 nebula

    $ helm install nebula charts/nebula 
    # 查看部署状态
    $ helm status nebula
    NAME: nebula
    LAST DEPLOYED: Fri Feb 19 12:58:16 2021
    NAMESPACE: default
    STATUS: deployed
    REVISION: 1
    TEST SUITE: None
    NOTES:
    Nebula Graph Cluster installed!
    
    1. Watch all containers come up.
      $ kubectl get pods --namespace=default -l app.kubernetes.io=nebula -w
    # 查看 K8s 集群上 nebula 部署情况
    $ kubectl get pods --namespace=default -l app.kubernetes.io=nebula
    NAME                             READY   STATUS    RESTARTS   AGE
    nebula-graphd-676cfcf797-4q7mk   1/1     Running   0          6m
    nebula-graphd-676cfcf797-whwqp   1/1     Running   0          6m
    nebula-graphd-676cfcf797-zn5l6   1/1     Running   0          6m
    nebula-metad-0                   1/1     Running   0          6m
    nebula-metad-1                   1/1     Running   0          6m
    nebula-metad-2                   1/1     Running   0          6m
    nebula-storaged-0                1/1     Running   0          6m
    nebula-storaged-1                1/1     Running   0          6m
    nebula-storaged-2                1/1     Running   0          6m
    
    

    访问 nebula 集群:

    $ kubectl get service nebula-graphd
    NAME            TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)                                          AGE
    nebula-graphd   NodePort   10.105.47.116   <none>        9669:31646/TCP,19669:30554/TCP,19670:32386/TCP   22m
    
    # 使用 nebula-console 测试
    $ docker run --rm -ti --entrypoint=/bin/sh vesoft/nebula-console:v2-nightly
    # 通过 NodePort 连接到 graphd 组件
    / $ nebula-console -addr 192.168.0.4 -port 31646 -u root -p vesoft
    2021/02/19 05:04:55 [INFO] connection pool is initialized successfully
    
    Welcome to Nebula Graph v2.0.0-rc1!
    
    (root@nebula) [(none)]> show hosts;
    +---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
    | Host                                                          | Port | Status   | Leader count | Leader distribution  | Partition distribution |
    +---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
    | "nebula-storaged-0.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |
    +---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
    | "nebula-storaged-1.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |
    +---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
    | "nebula-storaged-2.nebula-storaged.default.svc.cluster.local" | 9779 | "ONLINE" | 0            | "No valid partition" | "No valid partition"   |
    +---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
    | "Total"                                                       |      |          | 0            |                      |                        |
    +---------------------------------------------------------------+------+----------+--------------+----------------------+------------------------+
    Got 4 rows (time spent 2608/4258 us)
    
    

    FAQ

    如何搭建一套 Kubernetes 集群?

    搭建高可用的 Kubernetes 可以参考社区文档:https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/high-availability/

    如何调整 nebula 集群的部署参数?

    在使用 helm install 时,使用 --set 可以设置部署参数,从而覆盖掉 helm chart 中 values.yaml 中的变量。参考文档:https://helm.sh/docs/intro/using_helm/

    能否兼容 nebula v1.0.0+ 集群部署?

    v1.0.0+ 不支持内部域名解析,需要修改 charts/nebula/values.yaml,配置如下:

    hostNetwork: true
    metadEndpoints: []
      - 192.168.0.2:9559
      - 192.168.0.3:9559
      - 192.168.0.4:9559
    

    如何在 K8s 集群外部访问 nebula 内部组件?

    本文使用 NodePort 的方式访问 graphd 组件,其他的访问方式还有 hostPort 、hostNetwork 、Ingress 、LoadBalancer,需要您根据实际的部署环境来定制。

    如何查看 nebula 集群状况?

    使用 kubectl get pods --namespace=default -l app.kubernetes.io=nebula命令,或者直接在 Kubernetes dashboard 上查看 nebula 集群的运行状况。

    如何使用其他类型的存储?

    参考文档:https://kubernetes.io/zh/docs/concepts/storage/storage-classes/

    推荐阅读

    pythonee
        1
    pythonee  
       2021-11-23 21:04:49 +08:00
    图数据库现在主要的应用场景有哪些呀?
    NebulaGraph
        2
    NebulaGraph  
    OP
       2021-11-25 13:40:26 +08:00
    @pythonee 比较常见的是风控、反欺诈、推荐,也有用来做数据治理、函数关系调用之类。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1711 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 16:41 · PVG 00:41 · LAX 09:41 · JFK 12:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.