V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
uriel2333
V2EX  ›  Kubernetes

请教大佬 k8s 资源分配问题

  •  
  •   uriel2333 · 190 天前 · 1152 次点击
    这是一个创建于 190 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在 Deployment 创建 15 个 pod 实例压测无法跑满 cpu ,最多只用到了分配 cpu 的 40%,性能就同比例下降。 如果只创建几个 pod 比如 1 ,2 个,再做压测就不会出现 cpu 跑不满的问题。

    对于 yaml 文件里 limits 和 requests 都配置了,负载均衡也看过没有问题。 所以这个是什么问题造成的呢,是 k8s 哪里的配置导致的吗?

    第 1 条附言  ·  190 天前
    补充一下,每个 pod 都在不同的节点,所以没有 cpu 竞争关系。
    pod 上部署的是模型文件,如果只是简单的数学计算,例如斐波那契数列,同样的资源配置,压测就很容易打满 cpu 。
    感觉是和模型使用的 cpu 指令有关系,但是已经在不同的结点了,应该互相没有影响才对,实在不明白。
    9 条回复    2023-10-20 19:01:43 +08:00
    devopsdogdog
        1
    devopsdogdog  
       190 天前   ❤️ 1
    估计是 cpu 调度问题,观察上下文和 io
    mantou99
        2
    mantou99  
       190 天前 via Android
    猜测多核优化的问题
    kubelet 加参数 cpu manger policy =static
    resource 设置 limit=request
    然后再测试看看
    standchan
        3
    standchan  
       190 天前
    pod 上面一层的负载均衡你们是用什么
    uriel2333
        4
    uriel2333  
    OP
       190 天前
    @standchan 上一层是腾讯云的 lb ,这个也看过了,没啥问题,pod 上面跑的是模型,不知道有没有什么影响
    uriel2333
        5
    uriel2333  
    OP
       190 天前
    @mantou99 好的大佬,我试试
    uriel2333
        6
    uriel2333  
    OP
       190 天前
    @devopsdogdog 好的 谢谢
    standchan
        7
    standchan  
       190 天前
    @uriel2333 #4 你可以确认一下不同节点用的 cpu 是否是一样的,如果你跑这种偏低层的计算。amd 和英特尔可能会不太一样?另外你可以观察一下,如果每个节点都只分配到一个 pod ,但是 pods 数量大于你测试的 2 个,性能会不会下降?
    uriel2333
        8
    uriel2333  
    OP
       190 天前
    @standchan CPU 我看到是 x86 的,没看到是哪个牌子,我测试过,超过 8 个 pod 就会开始性能下降,不超过 8 个,cpu 利用率还是能到 80%
    yyttrr
        9
    yyttrr  
       190 天前
    推理场景是吧?阿里云的 ECI 效果明显好于 ECS ,腾讯云的话就是 EKS ,你试试吧
    我当时在 32 核机器上跑推理,超过 16 个 pod 也遇到过会变慢的情况,后来全改成用 servless pod 了
    每个 pod 独立一台小机器,性能好得很
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1478 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 16:58 · PVG 00:58 · LAX 09:58 · JFK 12:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.