V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wangbin11
V2EX  ›  程序员

你们有搞 gpu 算力平台的吗

  •  
  •   wangbin11 · 95 天前 · 3826 次点击
    这是一个创建于 95 天前的主题,其中的信息可能已经有所发展或是发生改变。
    • idc 的显卡租赁太贵了
    • 用普通用户的显卡,去跑那些模型服务
    • 相当于 pcdn 用存储和宽带,而你我得朋友你用用户的显卡

    我想看看 V2EX 有作这方面的吗

    40 条回复    2024-04-18 21:18:45 +08:00
    dayeye2006199
        1
    dayeye2006199  
       95 天前   ❤️ 2
    我只能说,搞一堆 4090 做计算集群的,可能连 data sheet 都没读过。
    数据中心卡为什么是数据中心卡,游戏卡为什么是游戏卡,都是有关键不同点的。
    yanest
        2
    yanest  
       95 天前   ❤️ 1
    都是想当然的,以为一个机器插 8 个 4090 就能 8 倍算力了,赶超 h100 了
    l4ever
        3
    l4ever  
       95 天前
    搞了 6 块 4080 算吗?
    ETiV
        4
    ETiV  
       95 天前
    https://github.com/b4rtaz/distributed-llama

    Run LLMs on weak devices or make powerful devices even more powerful by distributing the workload and dividing the RAM usage.
    stoneabc
        5
    stoneabc  
       95 天前
    @dayeye2006199 4090 做推理用,多数场景完爆一堆数据中心卡…只能说老黄真是暴利
    wangbin11
        6
    wangbin11  
    OP
       95 天前
    @all ,大佬们我说的是如何便宜的使用而不是说几倍算力注意审题
    tap91624
        7
    tap91624  
       95 天前
    pcie 带宽有限,都得上 nvlink ,家用卡做算力集群怎么可能这么简单
    GeekGao
        8
    GeekGao  
       95 天前
    只有玩具意义,没有生产意义。
    doublebu
        9
    doublebu  
       95 天前
    带宽有限不太适合大模型。但是也有相关项目: https://stablehorde.net/
    totoro52
        10
    totoro52  
       95 天前
    wangbin11
        11
    wangbin11  
    OP
       95 天前
    @totoro52
    @doublebu 牛哦,国内有没有,我想去谈合作
    totoro52
        12
    totoro52  
       95 天前
    @wangbin11 #11 国内不太清楚哦,这个平台目前不支持国内,会被租出去但不会给费用
    doublebu
        13
    doublebu  
       95 天前
    @wangbin11 国内不清楚,如果你是有算力的话,可以尝试在咸鱼租用。我朋友 2080ti 22g 的魔改卡租给出图的,好像是 9 块钱一天。
    kneo
        14
    kneo  
       95 天前 via Android
    这种是咸鱼小作坊模式。
    neopenx
        15
    neopenx  
       95 天前
    ToC 做分布式算力,用户机器的稳定性和数据隐私都是问题。自己搞搞玩玩可以,出了事故就完蛋了
    cczh678
        16
    cczh678  
       95 天前
    有,在这里,提供 AI 训练平台提供 AI 训练推理的过程资源管理和效能服务; GPU 池化解决方案,保护 GPU 投资,让 GPU 共享,发挥最大效率;提供 AI 训练推理高性能存储资源池,同时也做 LLM 大模型一体机建设,基础设施和平台一体化交付,有端到端的 AI 基础设施解决方案,希望和您取的联系,加强合作。
    cczh678
        17
    cczh678  
       95 天前
    @wangbin11 我这边可能能帮上 OP 的忙。
    xxb
        18
    xxb  
       95 天前 via Android
    有的,我就是相关的人
    dayeye2006199
        19
    dayeye2006199  
       95 天前 via Android
    @stoneabc 啥完爆,推理这种暂且不论模型太大需要做分布式推理的,一上通讯游戏卡直接速度原地爆炸的。
    就说完全不需要通讯的,资源分割和池化,mig vgpu 啥也不支持,利用率直接跌穿地板
    wangbin11
        20
    wangbin11  
    OP
       95 天前
    @xxb 有没有兴趣加个好友聊聊认识下
    s2555
        21
    s2555  
       95 天前
    我怎么听着好像挖坑那一套,发币给报酬
    GeruzoniAnsasu
        22
    GeruzoniAnsasu  
       95 天前
    你们想做平台还是采购算力,我这有个国内搞这些的群
    streamrx
        23
    streamrx  
       95 天前 via iPhone
    搞算力是要很中性化拼成本拼效率的, 分散的 gpu 哪些电脑稳定性 网速根本就跟不上。rndr io.net akt 就是搞去中心化算力的 炒作价值拉满 实际意义根本不大。 但是这些币值得买 ai 在币圈太牛逼了
    PbCopy111
        24
    PbCopy111  
       94 天前
    没看到你的问题呀,你问什么呢?
    wangbin11
        25
    wangbin11  
    OP
       94 天前
    @all ,感谢大家的回复,我加了一些人,也了解了,感谢哈
    wangbin11
        26
    wangbin11  
    OP
       94 天前
    @streamrx 大佬说的很中肯,那些投资人就喜欢投资这种短平快
    vincent7245
        27
    vincent7245  
       94 天前 via Android
    我两块捡破烂的 P40 照样搞的热火朝天
    kennylam777
        28
    kennylam777  
       94 天前
    不如先看看 https://vast.ai

    但最少要求是可靠的 Internet, 家中的就算了, 礦場一類的規模還是有機用的
    shijingshijing
        29
    shijingshijing  
       93 天前
    你猜为什么 H100 这种都要不计成本的上 HBM ?为什么要用昂贵的 NVLink 而不是 PCI-E ? NVIDIA 为什么要花大价钱收购一个做数据中心网络的 Mellanox ?
    chesha1
        30
    chesha1  
       93 天前
    @dayeye2006199 太想当然了,有的公有云也有游戏卡可以租,对于推理来说性价比够高,数据中心里不全是计算卡
    dayeye2006199
        31
    dayeye2006199  
       93 天前
    @chesha1 您这才是在想当然把。。nvidia 的 EULA 您都没了解过把?消费级显卡不是不允许在数据中心环境下使用的,你这说的云都是什么野鸡云
    chesha1
        32
    chesha1  
       93 天前
    @dayeye2006199 那你去向 NVIDIA 举报吧,百度云里就有不少 3090
    dayeye2006199
        33
    dayeye2006199  
       93 天前
    @chesha1 请不要散布不实信息,百度云 GPU 全系都是数据中心系列的 tesla 的卡
    wlm907091813
        34
    wlm907091813  
       93 天前
    有,我们在成都有算力池,消费级别的有 3090 ,4090 那些,企业级别的就是 A100 等
    chesha1
        35
    chesha1  
       93 天前
    @dayeye2006199 百度云 GN3 就有 3090 的型号,现在创建新的只有 V100 T4 这些卡了,但是还有存量的 3090
    stoneabc
        36
    stoneabc  
       93 天前
    @dayeye2006199 我说的就是普通模型的推理,搞分布式推理当然不行。但就我了解到的,云上目前大部分推理资源都还是用于普通模型推理。另外 vgpu 、MIG 虽然不支持,但各云厂商都有自己的切分技术,cGPU qGPU ,想提高利用率的方法多了去了。
    stoneabc
        37
    stoneabc  
       93 天前
    @dayeye2006199 你也太理想化了…国内几个厂商都有消费级卡,你想举报可以去 NV 举报,看它管不管:)
    234ygg
        38
    234ygg  
       93 天前
    大项目的话完全不可行,别说一堆乱七八糟的显卡了,就算是正经服务商,全用 a100 都能导致各种不一致。cpu 超算也有类似问题。

    冗余度接受度极高的小项目也许可行。。。其实这也就是未来的 edge computing ,现在很多家都在做。。。(但此游戏的核心是储能和超低延迟,不是算力)
    分布式计算当年 seti 和 folding 项目早就玩过了,上个世纪就发现几乎各个环节都有无法规避的问题,其实 btc 也是那帮人后来搞出来的。(看得懂的估计不多,80 年代的大师应该知道我说的是什么)
    Satansickle
        39
    Satansickle  
       57 天前
    @wangbin11 同感兴趣,拉个群聊呗 eHN3d3BwcA==
    wangbin11
        40
    wangbin11  
    OP
       55 天前
    @Satansickle 没有咯,看看而已
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4341 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 01:04 · PVG 09:04 · LAX 18:04 · JFK 21:04
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.