V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
frankyzf
V2EX  ›  问与答

最便宜的得到 32G 显存的方式是什么?

  •  
  •   frankyzf · 118 天前 · 2833 次点击
    这是一个创建于 118 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如果跑大模型,对显存的大小有要求。另外如果是 windows 下需要 Nvidia 的显卡。先谢谢了。自己知道的有配台 Windows 台式机或 Mac Mini ,不知道还有没有其他方式。

    16 条回复    2023-11-06 15:20:07 +08:00
    kindjeff
        1
    kindjeff  
       118 天前   ❤️ 2
    emmm 或许是 intel 核显跑 pytorch 吧,然后插 32 G 内存条
    kidlj
        2
    kidlj  
       118 天前
    找一个大模型算法工程师的工作 :doge:
    chesha1
        3
    chesha1  
       118 天前
    在 GPU 云(比如 autodl )上租个 A100 ,因为看上去不是专业用途,个人用户自己玩玩的话,还是租比较合算,A100 大概每小时 6 块钱
    担心不会用浪费时长,可以去 paperspace 买个包月会员
    RiESA
        4
    RiESA  
       118 天前
    个人玩的话,感觉目前最划算还是魔改的 2080 22G 的版本,才两千多 但是达不到 OP 说的 32G
    cwyalpha
        5
    cwyalpha  
       118 天前 via iPhone   ❤️ 1
    4060ti 16g 2
    hemingcn
        6
    hemingcn  
       118 天前 via iPhone
    把内存分配给显存用、弄个 512g 显存🤔
    em70
        7
    em70  
       118 天前
    阿里云已经停售 A100 了,现在 32G 显存最便宜的方法是买 macbook m1 max 32G,京东大概 2 万左右,比买 4090 划算
    yummysakko
        8
    yummysakko  
       118 天前
    sxm2 的 V100 吧
    icyalala
        9
    icyalala  
       118 天前
    本地跑的话,Mac Studio 64GB 内存,RTX8000 48G 显存,都是两万上下?
    paopjian
        10
    paopjian  
       118 天前   ❤️ 1
    超过 24g 就不存在游戏卡了,大模型训练都是多路计算卡,楼上 RTX8000 也算实惠的了,或者 3.7w 的 A100 40G
    我觉得你如果还不清楚自己的需求话不如先租服务器试一下?
    modestdeveloper
        11
    modestdeveloper  
       117 天前   ❤️ 1
    不考虑速度的情况下,mac 确实是一个性价比之选
    lithiumii
        12
    lithiumii  
       117 天前 via Android
    能多卡的话就买老卡呗
    bihui
        13
    bihui  
       117 天前
    4060 16g 不够用吗?
    netabare
        14
    netabare  
       117 天前
    如果不限定操作系统的话,MacBook 好像不错
    frankyzf
        15
    frankyzf  
    OP
       117 天前
    谢谢大家回复。 @bihui 只是看到文章里提到 13b 的需要 32g ,所以先问下。因为没有实践过,所以不确定实际的效果。
    sketcherly
        16
    sketcherly  
       117 天前
    如果只是玩的话可以找一些租显卡的服务,可以看下我之前用过的这个,为了避免广告嫌疑 base64 aHR0cHM6Ly9tYXRwb29sLmNvbS8K ,或者顺着这个思路找个同类产品
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2572 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 11:20 · PVG 19:20 · LAX 03:20 · JFK 06:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.