请问一下关于 mask 的开源 grok2

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 552 天前的主题，其中的信息可能已经有所发展或是发生改变。

得是啥配置的电脑能跑起来啊，门外汉想试一下

请教各位大佬

是需要大内存吗？显卡有要求吗

1 条回复 • 2024-03-18 15:19:31 +08:00

Qetesh

2024-03-18 15:19:31 +08:00

有网友开始好奇 314B 参数的 Grok-1 到底需要怎样的配置才能运行。对此有人给出答案：可能需要一台拥有 628 GB GPU 内存的机器（每个参数 2 字节）。这么算下来，8xH100 （每个 80GB ）就可以了。