本地运行 llama3.1 405B 需要什么样配置的机器？

2024-07-26 11:21:45 +08:00
 niceTeen84
2223 次点击
所在节点    OpenAI
5 条回复
xtreme1
2024-07-26 11:23:40 +08:00
exo https://github.com/exo-explore/exo + 192G MacStudio x2
yinmin
2024-07-26 14:48:51 +08:00
together 、fireworks 、openrouter 上都有已部署的 llama3.1 405B ，我用了感觉还不如 qwen2 72B ，根本没法和 gpt-4o 、claude 3.5 sonnet 比拼。
445141126
2024-07-26 18:26:10 +08:00
@yinmin 是用中文吗, llama 中文非常拉跨
antiblahblah
2024-08-02 11:31:14 +08:00
@xtreme1 这个配置跑起来什么速度？多少个 token/秒？
antiblahblah
2024-08-24 12:24:26 +08:00
@xtreme1 为什么要 x2 ？

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1060251

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX