biggun

local.ai 用来选型本地模型

  •  
  •   biggun · 1h 11m ago · 113 views

    有点意思,试着用 mbp m5 max 128GB 跑了这些模型,大差不差,step 的确实能够支撑日常 hermes 使用了。

    这个 EigenLabs/Qwen3.8-27B-4bit 的 bench 也很有意思,用 autoresearch 提升模型在 mlx 的 throughput 。但是跑了两天,才达到 192.3 。300 多的怎么搞出来的。

    https://local.ai/radio/invite

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3704 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 04:39 · PVG 12:39 · LAX 21:39 · JFK 00:39
    ♥ Do have faith in what you're doing.