jinsongzhaocn
V2EX  ›  Local LLM

部署 Qwen3.8-27B 模型死循环问题最新升级

  •  
  •   jinsongzhaocn · 1h 2m ago · 137 views

    部署 Qwen3.8-27B 模型的朋友,死循环问题可以升级了。 https://huggingface.co/froggeric/Qwen-Fixed-Chat-Templates llama.cpp 的配置参数里指定模板文件:

    --jinja --chat-template-file /model/Qwen3.8-27B/chat_template.jinja --reasoning-format deepseek

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5567 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 07:50 · PVG 15:50 · LAX 00:50 · JFK 03:50
    ♥ Do have faith in what you're doing.