• 请不要在回答技术问题时复制粘贴 AI 生成的内容
rizon
V2EX  ›  程序员

qwen 模型坑太多了:缓存命中后延迟反而增高,参数不兼容导致 langchain 调用报错

  •  
  •   rizon ·
    othorizon · 54 mins ago via Android · 97 views
    qwen3.8 max 模型带图流式输入后,在输出 tool 调用时输出内容里就会丢掉 role 字段。导致 langchain 不兼容直接没法用。



    模型在 reasonning_effort 上采用的是 none 而不是 minimal 关闭思维链。

    以及不支持 tool_choice required 写法。如果你的 langchain 用 OpenAI 的包调用这个模型,创建 agent 做 responseformat 就会被 fallback 到 tool_choice required 写法直接报错。


    不止这一家还有些模型也有各样的问题,这就导致一个使用了大量不同形式的模型请求的项目如果想要换一个模型就要考虑到底能不能兼容适配。

    严重增加迁移成本和风险。

    为了可以实现安心轻松的替换模型。我专门做了一个网站
    👉 https://llmapicheck.dev/

    涵盖 性能测试,参数兼容,能力测试等等,完全浏览器本地运行,无任何数据进服务器。

    然后我发现一个奇怪的现象。qwen3.8 max 缓存命中后的 ttft 反而增高了。有谁知道为什么啊🤔



    rizon
        1
    rizon  
    OP
       52 mins ago via Android
    火山的模型也非常难用,ttft 很高。还很容易脱靶,工具调用和假性思维链经常容易逃逸到正文。

    在一个实时语音对话产品里,这两家模型测试下来都有各种问题。

    不知道大家有什么好的国产模型推荐
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3077 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 14:23 · PVG 22:23 · LAX 07:23 · JFK 10:23
    ♥ Do have faith in what you're doing.