V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
WinkeyLin
V2EX  ›  OpenAI

高频低延迟的小模型选型求教

  •  
  •   WinkeyLin · 16 小时 48 分钟前 · 243 次点击

    我正在开发一个消息转发服务,每天大概在 500 条消息左右,每条消息在 500 字符内。我想调用一个小模型来实现文本翻译和简单的内容审核过滤功能,并用 JSON 格式输出处理结果,System Prompt 大概在 1100 Tokens ,请问各位 V 友目前的最佳选择是什么? 国内外模型均可,目前尝试了 Qwen2.5 的 7B 和 14B 模型,感觉差强人意。

    目前尚无回复
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2703 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 06:17 · PVG 14:17 · LAX 22:17 · JFK 01:17
    ♥ Do have faith in what you're doing.