我想训练一个垂直领域快速识别用户意图的 AI，求技术路径指导

[wvv8oo]

目的：在一个垂直领域内，通过输入自然语言判断用户的意图。意图可以被枚举出来，自然语言在一个范围内。
要求：性能希望能在 100ms 以内，越快越好

目前调研 RASA 中，不知道各位大佬有别的建议吗

[mumbler]

用 grop 的大模型 API

[ggbond2233]

哈哈哈哈,这题我会 但是 100ms 国内目前做不到

[wvv8oo]

@ggbond2233 自己服务器有可能么
@mumbler Groq 确实挺快，如果实在解决不了，也是一个方案。

[mumbler]

@wvv8oo #3 自己部署 100 毫秒不可能，要尽量快就只能用 3B 以下的小模型，4090 去跑，推荐 gemma2 2B 模型，完成分类还是够用了

[ggbond2233]

用小模型,分类可以做,自己服务器很吃力的
就用之前各家对话平台的模型 都可以实现