如何把大模型集成到自己的应用里?

[LINEX]

有这样一个场景:

用户提问, 根据大模型返回的数据去调用自己应用的 API, 根据 API 响应结果, 做一定的处理后展示给用户.

请问我该如何将大模型集成到这个流程里?

我理解这里需要大模型返回的是特定格式(比如 json), 那么就需要让大模型已经提前学习了我的 API 文档.

不知道大家有没有实现过类似的? 用 chatGPT 方便实现吗, 还是用一些开源模型比如 chatGLM 微调呢.

PS: 本人没有算法基础, 所以希望集成过程简单点

[qizhiyuan]

你可以看下 openai 官方的文档，8 月份已经有了这个功能叫 Function calling 可以让大模型判断是否调用你的函数

[jingcoco]

感觉是各种 llm 工具(比如 langchain) 的 agent 功能 是做这个的. 看了好几个文章,还没有测试

[okoklll]

可以试试 langchain 的 Agent ，将你的应用定义为 tool ，Agent 会根据 tool 的描述，调用合适的 tool

[minipeach]

@qizhiyuan Function calling 不好用，很多情况下都无法调用函数，还是 langchain 靠谱

[SurgaOrange]

用 python 调用 langchain 判断，新版本 API 只需少量代码就可以做到了

[mmdsun]

@minipeach 可以设置强制调用函数。默认参数是自动调用的。