我的场景是: 让 LLM 输出某个城市的几个推荐的景点的位置，同时需要保证这些地点是真实存在的，纯粹通过 Prompt 约束，明显是不行的。
现在我通过 Gpt-4o 的 Structured Output ，对其生成结果逐个进行真实性查询，倒是能达到效果，但是缺点是：Structured Output 没法实现 Stream 的方式输出，导致结果要超过 10s 才出现
求助：如何既能保持真实性又能满足 stream 输出呢？
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 747 days ago, the information mentioned may be changed or developed.
 |
SolixOct 19, 2024
1
接入地图 API 来判断真实度，大模型谈真实本来就是相悖的
|
 |
2
@gaobh 嗯，目前确实是通过地图 API 来判断的，就是这样速度就慢了很多
|
 |
vevlinsOct 19, 2024
3
为什么不前置给个景点的知识库，或者对输出结果做缓存，你对于某个城市的输出结果不总是一致的是吗
|
 |
forgottencoastOct 19, 2024
4
@HeyCaptainJack
全国的景点一共没多少个，全收集起来，用不着地图 API 吧。 |
|
5
@vevlins RAG 这块代码，我没具体实操过，请问配置好知识库之后，能 100%按知识库的推荐来输出吗
|
|
6
@forgottencoast 对于 5A, 4A 景点啥的，这些数据能找到，但是比如小县城，就没有这些，不知道数据源要从哪获取？
|
|
forgottencoastOct 19, 2024
7
|
|
8
@forgottencoast 嗯，是的，这里面数据很多，不过只能爬过来自己维护了
|
|
forgottencoastOct 19, 2024
9
@HeyCaptainJack
他们可能会有付费的 api 。 |
|
vevlinsOct 19, 2024
10
@HeyCaptainJack 你说的我不确定，你可以用 fastgpt 或者 302.ai 之类封装过的工具先快速试验下，他们支持上传 pdf 作为知识库，每次提问后会先搜索知识库，然后再进行回答。
|
|
11
@forgottencoast 一般这种，都不提供 api 的
|
 |
bigtearOct 19, 2024
12
配置好知识库，让 AI 直接给出知识库里保存的位置 ID ，然后对比
|
 |
KHHj7U2DNROct 19, 2024
13
你是圆周笔记 app 的开发者吗？圆周笔记可以根据小红书帖子生成地图景点。
|
|
14
@KHHj7U2DNR 嗯，圆周那个，是基于笔记内容，抽出来对应的位置，真实度可信，我这个需求不一样
|
|
15
@bigtear 嗯，就是不清楚能否💯完全按照知识库内容输出
|
 |
mumblerOct 19, 2024 via Android
16
解决幻觉最好办法就是知识库，现在的大模型已经足够听话了，我们还会让大模型回答问题同时还要把资料出处给出来，用户自己也能再核查一遍真实性。说实话，旅游景点比法律法规容错性高多了
|
|
17
@mumbler 哈哈，现在想起来，AI 法律可是真难啊
|
Select Language