AI 关于字符串回答总是错误的问题

[coderMonkey]

提问 AI ，waterTemperature 总共多少字符，AI 总是会发生错误，换了几个平台都这样

[chris850527]

用了 claude 没问题，你可以试试

[AoEiuV020JP]

ai 睁着眼镜说瞎话的问题还是没解决，目前依然算是语言模型，只能保证语言正确，

[zsh2517]

@chris850527 顺便测试了一下 poe.com 上的 GPT4 ，也没有问题。

[matrix1010]

你要知道 LLM 是没有智能的, 更不可能去进行准确数学计算。简单的统计 AI 也许能答对, 但稍微复杂点就完全不行了。比如这个:
how many "r" and "a" in "strawberry"

Gemini 1.5 Pro 的回答

Let's count:
R: There is one "r" in "strawberry".
A: There are two "a"s in "strawberry".

[yorhaha123]

看我写的文章

https://zhuanlan.zhihu.com/p/696192942

[Procumbens]

你要知道在语言模型里看到的不是词 而是 token...

[mightybruce]

出这种蠢的问题，意义何在？为了显示比 AI 聪明？
这个调用一下函数库就能得到结果，还不如让 AI agent 根据自然语言生成相应的函数调用回答准确。

[ibegyourpardon]

https://chat.openai.com/share/6ea160fe-b150-444c-a860-0da7ebac9171

[R4rvZ6agNVWr56V0]

@chris850527 Claude 3 Opus 不行，回答也是错误

[R4rvZ6agNVWr56V0]

我的测试题目是 #4 提供的这道题

[Solix]

这个写个脚本就行了吧，没必要问大模型

[taotaodaddy]

OP 和 4#的问题,poe 上的 GPT4 都能做对,是不是生成并调用了 python 程序做对的呢?

[billccn]

@taotaodaddy 可能性大，要不然得训练模型记住每个 token 里面多少个字符，还得训练模型做心算。前者好像不值得花这个时间，后者还是个技术难题。

[dayeye2006199]

因为现在主流的 tokenization 是 subword ，没法很好的处理字符串 level 的问题。

[yadam]

#5 的文章写的很详细, 学习了
如果 op 的流程里一定依赖这种数长度流程的话, 会不会用 tool calling 可以比较完美的解决?

[Meteora626]

输入是 token ，而且还要切分，现在基本上都是 bpe ，输入文本都不知道被切成啥样了，除非有标识符来标识每个字

[SmiteChow]

因为目前都是人工智障，别抱太大希望。