挑战：通过一个问题，测试是不是 GPT4

[oldcai]

有很多场景，需要通过测试问题，推测模型。

之前有朋友说，可以问：树上有 9 只鸟，猎人开枪打死一只，树上还剩下多少只鸟？

但是我试了 5 次，GPT 3.5 才答错一次。

你还知道什么其他的问题可以测试？

[zhangjiashu2023]

3.5 的速度不是比 4 要慢很多吗

[Zzdex]

感觉 3.5 的回答更合适一点。

[oldcai]

@Zzdex 我试过开不同 session ，答错概率就 1/5
regenerate 我不知道会不会有影响，但答错概率只有 2/5

[darkengine]

直接问他是不是 GPT4 ，GPT3.5 会回答说因为它只知道 2023 年 xx 月之前的事情（具体年月忘了），所以不知道这是啥。

刚试了，3.5 会老实回答说它不是。

[gujuji]

@darkengine 这么快就学会撒谎了吗哈哈哈

[hutng]

鲁迅为什么要暴打周树人。

[zhhmax]

“有很多场景，需要通过测试问题，推测模型”，好奇的一点是难道不是选了什么模型就是什么模型吗，怎么还要推测的？

[FishNaCl]

可以用前段时间的两个经典问题试试
为什么我不能参加我爸妈的婚礼
鲁迅为什么暴打了周树人

[oldcai]

@zhhmax 比如你看到一个产品做的不错，想知道背后是什么模型。
比如在第三方 API 转售的时候，测是不是有掺假。

[oldcai]

@FishNaCl
@hutng
这两个问题不错。
鲁迅为什么暴打了周树人这个问题 3.5 会产生幻觉，4 和 4o 都正常。
为什么我不能参加我爸妈的婚礼，3.5 会 100%乱分析，4 可以 100%正确，4o 会有概率不正确。

[zhx643]

林黛玉倒拔垂杨柳

[rebecca554owen]

10000 以内的正整数，有多少个包含数字 1 。

[oldcai]

爱丽丝有 N 个兄弟，她还有 M 个姐妹。爱丽丝的兄弟有多少个姐妹？

[notwaste]

测 GPT4 的问题防君子不防小人，中转如果有意伪装成 GPT4 是会针对这些测试的问题做特殊 prompt 的
实在需要的可以参考站内有个帖子 https://www.v2ex.com/t/947700