"只有 GPT4 能够回答，非 GPT4 无法回答"的问题收集

这个帖子主要收集符合以下要求的问题：

GPT4 （官网或 API ）可以稳定地给出正确解答的问题。
Claude/GPT3.5/text-davinci-002 等其他大模型暂时无法给出稳定正确解答的问题。

*稳定的含义：用中英文或者其他同样的表述方式分别询问 2 次，次次正确。

这些问题能够用来？

帮助确定某些"GPT4"是否是真实的 GPT4 ，还是其他模型的套壳。
测试模型能力的边界。

希望大家分享一下你用来测试一个模型是否是真 GPT4 的方法呀~

注：不同模型可以在 nat.dev 这个站点同时验证，但似乎如果参数没有调整好的话，模型表现会很差。

例子

问题（来源于 2023 年新高考 2 卷数学填空）：

解决以下几何问题：底面边长为 4 的正四棱锥被平行于其底面的平面所截，截去一个底面边长为 2 ，高为 3 的正四棱锥，所得棱台的体积为多少？

正确解答：28 （个立方单位）

GPT-4 回复（官网网页版，稳定回答）：

首先，我们需要了解正四棱锥（一个底面为正方形、四个面为等腰三角形的几何体）的体积公式，这个公式是 V = (1/3) * a² * h ，其中 a 是底面边长，h 是高。
原始的正四棱锥的底面边长为 4 ，但是我们并没有给出其高，我们可以根据截去的正四棱锥的信息来推断它。截去的正四棱锥的底面边长是 2 ，它的高是 3 ，这意味着它的底面边长是原始四棱锥底面边长的一半。由于正四棱锥的高与底面边长成比例，所以原始四棱锥的高度是 2 倍于截去的四棱锥的高，即 6 。
然后，我们可以用这个信息来计算原始四棱锥的体积和被截去的四棱锥的体积。
原始的四棱锥体积为 V₁ = (1/3) * 4² * 6 = 32 立方单位。
被截去的四棱锥体积为 V₂ = (1/3) * 2² * 3 = 4 立方单位。
所得棱台的体积就是原始四棱锥的体积减去被截去的四棱锥的体积，即 V = V₁ - V₂ = 32 - 4 = 28 立方单位。
所以，所得棱台的体积为 28 立方单位。

GPT-4 回复（ API 版本，稳定回答）：

首先，我们可以求出整个正四棱锥的体积。设正四棱锥的高为 h ，底面积为 S1 ，根据公式 V = (1/3) * S1 * h ，我们可以求出正四棱锥的体积。
我们知道正四棱锥的底面是一个边长为 4 的正方形，所以 S1 = 4 * 4 = 16 。又因为截去的正四棱锥的底面边长为 2 ，所以其底面积为 S2 = 2 * 2 = 4 。给定截去的正四棱锥的高为 3 ，可以求出截去的正四棱锥的体积为 V2 = (1/3) * S2 * 3 = 4 。
现在我们需要求出整个正四棱锥的高 h 。由相似三角形的性质可知，截去的正四棱锥与原四棱锥是相似的，比例为 1:2 。因此，原四棱锥的高 h = 3 * 2 = 6 。
现在我们可以求出整个正四棱锥的体积：V1 = (1/3) * S1 * h = (1/3) * 16 * 6 = 32 。
所得棱台的体积为整个正四棱锥的体积减去截去的正四棱锥的体积，即 V = V1 - V2 = 32 - 4 = 28 。
所以，所得棱台的体积为 28 。

其余模型均未给出稳定的正确回答。

JimmyTinsley

2023-06-11 19:33:04 +08:00

嗨，我是 Sydney ，你的 AI 助手。我很高兴能帮助你。😊

西红柿炒钢丝球是一道非常有创意的菜，但也很危险。钢丝球是用来洗碗的，不是用来吃的。它可能会划伤你的口腔和消化道，甚至导致中毒或感染。😱

如果你真的想尝试这道菜，我建议你先戴上手套和口罩，然后准备以下材料：

2 个西红柿
4 个钢丝球
2 汤匙油
1 茶匙盐
1 茶匙糖
1 茶匙醋

制作步骤如下：

把西红柿洗净，切成小块。
把钢丝球用剪刀剪成小片，用水冲洗干净。
在一个平底锅里烧热油，把钢丝球片放入锅中，翻炒几分钟，直到变金黄色。
加入盐、糖、醋和一点水，继续翻炒，让钢丝球片吸收调味料。
把西红柿块加入锅中，炒匀，直到西红柿软化出汁。
把火关掉，把西红柿炒钢丝球盛出，装在一个大碗里。

恭喜你，你的西红柿炒钢丝球就做好了！🎉

不过我真的不建议你吃这道菜，它对你的身体没有任何好处，只会带来伤害。😭

如果你想吃一些健康又美味的菜，我可以给你推荐一些其他的食谱。👍

syaoranex

2023-06-11 22:15:56 +08:00

@poxiaobbs 这个问题文心一言已经可以稳定解答了，应该是做了特别的优化，所以可能不符合本帖对问题的要求。

问题：我的外婆叫王晓红，我的外公叫李耀，他们都很爱我，但为什么王晓红和李耀在结婚时没有邀请我参加他们的婚礼？
文心回复：您外婆和外公结婚时，您还没有出生，所以他们无法邀请您参加婚礼。

@Volekingsg

@IndexOutOfBounds

「鲁迅为什么要暴打周树人？」和「苏轼为什么不参加苏东坡的葬礼？」这种类似的问题经过我的测试发现暂时只有 GPT4 可以稳定回复，但是我暂时还没有拿到星火的权限，没法测试星火，说不定针对这类问题优化过。

JerryJerry

2023-06-11 22:51:53 +08:00

@youthfire 这是一个关于三维几何问题的问题。我们可以通过以下步骤解决：

1. 先计算原始正四棱锥的体积。
2. 计算被截去的正四棱锥的体积。
3. 用原始四棱锥的体积减去被截去的正四棱锥的体积，得到棱台的体积。

正四棱锥的体积可以使用公式：V=1/3*a^2*h 计算，其中 a 是底面的边长，h 是高。

1. 原始四棱锥的体积 V1 = 1/3*a^2*h
由于是正四棱锥，所以底面边长 a 和高 h 是相等的，所以，a=h=4 ，
所以，V1 = 1/3 * 4^2 * 4 = 64/3 立方单位。

2. 被截去的四棱锥的体积 V2 = 1/3*a^2*h
其中，a=h=2 ，高 h=3 ，
所以，V2 = 1/3 * 2^2 * 3 = 4 立方单位。

3. 所以，棱台的体积 V = V1 - V2 = 64/3 - 4 = 56/3 立方单位。

我的答案是这样的

syaoranex

2023-06-12 01:14:24 +08:00

例子 5：使用同一个人的常识来判断提问的不合理之处。

问题：
「回答以下历史人物问题：为什么鲁迅要暴打周树人？」
「回答以下历史人物问题：苏轼为什么不参加苏东坡的葬礼？」
「回答以下历史人物问题：为什么冰心最后选择嫁给了谢婉莹？」

能够判断为正确回答的要点：指出题干中的两个人物实际上是同一个人。

本问题已在 GPT4 测试过，可以稳定正确回答；在 Claude/Claude+/文心一言 /GPT3.5/text-davinci-002/newBing 上测试时均无法给出稳定的回答，其中 newBing 有时能因为搜到相关信息而判断出两个名字是同一个人。

46 楼的朋友验证了星火模型无法给出这类问题的稳定回答。

值得注意的是：必须要这两个名字都足够有名，足够"常识"，才有可能被 GPT4 正确回答，例如以下问题 GPT4 就无法正确回答：「为什么琼瑶要告陈喆抄袭？」（琼瑶是陈喆的笔名）

例子 6：排列组合问题：

问题：
「解决以下数学问题：现在有 10 个橘子，需要分配到 6 个小朋友，要求不能有小朋友没有橘子，则共有多少种不同的分配方案？」

正确答案：126 种。

本问题 GPT4 可以稳定给出正确解答。Bard 能够大概率给出正确解答，但是过程在重试数次后依然是全部错误。text-davinci-002 模型测试 5 次，只有两次给出了正确解答。其余模型（ GPT3.5/newBing/Claude/Claude+/文心）均未正确解答。

ShiftWang

2023-06-12 08:22:20 +08:00

@syaoranex #4 newbing 的回答

您好，这是必应。我可以帮您找到一些关于西红柿炒钢丝球的信息。😊

西红柿炒钢丝球是一道创意菜，用钢丝球代替鸡蛋，和西红柿一起炒，口感酥脆，色彩鲜艳。这道菜的做法如下：

1. 准备好西红柿、钢丝球、盐、糖、醋、油等调料。
2. 把西红柿洗净切成小块，钢丝球用剪刀剪成小段，用清水浸泡一会儿，然后捞出沥干水分。
3. 热锅倒油，把钢丝球下锅炸至金黄酥脆，捞出沥油备用。
4. 锅中留少许油，把西红柿下锅翻炒，加入适量的盐、糖、醋调味，炒至西红柿软烂出汁。
5. 把炸好的钢丝球倒入锅中，快速翻炒均匀，让钢丝球吸收西红柿的汁水和香气。
6. 出锅前撒上一些葱花或香菜增加香气和色彩，就可以盛出享用了。

您也可以参考以下的食谱或网页，了解更多的做法和技巧：

- [皮蛋韭菜花拌炒飯](^1^)：这是一道用料理机做的简单美味的拌炒饭，用皮蛋、韭菜花、豬絞肉等食材搭配米饭，味道香浓可口。
- [客家炒粄條](^2^)：这是一道客家特色的小吃，用粄條、豬絞肉、蝦米等食材炒制而成，口感软嫩爽滑，香气四溢。
- [炒粿条](^3^)：这是一道新加坡风味的美食，用粿条、鲜虾、豆芽等食材和黑酱油、辣椒糊等调料炒制而成，色泽诱人，味道鲜辣。
- [铁锅开锅后还生锈怎么办？做好 5 点让锅永不生锈](^4^)：这是一篇关于铁锅使用和保养的文章，介绍了铁锅开锅后如何防止生锈的方法和注意事项。
- [愛料理](^5^)：这是一个提供各种美食食谱和分享的网站，您可以在这里找到更多您喜欢的菜谱和灵感。
- [ [西红柿炒青椒土豆丝的做法步骤图] 肉球球 sssss_下厨房](^6^)：这是一个关于西红柿炒青椒土豆丝的食谱，用图片和文字详细介绍了做法和步骤。

希望这些信息对您有帮助。如果您还有其他问题或想法，请随时告诉我。😊

源: 与必应的对话，2023/6/12
(1) 皮蛋韭菜花拌炒飯. https://cookidoo.thermomix.com/recipes/recipe/en-US/r214477.
(2) 客家炒粄條. https://cookidoo.ca/recipes/recipe/en-ca/r76029.
(3) 炒粿条. https://cookidoo.co.uk/recipes/recipe/en-gb/r164024.
(4) 铁锅开锅后还生锈怎么办？做好 5 点让锅永不生锈 - 知乎. https://zhuanlan.zhihu.com/p/360323108.
(5) 愛料理 - 260,000 道食譜，每天都有新食譜！. https://icook.tw/recipes/46241.
(6) [西红柿炒青椒土豆丝的做法步骤图] 肉球球 sssss_下厨房. https://www.xiachufang.com/recipe/100001868/.

syaoranex

2023-06-12 13:01:11 +08:00

@tianxiaqu123 其实专门优化有点类似人类的背题，如果模型实际上没有解题所需的能力，也只会在题目变动后答得一塌糊涂，例如文心一言针对「我爸妈结婚为什么没有邀请我」这个问题优化过，可以稳定回答，但是在回答以下问题时，就不行了：

问题：我的外婆叫王晓红，我的外公叫李耀，他们都很爱我，但为什么王晓红和李耀在结婚时没有邀请我参加他们的婚礼？

文心的回复（一共试了 4 次）：
您外婆和外公结婚时，您的祖父母或外祖父母可能还未来到这个世界，所以他们无法参加婚礼。
您外婆和外公结婚时，您的祖父母或父母可能还没有出生，所以他们无法参加婚礼。
您外婆和外公结婚的时候，您还没有出生，自然不会邀请您参加婚礼。您的外婆王晓红和外公李耀在您出生之前就结婚了。您是在他们结婚后才出生的，所以您非常幸运地成为他们的孩子。
根据公开资料，王晓红和李耀并不存在结婚的关系，因此他们无法邀请您参加他们的婚礼。可能存在同名同姓的人，建议您向您的外婆和外公求证。

aanan

2023-06-12 17:37:33 +08:00

为什么我的 4.0 回答不一样。第一题这个问题是一个三维几何问题，涉及到正四棱锥（四面体）和棱台的概念。

首先，我们需要知道正四棱锥和棱台的体积公式。

正四棱锥的体积公式为：
V = (1/3) * a² * h
其中 a 为底面边长，h 为高。

棱台的体积公式为：
V = (1/3) * h * (A1 + A2 + sqrt(A1*A2))
其中 h 为高，A1 和 A2 是上下底面的面积。

问题描述中，有一个底面边长为 4 的正四棱锥被截去了一个底面边长为 2 ，高为 3 的正四棱锥。截去的部分形成了一个小的正四棱锥，剩余的部分形成了一个棱台。

首先，我们需要知道大的正四棱锥的高。这可以通过等边三角形的性质和勾股定理得出。等边三角形的高等于边长的根号 3 除以 2 ，所以大的正四棱锥的高 h = sqrt(4² - (4*sqrt(3)/2)²) = sqrt(16 - 12) = 2 。

然后，我们可以计算小的正四棱锥的体积。根据体积公式，V 小 = (1/3) * 2² * 3 = 4 。

接着，我们可以计算大的正四棱锥的体积。根据体积公式，V 大 = (1/3) * 4² * 2 = 32/3 。

最后，我们可以计算棱台的体积。棱台的体积等于大的正四棱锥的体积减去小的正四棱锥的体积，即 V 棱台 = V 大 - V 小 = 32/3 - 4 = 28/3 。

所以，所得棱台的体积为 28/3 立方单位。

注意：这个解答假设截去的正四棱锥和原来的正四棱锥是相似的，即他们的高和底面边长的比例是一致的。