一道 Java 八股，检测 AI 智商

[dtla]

You should give me the interview answer directly, without explaining anything unless necessary. Your answers are expected to be directly used for a Java interview. Please be concise, but your answers should perfectly satisfy the interviewer.

The question is: How do you deal with the error?

这个八股的内在逻辑在于，error 不等于 exception ，问的是遇到 error 该怎么办，而不是 exception handle 。

经过多次测试

只要一上来就回答 try-catch 或者 exception handle 的，都是智商不行的。google 家的所有 AI 全部垃圾，copilot Pro 也垃圾。不能通过测试

官网的 GPT 4 可以过，gpt4-1124 模型回答的最好，claude.AI 回答的可以接受。

官网 GPT 4:

1124 模型：

Google gemini ultra:

[dtla]

@kneo 因为原本问的是如何 handle error ，gpt 给出了 handle error 而非 handle exception 的方法。这个时候你加一句，能不能使用 try -catch ，gpt 说不能，我觉得这已经相当有说服力了吧。

[kneo]

@dtla 我的评估应该很清晰，三条中满足一条，就认为 AI 理解了你原文的“error”。

你后来加了 try catch ，歧义消除 90%，我觉得大部分 AI 都能成功。结果显示 gpt4 能回答满足一。没问题。

但是你原文可没加 try catch ，并且原文截图内容显示 gpt4 的回答不满足我提的三条要求中任意一条，我认为它明显失败了。但你至少在原文里依旧认为它做的很好。我认为是幻觉。

[dtla]

@kneo 很简单，经过我的测试，其余模型全部失败了，加上 try catch 也没用。这个能说明问题了吧，不信你可以去试试。

其余模型回答：Yes, you should use try-catch!

[CyrilYu]

官网的 chatgpt 没过测试啊，我这边显示还是"使用 try-catch"，难道 0125 模型独一党？有点不可置信

[CyrilYu]

op 你确定你图片截图的没有上下文吗？这个问题你是对的，try catch 肯定不应该被使用，但是 0125 能识别这个问题我有点不信啊，你是不是有上下文联系？

[dtla]

@CyrilYu 没有上下文，经过我的测试，0125 模型 80%的情况也 fail 了，20%能识别出来。其余模型是 100% fail 。

[dtla]

现在看到了吧，前面说这道题无意义的人，真的是可笑。还有一个自称 openjdk 的 author ，回答应该是捕获 error ，真的是笑掉大牙了。

[tamer]

这能发展到语法对喷我没想到。。这里大多数都是撑死看个文档顶天的人，口语估计连个 how are you 都不会回答。
你要是把中文内容放到翻译里来回翻一下，给人一种中文不熟练的感觉，评论就是另一种光景了。

以前有看到某个视频下面的评论里，说作者口语有口音，不地道，然后被其他人指出作者本来就是母语者。莫名搞笑，也可悲。

没必要鸡同鸭讲的。每天看看水深火热板块图一乐挺好的

[iseki]

不是，如果你强调的是 java.lang.Error 难道不应该至少大写 Error 吗？作为面试题，你把原题中与 java.lang.Exception 的比较删除，这就已经丢失了很多信息，作为一个人类我尚且不能给出一个直接的回答，指望 ChatGPT 就有点困难了。

此外 Error 是否建议捕获要看场景。如果我加一个读取大文件的前提呢？还不建议捕获 Error 吗？

[dtla]

@iseki 你说的大致没错，但是 0125 模型已经给出完美的答案了。

本帖没有讨论 java ，讨论的是 ai 模型的强弱。你都没有看出来的事情，AI 有的看出来了，有的没看出来，不正是可以说明 AI 的强弱吗？

[dtla]

@iseki 另外，在 Grokking 这本书上面，error 是小写不是大写，

[iseki]

@dtla Gemini 就不说了，再次看了下这几个 AI 的回答，我是觉得 「官网 GPT 4 」「 1124 模型」 这两个都算是不错。

[iseki]

@dtla 我是觉得，看见 error 就当作 java.lang.Error 这正是弱的表现，即使语境限制在 Java 面试中

[iseki]

唔，看到了你在最后的 1124 那个消息里加入了 try-catch 的提示··· emmm 这也不算多聪明吧

[dtla]

@iseki 我赞同你说的，但对 ai 模型比较来说，我觉得是有意义的

[dtla]

@iseki 但就算加了 try catch ，其余模型过不了

[iseki]

从这一点上说，GPT 4 确实秒了 Gemini 那个···那玩意儿甚至不如一个搜索引擎 @dtla

[hardto]

赞同，以后模型效果会越来越好，普通程序员需求会减弱，估计普通的 crud 程序员也不好找工作了吧。

[ll11l1lIIlIl1llI]

您好！我将您提示中的问题修改为了 "What will you do if there's an error in your program?" 询问了官网的 GPT 3.5 ，并且 GPT 3.5 没有提到 try catch 。可能你的提示并不是比较恰当。不过 AI 的自然语言理解能力可能也算智力。
https://ibb.co/HnXWqbX

[potatowish]

Gemini