高估了 GPT5.5 ehigh 的能力

16 小时 33 分钟前
 ryougifujino
周末用 GPT5.5 ehigh (全程官方订阅+Codex )写了一个 AI 小说 App 。

PRD 是和 AI 讨论后再 Review 实现的,然后 5.5 根据 PRD 生成实现计划。主要涉及到上下文管理和多 Agent 协作,还是有一点复杂。

用 goal 跑了接近 2 个小时,用的 TDD 的流程开发的,代码看起来像模像样的,测试也很全。结果最后的成品让我大吃一惊,不但点按钮没有任何反应,在把可见 Bug 通过把报错信息丢给 AI 修复后发现很多地方还是用不了,直接用的模拟数据。而且有很多地方设计也很不合理。

之前在修复某一个 Bug 或者解决某一个单一需求时 GPT 给我的感觉良好,结果这种长程任务没想到完成的这么糟糕,也不知道是模型降智了还是能力上限就在这了。
2425 次点击
所在节点    程序员
22 条回复
musi
16 小时 30 分钟前
可能是降智了
我让它拆分重构一个 8k+的 ts 文件
它先帮我 copy 了一份然后 rename
在原始文件中导入这个新的文件
然后和我说重构完成,现在只有一行代码
JasonYip
16 小时 14 分钟前
感觉现在 ai coding 长程任务还是避免 只能人工拆解需求一点点丰富实现到 后面上下文腐化太明显
deepbytes
16 小时 7 分钟前
配合 superpower 或者 ponytail 试试
willm
16 小时 4 分钟前
@musi 完美
maolon
15 小时 58 分钟前
不光削了 thinking effort ,还肯定量化了模型,现在 5.5 蠢的没法用,
我觉得单纯写代码还不如 composer2.5, 和两个月前比根本不是一个模型。
Dream4U
15 小时 57 分钟前
准备上 5.6 了
lujiaosama
15 小时 53 分钟前
@deepbytes 一样的。SUPERPOWER+GOAL+5.5 EXTRA HIGH 仍然不能避免最后端了陀大的出来。只能阶段性人工确认有没有问题才往下。
wuyiccc
15 小时 53 分钟前
是的,昨晚用 5.5 xhigh 写代码,我说让他直接抄我前面的代码就可以了,结果写出来的代码差点给我快气死,
andrew2558
15 小时 52 分钟前
@musi 这么离谱?
jmliang
15 小时 51 分钟前
Android APP 吗?可以这样,让它写完之后启动本机的安卓模拟器进行功能测试。这样就有闭环。
qazwsxkevin
15 小时 26 分钟前
@musi 100% 用了掺水中转,要么就是写 AGENTS.md 和任务表达上出问题了;
deepbytes
15 小时 22 分钟前
@lujiaosama ……属实难顶
musi
15 小时 14 分钟前
@qazwsxkevin #11 用的是官方订阅 200 刀的套餐,没有经过任何中转,直接登录的账号,另外也没有用任何 agents.md
nc
15 小时 5 分钟前
https://marginlab.ai/trackers/codex/

这个监测没有表明明显降智,我也没有感受到明显的降智。OpenAI 难不成对不同用户选择性降智,不过这永远是个黑箱
ryougifujino
15 小时 0 分钟前
@maolon 还真是,我后面还用 composer2.5 重搞了一次,虽然设计要简单一些,UI 要丑一些,但至少能跑起来。
ryougifujino
14 小时 58 分钟前
@nc 也有可能是我们高估了 5.5 的能力。
honjow
13 小时 10 分钟前
@musi #1 笑死了
yu180
12 小时 51 分钟前
一直压缩压缩压缩,多次压缩可能就忘了最开始要做什么了,可能就是中间某一步分支的流程接着往下走了
lizhenda
11 小时 47 分钟前
还有 ehigh 模式?
wangbawangba
8 小时 18 分钟前
是因为现在史诗级大降智。

不知道 openai 在搞啥。 如图

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1221836

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX