AI 开发，框架的作用大还是模型的作用大

[KedaArray]

自身

还比较原始，半古法半 AI 1 先让 AI 写框架 2 写需要的工具类 3 挨个补全各个模块 4 补测试用例 这里面有不对的就让 AI 重新梭哈该步骤

现状

AI 开发框架更新的越来越复杂 隔段时间，就能看到有人发新的 AI 开发工作流，动辄 2~3 个模型，越来越复杂的约束文件

疑惑

如果框架起到关键作用，那随着框架的更迭，可以适配的模型等级应该越来越低 但实际看到的是对模型要求越来越高，低于最新模型 2-3 个版本的老模型，快要被开除 AI 籍了 所以 AI 开发框架到底能占多少比重，是有底层支持的有效框架，还是一个不断打补丁的优化包

总结

当前这套古法 AI 工作流还算稳定，当然没有直接梭哈的效率高 但是每次看到新东西出来还是比较焦虑的 学了，怕过两天又换代 不学，仿佛原始人上班

[metalvest]

从投资力度就可以知道业界共识，如果框架大于模型，那资本都是傻子吗

[UnionAI]

聪明的 AI 会判断要从零开始还是用框架，也会把重复太多的地方整理成框架。

[GeruzoniAnsasu]

先严格化你想讨论的「框架」是指 harness engineering 还是项目代码的组织框架。

- 蠢模型写不了好（代码）框架
- 好的 harness 和工作流能最大程度 enable 模型的潜力
- 截止到 Fable 5 这个时期，有经验的人类工程师定下的代码结构仍明显优于 AI 自由发挥。因为 prompt 所含的信息量不足以包含人类工程师脑中的所有考虑，AI 不可能凭空想象出业务真实形态

[bwnjnOEI]

问题复杂度<模型能力,无法区分框架带来的收益

关于你的疑惑是因为最新模型通常是根据带有官方 harness 的 rl env 环境训练出来的

你需要构建/维护一套自己的测试集出来新东西都测一测也能缓解焦虑

[Rammus]

模型

[ntdll]

有句话叫做差生文具多。

而 harness engineering 就是文具。

一个不爱学习的人，文具再牛逼，考试也是一塌糊涂。

差的模型，更需要一些工程化上的约束/指引，才能接近好模型的效果。

[yidinghe]

“随着框架的更迭，可以适配的模型等级应该越来越低但实际看到的是对模型要求越来越高”

因为框架是业务的基础，不管你做电商项目还是其他项目，业务会越来越复杂，项目框架复杂度也会增加，于是模型不但要充分理解框架，还要充分理解业务，对模型的要求是会越来越高的。

[KedaArray]

@GeruzoniAnsasu 第三方的 harness engineering

[KedaArray]

@yidinghe 抱歉 我在问题里没统一用词
[框架] [工作流] 指的都是第三方 harness

[GeruzoniAnsasu]

@KedaArray 那么想象给未开智的小学生一台超级电脑和一个能教他任何事物的前沿 LLM ；与一个学者，但他只能通过 curl 给 LLM 发请求来交互。


聪明的模型足够发明工具，但傻子模型连自己是傻子都不知道，怎么知道要用约束约束自己。

[resist]

模型最重要，傻子有工具也不会用

[paieer]

实际情况很复杂，就是很多权衡问题，现状有点像是买同样的东西，在某东价格高服务还行，在拼嘻上买便宜有时还能用但是有时很操蛋，在某宝上感觉一般般

[1258]

复杂的工作流如果总能走通，那当然是最好的。问题是 happy path 不会一直成功啊，那复杂系统带来的问题就要重新考虑了