智普 coding plan 的模型是缩水的吗,还是单独微调过的?

9 小时 31 分钟前
 asuka321
起因是我发现有个问题明明上下文已经够非常充足了,但 glm5 一直答错,我一开始以为是 prompt 的写法问题,突发奇想去官网测了一下,发现官网的 glm 测试一定是对的,那我就认为是参数问题,temperature 什么的和官网不一致导致的。于是就写了个脚本测各种参数下的情况,结果发现都不对
(正确答案是 21day )


然后我把脚本的 baseurl 改成官方 api 接口,脚本居然全对了


这是何意味呢??

脚本在这,可以自行测测
https://pastebin.com/g68ma5ER
636 次点击
所在节点    程序员
6 条回复
kiffer
7 小时 49 分钟前
霍,这个有意思
cherryas
7 小时 44 分钟前
起码疯狂量化是肯定的
colorfulee
7 小时 10 分钟前
bigmodel 我怎么手机号码登录获取验证码的时候一直系统失败,联系客服。搭楼问下有遇到相同问题的么?何解。。。
superkkk
6 小时 53 分钟前
原精度推理太亏了,给你卖 token 的很可能是用 fp8 量化或者更离谱的量化跑的。现在 ai 算力价格都疯了一样,只能掺劣质 token 进去
heimoshuiyu
4 小时 12 分钟前
首先 coding 接口 glm-5 会被自动路由到 glm-5.1 ,而 API 的不会。
其次,我测试了 API 接口和 coding plan 上的 glm-5.1 ,各种答案都有,考虑到你关闭了思考,输出随机性很大,我倾向于认为这是请求打到了不同集群导致+glm-5.1 本身的随机结果
heimoshuiyu
4 小时 7 分钟前
哈基流动可以输出一致的答案,但在 test 3 中随机性仍很大

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1205174

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX