百万数据下的大模型校验应用

[Suinn]

目前有一些算力做支撑，场景是几百万的 json 数据需要交给大模型做校验，依据一些业务规则让模型来判断数据是否符合标准。 想请教一下各位大佬们，这种场景下业务系统调用大模型传递数据，相比于一条一条调用，如果批量的把数据给到模型会影响准确率吗，因为现在测试下来几百万的数据一条一条调用解析确实太慢

[NoOneNoBody]

什么模型？
模型支持批量当然就用批量，不支持那也是白搭，只能自己写个并发

[Suinn]

@NoOneNoBody 目前用的 deepseek ，主要还是担心批量给到模型后会影响输出质量

[adgfr32]

DeepSeek 我记得是不支持 Batch API 的，应该不就是充点钱，然后狠狠的打他的接口么。

[Suinn]

@z1829909 哈哈，目前来看也只能这样了。