V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
bigtang
V2EX  ›  OpenAI

想批量调用 gpt3.5 或 claude2 api,怎么注册账号或有第三方提供服务吗?

  •  
  •   bigtang · 189 天前 · 1390 次点击
    这是一个创建于 189 天前的主题,其中的信息可能已经有所发展或是发生改变。

    要批量处理文本,测试了一下文心一言,讯飞星火根本无法用,gpt3.5 或 claude2 是可以用的(gpt4 当然更好,太贵了用不起)。

    查询了半天,各种账号出售好像都是普通用户手工问问题的账号,怎么才能稳定的批量调用 gpt3.5 或 claude2 api? 有好的第三方服务么?(费用不要超过原厂商太多)

    我有一个几千上万字的 prompt ,肯定不能每次调用 api 都发送这么大的 prompt 吧?这个 prompt 可以存在我的账号里面吧?

    计费怎么计算呢?每次调用都要加上几千字的 prompt ,费用也受不了啊?

    请老手多指点,谢谢了。

    12 条回复    2023-08-20 13:42:56 +08:00
    yinmin
        1
    yinmin  
       189 天前   ❤️ 1
    Openai GPT API 是无状态的,每次都需要发送 prompt 。你可以一次发几个问题给他,让他一起回答就可以节约 token 了。例如,你发送这样一个数据包:
    system: 你是一个计算器,根据公式给出答案
    user: 2+3=?
    user: 3+4=?
    assistant: 2+3=5
    3+4=7
    user: 12+2=?
    user: 22+1=?
    user: 4+5=?

    system 是 prompt ,之后 2 行 user 和 1 行 assistant 是给 gpt 的参考示例,之后 3 行 user 是需要 gpt 解答的问题。这样就可以减少 prompt 的 token 总量。
    silypie
        2
    silypie  
       189 天前
    哟 in-context learning
    chris555
        3
    chris555  
       188 天前
    你这个 prompt 太占 token 里吧,16k 带上下文也经不起你这么折腾。没有进一步优化的可能性了么

    至于第三方服务: https://aigptx.top?aff=nB09qzBQ
    目前 gpt3.5 4 折,gpt4-8k 5 折 gpt-32k 1.1 倍 [后期大概率要涨价]
    woofer
        4
    woofer  
       188 天前
    我有 Azure GTP4 32K 的接口,需要的话看这里: https://oai.chato.world/
    xabcstack
        5
    xabcstack  
       188 天前
    有认识一个老哥, 你这种调用体量,包月大概是 600 元/月, 假设你消耗每天 20 美元左右, 可以等比例换算, 感觉比较适合你; wx: xabcstack
    yitdlxl
        6
    yitdlxl  
       188 天前
    http://www.td-chat.com/
    这个适合你,无需注册,按次计费,10 块 1000 次够你用很久了
    matliu
        7
    matliu  
       188 天前
    有没有能开发票的 API 站
    wanjiawei0755
        8
    wanjiawei0755  
       188 天前 via Android
    可以试试 openrouter.ai ,基本所有国外的大模型都有,价格跟官方保持一致,预付制,充值手续费是 5%+0.35$,国内发行的 visa 和 master 都可以支付
    kidult
        9
    kidult  
       188 天前   ❤️ 1
    试试 api2gpt.com 吧,gpt3.5 gpt4 画图等等 api 统统 openai 价格的限时五折,最重要的是没有最低消费,零门槛
    JustSong
        10
    JustSong  
       188 天前 via Android
    用 oneapi 维护一个号池可以增强稳定性: https://github.com/songquanpeng/one-api
    bigtang
        11
    bigtang  
    OP
       188 天前
    @chris555 比原厂价格低我不能理解,难道 openAI 有大批量折扣?
    kaidong21
        12
    kaidong21  
       188 天前
    @bigtang 能用官方用官方,第三方收费不透明,我有次冲了 10 块钱,几分钟就没了( Token 不多,而且平台标注收费和官方 2 折)
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2475 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 10:41 · PVG 18:41 · LAX 02:41 · JFK 05:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.