LimitRateAPI,避免 429

6 月 20 日
 adrianzhang
由于很多大模型 API 有 requests per second 这类请求速率限制,因此 vibe coding 了一个小代理,设置好模型的 rpm ,它会帮你管理请求,太快的,就排队,这样就不会触发 429 错误。

用的 Python ,应该可以在 Linux/MacOS/Windows 上运行使用。

Open Source repo:
https://github.com/adrianzhang/LimitRateAPI

缘由:
使用 Hermes+免费 API ,很频繁遇到 429 ,一个小事情做着做着就断了,非常烦人。有了这个代理,Hermes 可以顺畅运行了。

这是我第一个 vibe coding 项目,希望能帮助有同样需求的人。代码是 GLM5.2 写的,如果有问题,去喷智谱:)
1964 次点击
所在节点    分享创造
4 条回复
slowman
6 月 20 日
等待,还不如手动 fallback 到其他可用后端
adrianzhang
6 月 20 日
@slowman 好主意。但是只有几个免费 API 的时候就经常把全部 API 都超了。Hermes 这类 agent 经常大量发请求。
getadoggie
6 月 20 日
hermes 不会自动重试吗
adrianzhang
6 月 20 日
@getadoggie 不会呀,至少我用的时候不会,它只会 fallback ,还是我设置了它才能。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1221627

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX