V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
sxueck
V2EX  ›  分享创造

极简分布式开源 AI 网关 - LLM Gateway 测试版

  •  
  •   sxueck · 8 小时 38 分钟前 · 251 次点击

    最近因为长期使用的 litellm 因为作者迫于盈利压力,把很多原本属于高频常用的功能列为了企业版本专属特性,正好国庆的时候闲下来了,就写了一款基于 Portkey Gateway 实现的 LLM 聚合网关,本来就想随手一写满足自己的需求的,但是后来发现周围的朋友评价都挺好,就打算完善一下正式发布出来,主要面向用户:

    自建服务用户,我将永远不会做企业版,也不会开通打赏等功能 项目由于还是属于我主要在维护和使用,目前不会加入例如组织等功能 目前先完善基础的 LLM 的聚合功能,MCP 和 Claude 协议后续会根据 我的项目地址: https://github.com/sxueck/llm-gateway 项目 Demo: http://demo-api.sxueck.com:3000/ demo / demo1234

    同时我也是 xiaoxhao/lvory 的作者,该项目目前下载量已达 960 次,迭代近 20 个版本,维护周期大家应该是可以放心的

    2 条回复    2025-10-14 22:38:37 +08:00
    xxlsize
        1
    xxlsize  
       8 小时 4 分钟前
    这个跟 newapi 比有啥不一样,功能好像没没那么全
    sxueck
        2
    sxueck  
    OP
       6 小时 56 分钟前
    @xxlsize 侧重分布式,例如你可以指定 claude 走美国节点,指定 deepseek 走国内
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   888 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 21:35 · PVG 05:35 · LAX 14:35 · JFK 17:35
    ♥ Do have faith in what you're doing.