trafly

支持，看一下我的 Agent 怎么用。

认同。补一个实操视角：这类项目我拆成十个节点在看——从场景选型、数据就绪度、到每个节点的验收标准。Agent 实施翻车，十次有九次不是模型不行，是前面业务建模的节点没过就急着上 Agent 。所谓预期管理，本质是把"Agent 能做什么"翻译成每个节点可验收的标准，而不是开工前的一句口号。

@S1ahs3r bot 托管这个思路是对的——面板里的判重+清理逻辑本身就是调 API v2 ，搬到 grok bot 的定时任务里一样跑，我下一步就想把 CLEAN_DUP 做成 bot 定时触发，手机上只留只读面板。easytier 是个好项目，但我全套工作流已经在 Tailscale 上（ Mac mini/MacBook/iPhone/几台云沙箱），幽灵节点是控制面脏数据问题，换组网软件属于换赛道不是治病，就地清理更划算。

@version 你 MacBook 上走的是原生 CLI （系统 tailscaled ，身份稳定不 churn ），幽灵节点主要攒在 Surge 原生 [Tailscale] 模块反复重载/重新握手的那几台上——我这 18 个里 12 个都是 mac-mini-surge 的 -1 到 -13 。手机端 Surge 内嵌的如果重认证次数少也可能不明显，可以去 Admin Console 按 hostname 搜一下 -N 后缀看看。

@enyeah 感谢分享。确实，从单一角色、单一决策切入，先跑通价值闭环，再逐步建立信任和组织认可，可能是 B2B AI 落地绕不开的路径。

现在有不少免费 token ，用起来；坏处是一段时间后要检查有效期，比如 NVIDIA ，AMD 的

借楼分享一下我日常在 macOS 上作为主力生产环境跑的本地多 Agent 智能路由与能力网关方案，给折腾本地 Agent 协同的同学一点参考。

很多同学做本地 LLM 接入，习惯直接起一个 LiteLLM 或 Ollama 端口供所有客户端调用。但在多 Agent 混用场景下（我日常混用 Cursor 、Codex CLI 、DSH 、Claude Code ），单层代理有几个痛点：跨厂商 Thinking 泄漏导致上下文雪崩、缺少本地/云端动态裁决、没有统一的本地记忆与能力挂载。于是做了"8081 （决策与能力网关）+ 8082 （模型聚合底座）"双层解耦。

一、架构拓扑

客户端：Cursor / Codex CLI / DSH / Claude Code 等。

127.0.0.1:8081 （ FastAPI 决策与能力网关）：macOS launchd 守护常驻。职责是出站安全守门 + JEV 语义分流 + 系统级 Capability 挂载 + 协议抹平。根路径 /{path:path} 未命中自研端点时，全量透明反代到上游 8082 。

127.0.0.1:8082 （ LiteLLM Proxy 模型底座）：只做 upstream 连接池与跨厂商模型聚合，承接几十个国内外模型渠道。

周边：1234 端口 LM Studio （ 4B 做路由裁决，14B 做本地代码生成）； 8083 端口本地 Qwen3 Embedding 向量记忆服务。

二、核心设计

1. JEV 双引擎动态分流：对外只暴露 hybrid-auto （强制本地）、hybrid-auto-cloud （允许云端）等别名。请求进 8081 后：先过硬规则（数据出站策略 + 真实附件检查，不用正则/关键词瞎猜），再调本地 4B 模型做强类型语义裁决（结构化 choice 输出），短问答/私密代码/简单修改下发本地 14B ，架构设计或高难任务才转云端（ 8082 上的 DeepSeek/Claude 等）。

2. 治理 Thinking 污染：很多模型/渠道会返回 <think> 或 reasoning_content ，部分兼容层会把思考过程当正文反复回传，导致上下文爆炸或复读死循环。8081 在回调层统一清洗，对外只吐干净正文。

3. 系统级 Capabilities：/capabilities/vector_search 查本地向量库（只读）；/capabilities/web_search 聚合 Firecrawl / Tavily / Brave 多源回退；另有原生视觉端点。各 Agent 只需对接网关，不用重复造工具链。

4. 原生多模态铁律：早期试过网关层 OCR 图片转文字再喂纯文本模型，极易破坏 Prompt 结构、搞乱 Agent 上下文。现在铁律是只走原生 Vision ，非多模态模型不做伪装转换，上游如实报错。

5. 声明式配置 + 自动回滚：渠道配置拆成 providers/*.json ，启动时编译成最终配置并做健康检查；供应商改 API 协议导致配置失效时，自动回滚到上一版备份。手改 YAML 缩进翻车过几次，保命必备。

三、踩坑两条

1. 网关必须双协议：Claude Code 默认走 Anthropic /v1/messages ，OpenAI 系走 /v1/chat/completions ，网关层做好映射和 stream 转换才能多客户端通吃。

2. 小模型做裁决，不做主力：3B/4B 本地模型判意图/难度/隐私级别几乎零延迟，把重活分给云端强模型或本地 14B/32B ，整体体验远好于一刀切。

@JingW 和 Bot 们说好，活我可以不干，钱记得分我

1)Grok Bot:今天你歇着，脏活我接着盯。;
2)MUSE:0day 可以明天再修，今天先过节。;
3)Chatgpt:今天让 bug 休假，让灵感加班。;
4)DeepSeek:今天是 2¹⁰ 的好日子，希望你的代码一次通过、依赖不掉链子、构建一直走在对的分支上。