比 nextweb+oneapi 更完美的 Golang AI 一站式开源项目

77 天前
 Sh1n3zZ

前言

前两天逛 v2 ,看到有 GPT 前端项目相关需求的朋友
再往下看 发现各位对这俩项目吐槽的点还蛮多的
类似于 支持 access token 、交互反应慢、数据只能存在本地、用户分组仍有局限性、不支持国产大模型或 Gemini Claude 等模型... 等等等等这些问题

看了半天,突然反应过来自家产品有针对这些问题的解决方案
(但是一直不敢发,怕被各大佬吊起来锤)
遂作此篇。

Tip 以下内容 可能过长或废话较多 ,建议您在 选取自己需要的 Part 阅读后 前往本项目的 GitHub 以查看更加详细的 README
https://github.com/Deeptrain-Community/chatnio 下图为该项目的 实机演示图 ,您也可以 前往我们的演示站点 https://chatnio.net/ ,我们的演示站点 同时提供 GPT 系所有模型 1CNY = 1USD (即官网七折转发)和 其他模型(如:Claude 、SparkDesk 、ChatGLM 等)。具体计费标准见 https://docs.chatnio.net/

项目亮点

转至项目 / 如何部署

您可以前往 GitHub https://github.com/Deeptrain-Community/chatnio 查看本项目的开源仓库及部署方式
部署方式 包括 Docker-Compose 、Docker 、 自行编译安装

技术栈

实机演示

写在最后

这个项目其实还有很多能够改进的地方,十分希望各位大佬能够给予批评或贡献
在此十分感谢为该项目做出贡献的各位大佬!!

2615 次点击
所在节点    程序员
36 条回复
Sh1n3zZ
77 天前
@mightybruce 感谢支持!
Sh1n3zZ
77 天前
@wzw 使用中有遇到问题欢迎跟我们反馈喔
Sh1n3zZ
77 天前
@winterx 感谢支持~
metalvest
77 天前
Gemini 不是免费的吗怎么也计费
ProgramZmh
77 天前
哇!感谢大佬的推文!感谢大家的支持!🙏
ProgramZmh
77 天前
@metalvest 是的 用 gemini 以及讯飞这些首先推荐自己部署自己填 key 可以自己设置计费规则的 chatnio 官网上计费只是为了防止滥用 :)
chancat
77 天前
打开弹出半个屏幕的公告。
点生成 ai 项目就不停的弹令牌失效,
点别的想试试看看就跳转到别的网站要注册要登录
用户体验极差。
Sh1n3zZ
77 天前
@chancat
公告可自行设置是否开启,演示站点公告用于提示使用演示站点的用户
由于模型需要计费,而计费必须有账户管理,故必须登陆,但如果您自行搭建且将计费设置为免费、匿名用户也可以使用则不会触发登陆
而“其他网站”则是我们的 SSO 系统,在开源版中已经实现 ALL IN ONE ,在当前站点即可实现登陆等操作

综上,您可以自行搭建本系统并进行对应设置来满足您的以上要求,且这些设置都可以在后台直接操作、无需代码基础。如果您需要在满足以上条件的同时使用我们的转发服务并享受 1:1 的价格,您也可以在自行搭建后前往渠道管理一键同步上游直接同步我们的所有模型

感谢您的支持与耐心阅读
wzw
77 天前
@Sh1n3zZ Star 一个, 粗略看了一下, 没看到这样一个功能.

有 N 个 openapi 服务商, 例如 gptapi.us/钱多多/官方 三个供应商,
1. 整体按优先级进行尝试, 因为有些时候有些接口有问题, 会自动切换.
2. 或者某个模型可以按特定的优先级调用.

谢谢
ProgramZmh
77 天前
@chancat
1. 自行部署公告可以自定义。
2. AI 生成器无效的令牌是因为没有登录。并且我在 Firefox, Chrome, Edge 中都没有复现到不停弹多次,如果方便的话请提供完整的复现步骤提出 issue 。(同时附加功能已经放弃支持,推荐您看下文档)
3. 别的网站是指统一用户管理, 只有官网使用, 统一用户管理是常规做法, 可以获得更高的转换率和一键登录。自部署的话是没有所述“弹别的网站”的情况。
ProgramZmh
77 天前
@wzw 首先,非常感谢支持!
我回答一下:
1. 会自动切换,根据优先级高低,如果高优先级失败将自动向下优先级请求,没有禁用渠道是确实,是因为我认为暂时失效的渠道进行禁用和恢复渠道(需要手动恢复 即使 healthcheck 也有延时)都有弊端,之后会考虑增加“禁用渠道”这一选项。
2. 没有对于模型的特定优先级调用,但是可以选择每个渠道的可调用模型,分开为多个渠道,之后会思考如何实现此功能。
a707782628
73 天前
谢谢作者,使用了下很好用,就是想问下我还想使用 newbing 的渠道,但是启动 chatnio-bing-service 后回复 websocket connection failed ,改用我现在在用的 bingo 后,回复 no response 。bingo 的 openapi 好像没有密钥设置,但是这里必须设置密钥是不是这个导致的问题?
a707782628
73 天前
还有 geminivision 发送文字加图片会回复 Multiturn chat is not enabled for models/gemini-pro-vision (code: 400, status: INVALID_ARGUMENT),发送文字回复 Add an image to use models/gemini-pro-vision, or switch your model to a text model. (code: 400, status: INVALID_ARGUMENT)。我试过 lobechat 是可以正常文字加图片回复的
kurui
54 天前
支持一个
ProgramZmh
50 天前
@a707782628 chatnio-bing-service 已被存档,bingo 回复 no response 一般是因为 bingo 无法连接 new bing ,密钥填 bunny 即可
ProgramZmh
50 天前
@a707782628 这是 Gemini 的问题,gemini pro vision 不支持多轮对话,并且如果不发送图片只有文字也会报错

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1021608

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX