V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
amery2010
V2EX  ›  分享创造

Project Astra 雏形,可以在线体验 Gemini 2.0 多模态实时 API,与 Gemini 实时语音、视频聊天

  •  
  •   amery2010 · 136 天前 · 1235 次点击
    这是一个创建于 136 天前的主题,其中的信息可能已经有所发展或是发生改变。

    昨天 Google 直接掀桌子,发布了 Gemini 2.0 ,其中提到了最新 Multimodal Live API ,它具有实时音频、视频流输入、以及使用多个组合工具的能力。目前在 Google AI Studio 中已经可以体验,但 Google AI Studio 中的体验并不是很好,我在官方的仓库里发现了一个类似于 Project Astra 原型的项目,该项目体验非常不错,基本上有了 Project Astra 的雏形,我对项目进行了微调,让每个人都可以在线体验 Multimodal Live API 。

    在线体验:https://astra.u14.app/

    项目文件:openAstra.zip

    需要输入拥有 gemini-2.0-flash-exp 访问权限的 apiKey ,apiKey 保存在 localStorage 中,整个网站属于静态页面

    apiKey 可以在 Google AI Studio 上免费申请。目前 Multimodal Live API 处于测试阶段,似乎还没有使用额度限制,可以一直对话。另外需要注意的是,Multimodal Live API 暂不支持中文语音输出,请尽可能地使用英文与其交流。

    后续 GeminiNextChat 也会接入 Multimodal Live API ,获得实时语音和视频对话的能力。

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1023 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 22:36 · PVG 06:36 · LAX 15:36 · JFK 18:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.