GPT-4o 实时语音对话是如何实现的? 现在 iPad iPhone 有这些应用吗? 我看视频里 可汗学院 XX 教小孩子做数学题目 还能可视化? 如何实现有老铁分享下吗.
1
sentinelK 169 天前
1 、这不是 4o 的新功能。gpt3.5 、4 早就可以语音对聊了。
2 、语音对聊本质上就是语音识别>转换成文字上下文提交给 gpt>gpt 回复>口语化模型>文字转音频。 |
2
sentinelK 169 天前
3 、你所谓的“可视化”,其实就是上下文增加图片附件。
|
3
itskingname 169 天前 3
之前的语音对话,都是语音->文字->问答->文字转语音
GPT-4o 改成直接使用语音训练模型。它背后直接能够根据你的语音来回答,跳过了语音转文字的这一步。 |
4
love060701 169 天前 1
GPT-4o 是原生多模态模型,直接语音输入、语音输出,没有中间的其他步骤,现在没有应用能做到。视频里用的是 ChatGPT 客户端,把课程界面分享给 ChatGPT ,然后 ChatGPT 回答的。
|
5
stonesirsir 169 天前 via Android
gpt-4o 的 api 可以语音对话吗?
|
6
cannotagreemore 169 天前 1
@sentinelK 可以看下他们的文章中专门有一段说了 GPT-4o 并不需要做额外的 ASR 和 TTS 而是原生的多模态模型,语音对话的延迟会明显降低
|
7
lDqe4OE6iOEUQNM7 169 天前
之前是文本视觉音频分开训练的,现在文本、音频、视觉丢到一起训练,用的的是一个神经网络,以前要互相转换文字转语音,音频转文字,中间的时间就更久,还有会丢失细节,现在延迟几百毫秒
|
8
lDqe4OE6iOEUQNM7 169 天前
现在的视觉是基于多帧图片不是真正的视觉,后面算力足够应该会加上 sora 级别的视觉感知,从视觉到视觉,有对物理世界的理解,现在只是平面图片级别的理解
|
9
lDqe4OE6iOEUQNM7 169 天前
特斯拉做的 FSDV12 现在应该就是端到端的视觉,八个摄像头输入,然后输出控制,还有他的人形机器人
|
10
xiaohundun 169 天前
啊?竟让不是 ASR\TTS ,这怎么做到的。。
|
11
justfindu 169 天前
可打断并根据要求继续输出 我觉得这个有意思 怎么做的
|
12
ugpu OP emmm 你们不觉得响应速度过快了吗? 所以我对背后真实的方案有存疑 仅仅他们的网络导致这么快的相应速度 以及中断速度吗?
|
14
mmdsun 169 天前 via iPhone 1
gpt 那个没开放接口不知道,说下用过微软 Azure 语音,底层 websocket 当然可以实时语音了。
https://learn.microsoft.com/zh-cn/azure/ai-services/speech-service/index-speech-to-text |
15
xsen 169 天前 1
底层有可能走的是 webrtc ,直接就是端到端对话;若 gpt4o 可以 audio in audio out ,那延迟是可以做到 300ms 左右的——就是实时对话
|
16
Hozoy 169 天前 1
OpenAI:“我们计划在未来几周内以 alpha 版的形式推出具有这些新功能的新语音模式,随着我们更广泛地推出,Plus 用户可以抢先体验。”
|
17
ETiV 169 天前 via iPhone
我也觉得是 WebRTC ,音视频以“流”的形式在本地和远程之间互动
|
18
Tink 169 天前
多模态就是这样的呀
|
19
DIO 169 天前
|
20
DigitalG 169 天前
4o 有新增的语音对话 feature ( voice model ),还在“rolling to Plus users in the coming weeks.” (来源 openai 的社区),跟之前的模型有复用部分,单不完全是同一个东西。目前 app 里的后端模型应该有混合吧,我猜。不知道有没有什么分辨的办法。
|
21
silencelixing 157 天前
你们都是在哪里体验的语音对话?我怎么找不到入口在哪儿?
|