多方音频会议中的回声消除

2022-10-21 09:10:19 +08:00
 gps949
算是一个想法,也算是个疑问,也可以算是个给腾讯会议的工单。

[现存问题]
开视频会议(如腾讯会议),部分参会者在一个会议室分别使用自己的笔记本入会的情况。
如果有多人开麦,将会出现重复出现回声且声调提高(类似俩 Tom 猫对话那种)。
有时只有人开麦,但多人开扬声器时也可能有类似效果产生。

[疑问]
先问是不是:腾讯会议当前是没有处理这种情形的机制吗?
再问为什么:很好奇为什么腾讯会议没解决这个问题呢?是只腾讯没解决,还是其他的多方音频会议也会存在类似情形。

[可能的解决思路]
1 、对于多人开麦,可以在中转服务器或者参会方,对于接收到的各方音频进行波形比照。类似主动降噪的原理,将高度相似的两方音频进行暂时屏蔽一方(但依然保持接收、分析,只是不输出到外放),直到后续分析两方音频重合度下降到阈值以下恢复。
2 、对于单人开麦,但多人开扬声器产生的回音。依然是采用类似主动降噪的原理,每一方对于麦克风输入减去(自己 or 他人,因为高度类似)扬声器输出(当做噪声处理)。
3264 次点击
所在节点    奇思妙想
26 条回复
danbai
2022-10-21 09:21:30 +08:00
我更推荐戴耳机
bytesfold
2022-10-21 09:30:23 +08:00
你都想到了,做 ZOOM 的和腾讯会议能想不到吗
hccsoul
2022-10-21 09:40:28 +08:00
每个人的手机电脑笔记本的配置不一样,声音效果也不一样
foxhunt
2022-10-21 09:45:26 +08:00
大概 15 年前,搞 IM 视频会议时,从上海找了个人
花 5 万弄了个 C 写的插件,用来消除会议回音
jZEdn7k4
2022-10-21 09:47:19 +08:00
zoom 也有,亲测
7zlid
2022-10-21 09:48:27 +08:00
现在还有吗?我实测早就没有了啊
whywaoxaks
2022-10-21 09:49:39 +08:00
理论上,是个不难的信号处理问题,难度等于或低于 ee 本科生毕设水平。
ungrown
2022-10-21 10:02:39 +08:00
@whywaoxaks #7 其实回声消除基本上这类软件都已经做了,还能听到回声那是处理后残留的。就好比主动降噪耳机只会压低噪音并不能完全消除噪音。
至于为什么留下了这么明显的回声,却不见继续改良。有没有一种可能,这种程度的明显,相比于啥回声消除都不做的原始信号而言,已经不明显,已经足够让用户能容忍了呢。有没有可能,更进一步的消除,经济效益低、技术不成熟呢。有没有可能,所谓的痛点其实并不算很痛呢。
superliy
2022-10-21 10:35:38 +08:00
@whywaoxaks 这么简单? Chrome webrtc 也有回声消除,但也不是一点回声都没有的,只能是减少回声
fyex
2022-10-21 10:44:59 +08:00
第一种有的 而且声音很大
yangyaofei
2022-10-21 10:54:54 +08:00
回声抑制可不是什么特别简单的事情.

当年大学玩了点音乐, 稍微知道点相关的知识, 在一般的乐队进行演出的时候, 每个人是要听到自己和别人的音乐的声音的. 而这个一般是用一个小音箱(大牛逼都用无线耳返什么的可能就没有这个问题, 但是按个要求挺高的)对着演奏者们, 还有主要的大音箱方向相反对着听的观众, 这两个就必然会产生回声, 而且因为基本无延迟, 直接变成啸叫.

在解决这个问题的时候, 一般是这么解决的, 台上的拾音器和麦克一般使用指向性的,就是只有一个方向的声音能够没拾取, 然后在调音台还要对各种东西进行调音, 纯硬件的抑制啸叫的东西也会被用很多(可以说是调音台的功能或者单独的一个模块).

只是有了上述的硬件, 只能说是胡闹性质的演出足够了, 稍微要求高一点, 都要根据现场的声场和音箱位置, 找会调音的人进行调音, 才能在大部分情况下方式啸叫.


---------

回到上面的问题, 多人会议的问题是既有无法预测的网络延迟, 也有每个人所在场地的声场回声情况不同, 设备的拾音指向性和设备的功放的不同. 这么多因素放在一起, 不可能简单的一个反向声波之类的就解决问题的, 只能是找一个妥协后的调教(比如抑制什么, 反向什么之类的)适配大部分场景


这些什么算法看起来简单, 原理也简单, 但是真这么简单? 工程和理论可是两个学科
hekunhotmail
2022-10-21 10:57:24 +08:00
你这样处理很容易出现无声问题, 影响更大
lllllliu
2022-10-21 11:08:42 +08:00
三 A 算法解君愁
lbingl
2022-10-21 13:40:34 +08:00
据我观察一般是 Mac 导致这个问题,因为麦克风拾音效果太好
maggch97
2022-10-21 14:22:47 +08:00
因为这些软件的客户一般都有会议室,不会出现一堆人用多个笔记本外放的情况。不在会议室,为了信息安全也应该用耳机
filannn
2022-10-21 14:44:05 +08:00
这个视频会议软件都会做的,只是消除效果的问题,我之前就在一家不知名做视频会议的公司,我们都会做
xcodeghost
2022-10-21 14:58:55 +08:00
我们公司买了一款高档的八爪鱼的麦克风,使用腾讯会议效果好的很,一点点回音都没有。
lifekevin
2022-10-21 14:59:25 +08:00
并不是技术上面实现不了,而是研发成本与功能收益的问题;
针对这种会议场景,使用会议室麦克风反而能更简单的解决问题,并且实现技术会更简单(单个或者并联的麦克风,发声和收音都是同一个整体,只需要进行简单的收音控制就行),而且还可以卖设备赚取利润
shawndev
2022-10-21 15:00:46 +08:00
Xusually
2022-10-21 15:39:39 +08:00
AEC 可不是什么简单事情
而且 op 要求的比普通 AEC 更难,多人开扬声器的原音延迟不等,做 AEC 更难。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/888603

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX