多方音频会议中的回声消除

[gps949]

算是一个想法，也算是个疑问，也可以算是个给腾讯会议的工单。

[现存问题]
开视频会议（如腾讯会议），部分参会者在一个会议室分别使用自己的笔记本入会的情况。
如果有多人开麦，将会出现重复出现回声且声调提高（类似俩 Tom 猫对话那种）。
有时只有人开麦，但多人开扬声器时也可能有类似效果产生。

[疑问]
先问是不是：腾讯会议当前是没有处理这种情形的机制吗？
再问为什么：很好奇为什么腾讯会议没解决这个问题呢？是只腾讯没解决，还是其他的多方音频会议也会存在类似情形。

[可能的解决思路]
1 、对于多人开麦，可以在中转服务器或者参会方，对于接收到的各方音频进行波形比照。类似主动降噪的原理，将高度相似的两方音频进行暂时屏蔽一方（但依然保持接收、分析，只是不输出到外放），直到后续分析两方音频重合度下降到阈值以下恢复。
2 、对于单人开麦，但多人开扬声器产生的回音。依然是采用类似主动降噪的原理，每一方对于麦克风输入减去（自己 or 他人，因为高度类似）扬声器输出（当做噪声处理）。

[VictorCheng]

关于回音放大的问题，可以所有人都只在自己说话的时候开麦，所有人都戴耳机听。

但还有一个问题是，如果我旁边人在说话，我会同时听到耳机里 ta 的声音，和 ta 自己的声音，并且有个延迟。这个也挺烦的。。如果我能单方面静音某个人可以解决。如果能处理这个问题就太好了。

[IvanLi127]

这个软件层面做改进，主要还是得看硬件和环境。真要更倚靠软件，我不要脸地胡思乱想，上 AI 提取各方所说的内容，重新模拟音色合成回纯净的声音。

[sahrechiiz]

https://krisp.ai/
开黑试过，对方是耳机，我是音箱，仅我这边使用软件，可以去掉我这边麦对音箱收音产生的重复说话。
不过因为限时试用，只用过一两次。更复杂的环境，比如双方都开音箱之类的，没测试过。
discord 好像就是用的这家的技术。
github 上看到些方案，但感觉部署复杂，没试过。
现在用的 nvdia 的 rtx voice ，对重复说话这块感觉效果不好。

[xsen]

@shawndev #19 没有成熟的实现，只是针对不同场景适用而已。要适应各种场景的回音消除，比所有人预想中都要复杂
所以一般简单的做法也是，
1. 每一参与方不说话静音
2. 每一参与方选择符合要求的麦克风（如带回音消除的）
3. 尽量不要多方同时说话
等等。。。。

[shawndev]

@xsen 客观上没有完全解决，但基本每个问题都有了普遍共识的最优解。

[xsen]

@shawndev #25 不同场景的回音消算法，真没有普遍共识的最优解
都是通过综合各种方式来解决的