A 视频为短视频，B 视频为长视频，A 视频中的所有片段均由 B 视频中剪辑出来（可能经过处理，比如加字幕，加上下边距等）。现在需要检索 A 视频中的所有片段出现在 B 视频中的哪个时间点。
思路：每秒抽取一个关键帧，然后通过图片相似度算法从 B 中找出最匹配的帧，粗略实现了一版，发现效率太低了。假设 A 视频 10 分钟，B 视频 120 分钟，那么平均需要对比 600*12 = 7200 次，图片相似算法使用的 ssim，匹配准确度也不理想。
是否有其他思路，或者开源解决方案，或者付费产品？
 |
1
widewing May 11, 2020 via Android
比如每一帧压缩成一个特征，比如中位数什么的，然后匹配两个序列？
|
 |
2
mumbler May 11, 2020 via Android
如果有台词，可以语音识别把 AB 分别生成字幕，用字幕时间轴去查找匹配位置，精度远高于图像识别
|
|
3
mumbler May 11, 2020 via Android
没台词也行，声音波形图对比，音乐 APP 常用的哼唱搜索，听音找歌用的就是这种技术
|
 |
4
threebr May 11, 2020 via Android
思路肯定是 1l 说的特征提取，然后做近似的匹配，声音和图像都可以，我想到的就是直接做个短时的傅里叶变换
|
 |
5
woolong800 OP @mumbler 声音不行 ，有可能去掉原声了，加的自己的解说配音
|
 |
6
mxT52CRuqR6o5 May 11, 2020
把 B 视频的每一帧降分辨率然后进行 Spatial Indexing，然后再查
|
Select Language