如何检索 A 视频中的片段在 B 视频中出现的时间点？

[woolong800]

A 视频为短视频，B 视频为长视频，A 视频中的所有片段均由 B 视频中剪辑出来（可能经过处理，比如加字幕，加上下边距等）。现在需要检索 A 视频中的所有片段出现在 B 视频中的哪个时间点。

思路：每秒抽取一个关键帧，然后通过图片相似度算法从 B 中找出最匹配的帧，粗略实现了一版，发现效率太低了。假设 A 视频 10 分钟，B 视频 120 分钟，那么平均需要对比 600*12 = 7200 次，图片相似算法使用的 ssim，匹配准确度也不理想。

是否有其他思路，或者开源解决方案，或者付费产品？

[widewing]

比如每一帧压缩成一个特征，比如中位数什么的，然后匹配两个序列？

[mumbler]

如果有台词，可以语音识别把 AB 分别生成字幕，用字幕时间轴去查找匹配位置，精度远高于图像识别

[mumbler]

没台词也行，声音波形图对比，音乐 APP 常用的哼唱搜索，听音找歌用的就是这种技术

[threebr]

思路肯定是 1l 说的特征提取，然后做近似的匹配，声音和图像都可以，我想到的就是直接做个短时的傅里叶变换

[woolong800]

@mumbler 声音不行 ，有可能去掉原声了，加的自己的解说配音

[mxT52CRuqR6o5]

把 B 视频的每一帧降分辨率然后进行 Spatial Indexing，然后再查