音频文件生成乐谱的工具有吗?

264 天前
 junchenghe
现在在扒谱的时候,花费了太多时间,所以想有没有一种工具可以直接通过上传音频文件,在选择某种乐器类型,提取出音乐特征,最终生成乐谱,同时可以在线进行编辑的一个工具呢?

在找了很多工具之后,有的工具是可以提供部分功能,暂未找到可以在一个工具上一键生成的,所以我现在想是不是可以开发这么一套工具。当然我在查阅了很多资料后,发现在提取特征这一步很有难度。我理解大概处理流程如下,如有非常了解的朋友,我们可以聊聊!

1.音频文件上传,根据选择需要分离的音频类型,分离出其中的音频,如(鼓、人声、吉他、贝斯),当然这一步可能是需要对音频降噪、增强等
2.根据分离出的音频,提取其中的音乐特征,提取的方式有多种(短时傅里叶变换、离散余弦变换、离散小波变换、梅尔频谱和梅尔倒谱、恒 Q 变换)等算法,当然还有很多的开源库:librosa 、essentia 等
3.通过提取出的音乐特征与乐谱中需要表示的音乐标记作映射
4.最后通过这些音乐特征来绘制乐谱,生成乐谱。

当然这里面最难的肯定是对音乐特征的提取,由于在音频中可能会参杂很多的其他杂音,导致通过人工智能、机器学习也很难去分析出其中的音乐特征值。有兴趣的话,可以邮件联系我,我们一起探讨下吧!

email:aGVqdW5jaGVuZzk0QGdtYWlsLmNvbQ==
2384 次点击
所在节点    程序员
34 条回复
murmur
264 天前
@iX8NEGGn 现在的 AI 辅助扒带只能用在抖音级别的口水歌的,我相信 AI 是真的学会了乐理,他能在混音之后根据自己的知识猜出来原来的乐器是哪个套路,再加上口水歌都是套路和弦

古典乐并不适用
cjd6568358
264 天前
搭车问一个,有没有通过上传钢琴谱生成音频文件的?
murmur
264 天前
@cjd6568358 上传的钢琴谱没有力度也没有踏板,演奏出来难听的要死
iX8NEGGn
264 天前
@cjd6568358 你说的钢琴谱如果是指图片形式的谱,那你要找的是 Optical Music Recognition (光学音乐识别)软件,将图片谱转换成数字谱( musicxml ),然后随便一个打谱软件都能生成音频。我用过的 OMR 软件有:

- 收费
- [CapellaScan (体验较好)]( https://www.capella-software.com/us/index.cfm/products/capella-scan/info-capella-scan/)
- [PhotoScore (体验较好)]( https://www.neuratron.com/photoscore.htm)
-
- [SmartScore (体验一般)]( https://www.musitek.com/)
- [ScanScore (体验一般)]( https://scan-score.com/en/)
-
- [SharpEye (体验较差)]( http://www.visiv.co.uk/)
- [PDFtoMusic Pro (体验较差)]( https://www.myriad-online.com/en/products/pdftomusicpro.htm)
-
- [PlayScore 2 ( IOS 端)]( https://www.playscore.co/)
- 开源
- [Audiveris ( Java )]( https://github.com/Audiveris/audiveris)
- [Mozart ( Python )]( https://github.com/aashrafh/Mozart)
- [Oemer ( Python )]( https://github.com/BreezeWhite/oemer)
- 在线
- [Soundslice (收费,基于深度学习)]( https://soundslice.com)
- [Maestria (收费,基于深度学习)]( https://newzik.com/maestria)
cjd6568358
264 天前
@murmur 不是会有重音记号和延音记号吗?虽然大概率没有人弹的专业,但是最起码该有的节奏不会错
cjd6568358
264 天前
@iX8NEGGn 感谢
hesetiema
264 天前
之前看到过一个在线工具,地址: https://vocalremover.org/zh/splitter-ai
hesetiema
264 天前
还有类似的,地址: https://songdonkey.ai/
hesetiema
264 天前
没有深度使用过,但估计复杂的功能还是实现不了
tingyunsay
263 天前
@murmur 我花钱买谱子花了几百块目前为止,而且能买到的谱子都是大众化的,真的听到那种很想要弹的歌只能自己慢慢扒了,找别人太贵了,几百上千一首歌吧
cnbatch
263 天前
@iX8NEGGn 古典奏鸣曲就没必要扒谱了吧,找到乐谱的麻烦程度并不高

如果是指现代作曲家创作的新奏鸣曲,那倒是未必能容易地找到乐谱
iX8NEGGn
263 天前
@cnbatch 我并不是想要说扒古典,而是想说难度稍微大点的就量化不来,只有那些单音儿歌或者套路和弦的曲子才能量化好。
junchenghe
263 天前
@iX8NEGGn 是的,就是想问问没有做过这方面的朋友
junchenghe
263 天前
鼓是不是做这方面更简单些啊?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/971299

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX