从音乐的波形能识别出 情感趋向吗? 悲伤 或 愉悦

2015-10-09 12:58:22 +08:00
 raiz
3230 次点击
所在节点    奇思妙想
16 条回复
vincentqi
2015-10-09 13:39:35 +08:00
频谱分析,不止这些,还能识别更多
powergx
2015-10-09 13:57:16 +08:00
感觉这东西 ,计算机识别不出。 比如欢中带怨。
raiz
2015-10-09 13:57:18 +08:00
@vincentqi 计算量有多大, 目前条件是 单片机,要求实时能识别(一小段时间内)
gaitana
2015-10-09 13:59:09 +08:00
从腿型能看出处女和非处吗?从鼻子能看出男人 JB 的大小吗
zhujinliang
2015-10-09 14:33:41 +08:00
简单(忽悠人)的办法, FFT ,统计 bpm , bpm 越高越欢快
更进一步分析的话,得有乐理知识了吧,比如节拍,大调小调什么的,完全不懂了
google 搜 音乐 情感 分析,能搜到一些论文,看不懂。。。

FFT 计算量不算小,至少得是 STM32F103 这类的 ARM 单片机吧
raiz
2015-10-09 14:35:40 +08:00
@zhujinliang 是 M0 的, 现在 64 点 fft 勉强,论文的都是什么机器学习啊, 难
est
2015-10-09 14:41:41 +08:00
波形就能分析出情感? 标准正弦波是悲伤还是愉悦?
nevin47
2015-10-09 15:07:40 +08:00
@raiz
严格意义上来说单纯依靠单片机是不能实现的,但是我们可以将一些工作先在高性能计算机上做好,感觉 LZ 不是太熟悉机器学习这一块的东西,那我用我自己比较熟悉的 SVM 做例子讲一个可能的解决方案吧

1. 设置好观测方式,也就是<属性>(单纯的波形很难来做分类,可以先获取节拍、波形突变的数量等等,没学过乐理,只能随便举点例子)
2. 批量获取一些已经知道风格的音乐的属性,也就是获取<样本>,同时要考虑这部分的功能能迁移到你的单片机上
3. 将这些样本带入 SVM 中进行学习,根据实际情况选择适当的<核函数>、<SVM 训练方法>与<参数>,获取<分类器>,一般来说 SVM 的分类器可以用一个矩阵来存储,落实到 C 语言的环境里面的话可以考虑数组储存
4. 将<核函数>、<参数>与<分类器>封装成模块,烧录进入单片机,同时将( 2 )中的样本获取模块烧录进去

其实要获取一个分类器并不是很难,现在除了 SVM 以外还有很多算法可以搞定,我觉得难点在于怎么去设置好<属性>并且较为精确的获取,这一块就是靠人工的事儿了。有一句话不是说“人工智能,越多人工,越多智能”嘛 XD
menc
2015-10-09 15:14:15 +08:00
@nevin47 对波形还用什么 svm ,直接上 NN ,能有质的飞跃
nevin47
2015-10-09 15:44:32 +08:00
@menc 😏不一定啊,测度定好了 SVM 有奇效啊。而且要跑到单片机上面, NN 的话算力够么
ETiV
2015-10-09 16:46:02 +08:00
http://eprints.eemcs.utwente.nl/19893/01/vanderZwaag-Emotional_and_psychophysiological_responses_to_tempo_mode_and_percussiveness2.pdf


如果是我的话, 会先用 音乐, 节奏, 情感 搜几篇论文, 看看到底有啥关系和怎么判断一首曲子到底是什么样的情感. 然后再开始做.
pheyer
2015-10-10 09:15:04 +08:00
有情感识别这个研究方向的
linxy
2015-10-10 10:29:05 +08:00
话说 sony 的 walkman 一直有这个功能 分析音乐分类成不同风格
ggshiney
2015-10-10 10:33:50 +08:00
我稍发散一下
“从绘画的色彩分布与构成 识别绘画表达的情感趋向”

近日的腾讯“鉴黄识别图片色情内容”
WayneWangWM
2015-10-10 11:56:59 +08:00
不同情绪的旋律与节奏都有特定的规律,要不就瞅瞅计算机声学相关论文,要不就根据这两个变量,上人工做训练集吧
zty5678
2015-10-14 09:43:25 +08:00
记得《大腕》里,如果把哀乐用快 2 倍的速度演奏出来就成欢快的风格了.......

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/226583

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX