这个小项目，上周被国外 AI 新闻网站报道，前些天又上了 github 热榜

[829939]

疫情期间在校花了几个月时间，写了这个小项目，是关于音频特征提取和分析的，自己是 AI 专业研究音频的，但受限于对音频特征的理解，做研究时总感觉缺乏“底料”，所以当做是学习练手做了这个小东西。

因为是学习练手的小项目，放 github 上面后就没有太多跟进了，后来看到国内几个有名的 github 项目周报博主，想着提下 issure ，如果被收录发表的话，得到些关注获得一些 star 也是很开心的，没想到一个也没收录发表，issure 都是被忽略跳过的。

想想有些灰心，做的这个小项目本身有些偏，和前后端领域都不怎么沾边，和当前大火的 chatGPT 各种业务项目也比不了，不被收录发表也是正常的。

本来想着这个小项目能有几十个 star 就很满足的，没想到除了同学的几个 star 之外一个关注都没有，灰心丧气之时，上周竟然被国外一个 AI 新闻网站报道，带来了一些流量增加 200+star ，虽然相比 github 上一些爆火、优质的项目不值得一提，但相比之前几个 star 的情况好大多了，这是相关的文章：
https://www.marktechpost.com/2023/03/24/meet-audioflux-a-deep-learning-library-for-audio-and-music-analysis-feature-extraction/

当时还是首页报道，赶快截了图

前些天又上 github trending ，这估计纯属运气好，但持续时间并不长，又增加了一小波流量带来 100+star

这是当时的榜单，几乎都是 chatGPT 相关或其它大作的项目，我这个小项目显得有些格格不入，赶紧截图了

最后看了一些关注用户，几乎大部分都是国外的，各领域都有，一些用户质量非常高，做深度学习相关的偏多。 希望国内感兴趣的能关注支持一下，如果能参与加入进来一起做好这个开源小项目更好。
项目地址： https://github.com/libAudioFlux/audioFlux

[829939]

@beneo 我用的 PPT 。 工具了解的不多。app.diagrams.net 这个在线工具可以试下

[829939]

@stanwanng ECG 属于时序信号，频率非常低，侦测上突变相关的特征非常重要，可以采用 CWT(分析突变的好手)二维频谱数据直接走 CNN 卷积网络分类训练。

至于是否可用项目中 audio 特征，从信号领域来看都是一样，但 ECG 和 audio 本身而言差异还是比较明显，具体这块我也不太专业，推荐比较有名的，针对生物信号的 NeuroKit 开源项目可以研究下。

[602120734]

@829939 好的，我切换试试，有问题再来请教

[james0517]

有一个简单的业务需求，场景非常简单，声音里面只有有男声和女声，怎样分离出男生和女生，给些建议思路不胜感激

[829939]

@james0517 大佬提的这个业务属于音源分离，一般常用的做法是频域掩码，最简单的就是二值化掩码，有很多这块定向算法的研究，典型的如 NMF 算法相关的有很多种，很多也取得不错的效果，但效果好的还是使用深度学习训练频域掩码，也是这些年音频领域研究的热点之一。

[yingdashi]

大佬，你是计算机还是通信的方向，学习这个项目要对数字信号处理掌握得比较好吗。希望你赐教。

[r4aAi04Uk2gYWU89]

琛哥：这个就叫专业！

[829939]

@yingdashi 计算机人工智能方向，业务上使用的话不需要，深度开发的要掌握一些

[butterls]

@829939 感谢大佬提供思路
1. 业务场景希望可以跟随音频特征在有意义的点上触发振动，同时可以和音频协同，所以希望从音频特征提取信息来判断，振动的频率强度和时长等（马达一般是固定到某个频点振动，某种角度看驱动模式甚至有点像是 MIDI 发命令序列），难点可能是什么是有意义的点

2. 这些特征我都试试看，看到谷歌 AOSP 是直接对音频做的滤波但是实际效果差了很多，触觉域的建模也是不很清晰，但是和音频都是振动范畴想着在特征提取上借鉴音频的逻辑

[ChenYFan]

看了之后很有用，但一时不知道能具体拿来干什么....先 star 了，感觉很有前途的一个项目

[timothyye]

我想了半天 issure 是个啥……

[james0517]

@829939 收到，感谢大佬

[chancat]

太牛了，已 fork

[SevenElevenZ]

star 了，祝项目越来越好！

[829939]

@chancat
@SevenElevenZ

感谢支持！
如果你对这个项目感兴趣或有意向加入其中，非常欢迎你的加入，和我一起完善这个项目。

[chatWell1]

@829939 ，你好，请教个问题，音频中有类似敲木鱼这种节拍器声音，有强有弱，有什么好的方式可以消除它？

[4ct0rwyt]

支持一下大佬，已 star ，后续用用看

[CMLab]

音乐中有关和弦识别这块，有什么好的高见？

[829939]

@chatWell1 你说的问题类似谐波打击乐分离(HPSS)，项目中的 hpss 相关算法可以测试下效果。

[829939]

@CMLab 和弦识别算法传统数字信号领域算法通常的使用 chroma 特征做类似模板匹配，还有一些 NMF 相关的算法，这些传统经典算法和深度学习相结合，在这块目前发表的一些 paper 都有不错的识别效果。