[讨论]基于卷积神经网深度学习的图像降噪算法初步探究

[Explorare]

最近在Github上发现一个有趣的项目，是一个专门为AniPic优化的图像放大算法，基于卷积神经网深度学习，通过大量数据让算法自行优化处理方式，官方提供了一个在线demo - waifu2x，效果令人惊讶，先上个图。

原图

处理后（参数：Noise Reduction: low; Upscaling: 2x;)

作为对照放出用PS处理的效果（参数: 两次平方扩大2x，noiseware full luma noise reduction, 表面模糊0.1, USM锐化）

效果强差人意，明显不如waifu2x的效果。

而且根据核心算法的论文，算法本身实际上可以不对图像进行预处理，直接处理RBG，而waifu2x提供的demo是将RBG图像先转化成YUV，这个过程会对效果造成负面影响，但即便如此效果依旧理想，下一步目标是尝试直接处理RBG图像测试效果。

目前demo是基于N卡的CUDA运算，但实际上核心算法可提取出来基于CPU运算，能处理视频和图像，算法本身的目标是降噪而非放大，但用来放大图像也是可以的。虽然算法本身是用来降噪的，但实际也可作为压缩算法，对图像视频进行有损压缩后，在接收端进行放大并降噪，能节省不少带宽和空间，有可能成为有损版的H.265(?)

本文的主要目的就是介绍一下这个降噪算法，诸君有需要处理的扫图可以直接丢到这里进行处理，但要注意2M的文件限制，也可以部署算法到本地环境，部署方式有提供。

PS.我并不是DeepLearning专业的，也是刚刚接触，正在啃基础论文，对此方面很感兴趣，本文旨在抛砖引玉之效，上面的观点部分来自之前和坛友的讨论，可能认识有错误，朱军尽管指正，希望能推荐一些入门资料和相关大牛的部落格。

以上

[参考文献]
[1] nagadomi/waifu2x Image Super-Resolution for Anime-Style-Art - Github
[2] Image Super-Resolution Using Deep Convolutional Networks - arxiv
[3] 卡通图片的压缩 - 风云的BLOG
[4] UFLDL教程 - Stanford
[5] zouxy09的专栏 - CSDN

本网站（或页面）的文字允许在 知识共享 署名-相同方式共享 3.0协议 下修改和再使用。

[jedihy]

@66CCFF 额，不对，你是中南信息院的？

[zerh925]

已star

[Explorare]

@est kwsk

[cevincheung]

很好成功的把我需要的一张图放大了。

[Explorare]

@binux 我发上面对比的目的，主要是说明对于我常用的降噪算法组合，waifu2x有着更好的效果，我学降噪本来就是为了处理扫图，所以找到一个合适的组合后就没深究其中的算法和原理，所以并没有接触很多降噪策略，本人水平有限，如果有更好的降噪算法和策咯还请赐教，非常感激

[Explorare]

@shadowind 也就是说增加细节要比降噪的难度高很多么

[mhycy]

@Explorare
实时估计泰坦也吃不消, 目测这货的在线Demo性能与GTX770接近(应该是运行在AWS)..
但是速度依然缓慢...

[Explorare]

@mhycy 不知道有没有专门为CUDA特化的运算卡呢

[mhycy]

@Explorare
AWS那个就是CUDA专业卡...囧
价格比GTX770贵多了, 性能倒是接近GTX770
除了名称不同,多了某些细节功能(虚拟化之类的, 其实内核一样,开不开的问题)
其实专业卡和普通卡性能上也没啥区别...

[Explorare]

@mhycy 也就是说如果我想构建自己的试验环境，还是推荐上AWS么，现在正尝试在笔电的虚拟机上试运行，GT 640M LE，辣鸡卡，但好歹支持CUDA 3.0

[shadowind]

@xlrtx 其实很多机器学习都是这个思路，重点就是要确定合适的模型。模型确定好了以后，利用数据训练调节参数，就可以学到一般的通用特性，就可以用来处理其他的图像的。

[shadowind]

@Explorare 对啊，噪点是已有信息，处理起来方便很多，要增加细节就要考虑很多情况了，不然增加的信息就是噪声了，哈哈~~

[mhycy]

@Explorare
虚拟机不能跑CUDA吧?要是可以的话求个方法...

[ayulove]

gt 640m 这个卡能跑就不错了，现在大学里面实验室都是最少titan级别的显卡，有的用k40，没有个gtx780的真的很吃力的。dl这个坑就是黄仁勋挖的！

[shyrock]

什么叫“有可能成为有损版的H.265(?)”。。。H.265本来就是有损的好不好

[Explorare]

@mhycy
可以，现在Hyper-V和VM都有方案在GUEST系统里调用物理显卡，但效率不高。
顺便普通的VMWare不行，必须VMware ESXi

[Explorare]

@mhycy 更多详见https://blogs.vmware.com/performance/2011/10/gpgpu-computing-in-a-vm.html

[Explorare]

@shyrock 一时脑抽，多谢指正

[Explorare]

@ayulove 目前没有购入小型机的计划，一方面是太贵，一方面是维护麻烦，果然还是上AWS吧，应该能方便很多

[scream7]

前两天发现个挺好玩的,用DL做篮球视频精彩片段发掘 http://public.hudl.com/bits/archives/2015/06/05/highlights/