既然 AI 算法那么厉害,为什么几乎没人使用 AI 压缩图片算法呢?

2022-02-22 13:06:57 +08:00
 3dwelcome
我查了一下 github ,有一个叫 CompressAI 的图片压缩实现库。

有做到在相同的文件大小下,用 AI 算法加持,压缩效果很显著。

可是不知道为什么,互联网还是在用 JPEG, PNG, WEBP 老一套。浏览器也完全没有让 AI 加入的意思。

压缩效果对比图( AI 算法 VS JPEG 算法)
4136 次点击
所在节点    问与答
33 条回复
vicalloy
2022-02-22 16:40:04 +08:00
压缩速度、解压速度、库大小、压缩率、效果等都会影响压缩算法的使用。
关于模型大小,你自己可以到 https://github.com/InterDigitalInc/CompressAI/blob/master/compressai/zoo/image.py 看一下 model_urls 里面给出的预训练模型。
每种压缩率用的模型都不一样,为了支持多种压缩率,所有模型都得下。

复杂度未知,AI 运算很吃 GPU ,可以预见甚至和 WebP 比速度也会慢不少。

注:同等画质下 WebP 差不多只有 JPG 一般的大小,不过 WebP 压缩起来也非常慢,据说速度只有 JPG 的 1/10
imn1
2022-02-22 16:40:44 +08:00
怎么觉得好多人都不是活在现实世界的呢?理想资本主义实现了?

成本:
跑 AI 的成本,版权的成本
okakuyang
2022-02-22 16:47:21 +08:00
某些项目给你看的都是挑选过的结果,实际用起来能有十分之一的效果不错了。前端要的就是兼容性,闲的蛋疼花 1000%的力气去获得 1%的收益。
icyalala
2022-02-22 17:15:14 +08:00
@3dwelcome 你提到游戏行业的、BC 、PVRTC 、ETC2 、ASTC 这些算法或格式都是由特定 GPU 硬件实现,为特定的使用场景(纹理压缩)设计的,不是作为通用图片格式来用的。

那些 AI 算法,例如你到的 CompressAI ,和最新的 AV1 、HEVC 差距也没那么大,但编解码需要的计算量就不是一个量级的了。更何况 HEIF 、AVIF 现在都还没流行起来。
LeeReamond
2022-02-22 17:58:55 +08:00
@3dwelcome 图形学跟图像学基本不搭边两个学科,我说的问题起码 1234 在游戏行业没有。稍微有点关联性的,比如建模一个人物然后给皮肤贴图,那就是不同场景不同需求,跟通用需求显然不一样。比如手游贴图就是不是为了给你放大看的,那么显然仅需要似是而非。或者黄油贴图就是为了给你放大看的,那么显然仅需要优化纹理,不知道为什么你认为都一样。
3dwelcome
2022-02-22 18:41:33 +08:00
@LeeReamond 那就是每个人的认知问题不一样了。

我觉得 BC7/ASTC 这种,就是微软研究院智慧的结晶,人家也不可能凭空发明新图片格式,都是经过各种失败尝试后,成功的果实。

你网站里,一个解压后的图片是 JPG 还是 ASTC ,对用户来说完全是无感知的。更何况有 WASM 加持,一切解压算法,都能用 createObjectUrl 把图片变成一个 URL 地址。

既然算法能压游戏贴图,同样也能压网站流量图片。图片本质都是像素,木有区别。
Cmtter
2022-02-22 18:42:20 +08:00
个人认为可能一个问题是没有统一的标准,
一张 jpeg 的图,全世界人都可以直接打开,
但一个被模型 encode 后的 vector 发给别人,需要解码的人同时也用这个模型 decode 出来,这个模型怎么同时让全世界的设备(从手机,电脑,服务器到那些裸机设备)都能接受和支持并高效的跑起来是个很大的问题
3dwelcome
2022-02-22 18:43:40 +08:00
@Cmtter “这个模型怎么同时让全世界的设备(从手机,电脑,服务器到那些裸机设备)都能接受和支持并高效的跑起来是个很大的问题”

WASM 是万能的,速度也足够快了。
stoneabc
2022-02-22 19:02:20 +08:00
@3dwelcome 什么鬼,你先了解下 ASTC 是怎么压缩的,和它的使用场景,再来和 JPEG 比…
jin5354
2022-02-22 19:07:24 +08:00
因为 ROI 低呗,你自己衡量一下加这东西的成本有多大
3dwelcome
2022-02-22 21:04:56 +08:00
@stoneabc

所有的定义和使用场景,都是人为给予的。

对于计算机来说,就是 0 和 1 ,图片处理是定长压缩算法,还是变长压缩算法。

又或者是不是频域处理,一点都不重要。重要的是,ASTC 能很好的压图片,至少比 PNG 要好吧。
wuxingli
2022-02-22 21:07:29 +08:00
楼主说的这个让我想到了美剧:硅谷里面那个特别牛逼的算法 😂无损压缩音乐图片,最后还人工智能了,笑死
Coelacanth
2022-02-23 10:03:14 +08:00
这几年有几篇论文跟这个思路其实是有点像的,大致就是用一个神经网络来拟合信号(图片,三维模型的本质都是信号),用连续的存储方式来代替不连续的存储存储。比如现在存储图片的方式还是离散的像素图片,但如果拿一个连续的函数来拟合这个图片,原则上你就可以用自己想要的精度来采样这个函数进而得到超高分辨率的图像。感兴趣的话可以看看 Siren 这篇 paper ,Implicit Function Representation 是现在很火的一个方向。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/835621

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX