[开源]ACG2vec 系列之 CUGAN_TF——运行在浏览器上的动漫超分工具(Real-CUGAN 的 tensorflow 实现)

246 天前
 OysterQAQ

介绍

在线预览(目前包含文本搜索、以图搜图、文本搜图、图片分数预测):https://cheerfun.dev/acg2vec/

开源仓库:https://github.com/OysterQAQ/ACG2vec

演示页前端开源仓库:https://github.com/wewewe131/acg2vec-frontend

以上两个仓库求个 star QAQ🌟🌟🌟

当前最优秀的动漫领域超分模型之一Real-CUGAN的 tensorflow 实现,依赖tfjs框架完成自适应后端的能运行在浏览器上的动漫超分工具。

原版实现分为切块后超分与整图超分,两种都以实现,但切块超分版本转为 tfjs 模型后在网页运行不正常,已向tfjs仓库提交issue。目前预览版本是整图超分版本,由于内存限制,限制了原始图片大小( 512x512 以内),后续 issue 解决将发布切块超分,大概率将不会有限制。

This module is an implementation of one of the current leading anime super-resolution models in the field, Real-CUGAN, using TensorFlow. It relies on the tfjs framework to create an adaptive backend, enabling it to run as an anime super-resolution tool in web browsers.

The original implementation offers two versions: chunk-based super-resolution and full-image super-resolution, both of which have been implemented. However, the chunk-based super-resolution version encounters issues when converted into a tfjs model and run in a web browser. An issue has been raised in the tfjs repository to address this problem.

The current preview version focuses on full-image super-resolution but has limitations on the original image size (up to 512x512) due to memory constraints. Once the issue is resolved, the chunk-based super-resolution version is likely to be released without such limitations.

预览

效果

输入

无降噪输出

保守输出

降噪输出

pytorch 模型迁移到 tensorflow 应该注意的点

3191 次点击
所在节点    分享创造
13 条回复
subframe75361
246 天前
想 star 发现已经点过了😂
OysterQAQ
246 天前
@subframe75361 🤩感谢
graetdk
246 天前
看到你的头像就知道又有牛逼的东西了
OysterQAQ
246 天前
@graetdk 是 dk 大佬,没有牛逼的东西,只是兴趣使然的玩具,等那个切块 issue 解决了可能会更有用一些
babyoung
246 天前
赞一个
chust
246 天前
赞,之前还看到过一个基于 wasm 实现的版本 hanFengSan/realcugan-ncnn-webassembly
OysterQAQ
246 天前
@chust 是的 ,这个是基于 nncn 的 wasm backend ,tfjs 也可以使用 wasm 来作为 backend ,默认是 webgl
Xi
246 天前
用 Upscayl 试了一下做个对比
OysterQAQ
246 天前
@Xi 这个仓库数字艺术用的是腾讯的 realsr ,cugan 也是在 b 站数据集上重新训练 realsr 得来的
tool2d
245 天前
我看老外可以不用任何框架,纯 JS 手撕超分模型,还是有一点点生猛。

https://takuyaa.github.io/waifu2x-js/
OysterQAQ
245 天前
@tool2d 这个是基于 nncn 的
tool2d
245 天前
@OysterQAQ 可以考虑加个 waifu2x 支持,我看官方今年一直在更新模型和数据,下载一个模型都要几百兆了。
OysterQAQ
245 天前
@tool2d #12 后续可以看看,不知道 waifu2x 有没有切块的版本,现在大部分观点是 realsr 强于 waifu2x

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/974695

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX