SenseNova U1.5-Lite-Preview 开源了: 4K 生成、复杂排版和原生图像编辑

8 月 1 日
 Daniel6606

这次目前只开源了权重,我还没饭判断本地部署的成本,把主要功能放在这儿

原生 4K 图像生成

U1.5 重新设计了图像生成头,并把训练扩展到 4K 分辨率。

这部分主要改善:

中英文文字和复杂排版

这次更新加强了中文、英文文字生成,以及海报、信息图和品牌视觉中的复杂布局

简单任务仍然可以使用短提示词, 长提示词和 JSON 一类的结构化指令主要用于提高复杂任务的可控程度,不是每次生成都需要写几千字

这个方向对海报和信息图比较实用。这类任务的难点通常不在于生成一张好看的背景,而在于同时处理文字、层级、对齐、多个主体和局部约束。

图像编辑能力

U1.5 覆盖的编辑方式比较多:

文字编辑会尝试保留原来的字体、材质、透视、布局和遮挡关系。局部编辑则强调保留主体身份、空间结构和未指定区域。

我个人更关注连续编辑。如果模型能够在多轮修改后仍然保持人物、商品和版式的一致性,它会比一次性文生图更接近真正的设计工具。

Benchmark

官方给出的数据都是 U1.5 Preview 与上一代 U1 的对比:

Benchmark U1 U1.5 Preview
Qwen-Image-Bench 47.14 55.20 (使用 Prompt Enhance )
ImgEdit-Bench 3.90 4.37
GEdit-Bench-en 7.47 8.17
GEdit-Bench-zh 7.42 8.05

换算下来,四项指标的相对提升大约是 17.1%、12.1%、9.4% 和 8.5%。

这些结果只能说明 U1.5 相比 U1 有进步。由于没有完整的同条件横向测试,目前无法据此判断它和其他开源图像模型的实际差距。Qwen-Image-Bench 的 55.20 也必须带上 Prompt Enhance 这个条件。

目前已知的问题

官方材料列出的待改进项包括:

我的看法

从介绍材料来看,U1.5 的方向比较明确:把生成、参考图控制和局部编辑放进同一个工作流

2064 次点击
所在节点    分享发现
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1231358

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX