ShareMoe——1000w 以内最好用的二次元插画元数据分发平台(bushi)

55 分钟前
 OysterQAQ

从 pixivic 到 ShareMoe,八年历程,在 ai 时代重新出发,just for fun~

为什么是 ShareMoe?

最全:pixiv+danbooru

以 Danbooru 与 Pixiv 的公开插画元数据为基础,打通两个最大二次元插画分发平台的物料,统一进行分发。

在数据补全方面,ShareMoe 基于前序开源的ACG2Vec项目中的 pix2score 模型,对 danbooru 作品的元数据进行预估补全,包括:

这些结果用于改善检索、排序和浏览初始体验,for 对齐 pixiv 平台的后验值,不替代真实统计数据。后续探索基于保序回归的新版本。

最准:从标签匹配到内容理解

不管是 pixiv 或者是 danbooru,检索仍然以文本粒度的 term 匹配+全文分词倒排作为实现,语义泛化能力差;在这种关键词硬匹配的背景下,danbooru 侧更是缺少用户反馈,后验信息缺失,导致朴素排序结果较差,pixiv 为了高级会员差异性,劣化了普通用户的搜索体验(无法进行热度排序)

我们建设从多模态内容理解到语义检索、召回和排序的完整方案。

LLM 增强的画作语义表征基座

基础表征方案由两个模型组成:上游多模态大模型负责离线生产高质量的领域语义数据,超大规模二次元图文对微调的 embedding 模型负责把图像与不同粒度的文本映射到同一个向量空间。

画作与原始元数据 → 标签知识增强 → 多模态内容理解 → 结构化语义数据 → 多粒度图文配对 → 分阶段 embedding 微调 → 向量化与 ANN 检索。

结构化多模态内容理解:从图像生成可追溯的结构化理解

基于Qwen/Qwen3.5-35B-A3B 产出插画单位的结构化内容理解数据

  1. 用领域知识补足原始标签

    原始标签通常只有短词,无法完整表达角色、作品/IP、别名和上下位关系。我们将画作图像、标题、原始标签与可用的标签知识共同送入内容理解流程:

    • Pixiv 标签侧补充中文名、描述、层级分类、父子标签及关联标签等信息;
    • Danbooru 标签侧补充标准名称、标签类别、频次和别名映射;
    • 角色、作品/IP、画师、一般语义和元标签分开组织,减少同名实体和别名带来的歧义;
    • 外部知识只作为识别线索,最终仍要求模型回到图像确认可见事实,无法确认的内容保留低置信度或空值。
  2. 产出结构化理解

    内容理解模型同时参考图像和元数据,输出分层结果,而不是只生成一段泛化描述。主要信息包括:

    理解层 典型内容 作用
    总体描述 角色/IP、外观、服饰、姿态、场景、光影与氛围 支持自然语言搜索和描述配对
    视觉属性 人物数量、发型、发色、瞳色、服装、配饰、表情、动作、构图、视角、景别、色彩 将可见内容拆成可组合的检索条件
    实体识别 角色名、作品/IP、原创或二创判断、置信度与识别依据 连接标签、画师和作品关系
    高层语义 构图概念、视觉表达、情绪和整体氛围 覆盖难以用单一标签表达的画面语义
    分层标签 实体、主题、构图和风格等中文短标签 生成不同粒度的训练查询
大规模多阶段领域微调的语义向量化模型
  1. 构造三种互补的图文监督

    结构化结果经过清洗、去重和格式统一后,转换成三类图文配对:

    • 单标签配对:将角色、作品/IP 和一般语义标签分别与图像配对,覆盖关键词、属性词和专有实体。
    • 多标签组合配对:将角色/IP 标签或随机采样的语义标签组合成一个查询,学习“角色 + 服饰 + 场景”等条件交集。
    • 自然语言描述配对:将完整中文描述与图像配对,学习多个视觉属性、关系和氛围在自然语言中的表达。
  2. 两阶段训练统一图文空间

    使用Qwen/Qwen3-VL-Embedding-2B 作为基础模型并采用 LoRA 方式进行领域适配:

    1. 阶段一:使用单标签图文对训练 1 个 epoch,让基础模型先适应插画领域的角色、作品/IP、属性和标签表达。
    2. 阶段二:混合单标签、多标签组合和自然语言描述三类数据继续训练 2 个 epoch,使同一个向量空间同时支持关键词搜索、组合条件搜索和完整描述搜索。
    3. 向量检索:将查询文本和作品内容编码为归一化向量,通过 ANN 索引进行大规模候选召回,再交给后续排序链路处理。

    最终在 1%的多阶段测试集上取得显著指标提升

LLM 语义增强的实时全域序列感知的召排模型

推荐系统会综合用户兴趣、作品内容和近期行为,探索多路召回与统一排序:

搜索:语义 ANN 与全文倒排并行

搜索侧结合两类能力:

免费多端使用

搜索 Case 展示

移动端搜索结果预览

emb 模型离线评估

当前结果来自三组文本到图像检索评估:单一标签、多标签组合和自然语言描述。Base 为原始 Qwen3-VL-Embedding-2B,Exp 为完成“单标签 1 epoch + 三类数据混合 2 epoch”后的 LoRA checkpoint。三组实验均使用 FAISS HNSW32,SQ8 量化 ANN 索引。

评估任务 Query / 候选库 指标 Base Exp 绝对提升
单一标签配对 576,240 / 3,430,274 Recall@1 0.0339% 0.1365% +0.1026pp
单一标签配对 同上 Recall@10 0.1594% 0.9010% +0.7416pp
单一标签配对 同上 Recall@500 1.6632% 10.0632% +8.4000pp
单一标签配对 同上 HitRate@10 0.3483% 1.7595% +1.4112pp
单一标签配对 同上 MRR@10 0.1313% 0.5960% +0.4647pp
单一标签配对 同上 NDCG@10 0.1060% 0.5326% +0.4266pp
单一标签配对 同上 Precision@10 0.0368% 0.1842% +0.1474pp
多标签组合配对 369,797 / 418,229 Recall@1 1.9289% 32.6541% +30.7251pp
多标签组合配对 同上 Recall@10 6.1108% 56.6138% +50.5030pp
多标签组合配对 同上 Recall@500 22.6470% 81.2649% +58.6179pp
多标签组合配对 同上 HitRate@10 6.1796% 57.5835% +51.4039pp
多标签组合配对 同上 MRR@10 3.0716% 40.5600% +37.4884pp
多标签组合配对 同上 NDCG@10 3.7671% 44.1927% +40.4256pp
多标签组合配对 同上 Precision@10 0.6197% 5.8601% +5.2404pp
自然语言描述配对 126,779 / 126,770 Recall@1 60.6197% 87.7472% +27.1275pp
自然语言描述配对 同上 Recall@10 74.2544% 94.9156% +20.6612pp
自然语言描述配对 同上 Recall@500 83.1825% 98.2742% +15.0916pp
自然语言描述配对 同上 HitRate@10 74.2544% 94.9156% +20.6612pp
自然语言描述配对 同上 MRR@10 65.2370% 90.2323% +24.9953pp
自然语言描述配对 同上 NDCG@10 67.4217% 91.3712% +23.9495pp
自然语言描述配对 同上 Precision@10 7.4254% 9.4916% +2.0661pp

每组评估的 25 项检索指标均实现提升,三组共 75 项指标保持一致改善。最明显的收益出现在多标签组合配对:Recall@10 从 6.1108% 提升到 56.6138%,Recall@500 从 22.6470% 提升到 81.2649%,说明领域微调显著改善了组合条件与图像之间的对齐。

自然语言描述配对的 Base 本身已有较强表现,Exp 仍将 Recall@1 从 60.6197% 提升到 87.7472%,将 Recall@10 从 74.2544% 提升到 94.9156%,同时 NDCG@10 从 67.4217% 提升到 91.3712%,说明不仅找回了更多目标,前排排序也得到改善。

单一标签配对的绝对分数仍然较低,但相对 Base 有稳定提升,例如 Recall@500 从 1.6632% 提升到 10.0632%。单标签通常对应大量图像,且当前评估存在多正例、未完整补全相关关系和潜在假负例,因此不能仅凭这组分数断言单标签语义能力不足;后续会结合人工 case、完整相关性标注和分桶指标继续验证。

获取

安卓: https://github.com/OysterQAQ/Blog-Image/blob/master/ShareMoe-v4.2.1%2B1-build.40-arm64-v8a-release.apk

iOS: https://apps.apple.com/app/sharemoe/id1508873995

macOS:https://github.com/OysterQAQ/Blog-Image/blob/master/ShareMoe-1.0.6-macos-arm64.zip https://github.com/OysterQAQ/Blog-Image/blob/master/ShareMoe-1.0.6-macos-x64.zip

windows:https://github.com/OysterQAQ/Blog-Image/blob/master/ShareMoe-1.0.6-windows-amd64-installer.exe

70 次点击
所在节点    分享创造
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1258209

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX