从 pixivic 到 ShareMoe,八年历程,在 ai 时代重新出发,just for fun~
以 Danbooru 与 Pixiv 的公开插画元数据为基础,打通两个最大二次元插画分发平台的物料,统一进行分发。
在数据补全方面,ShareMoe 基于前序开源的ACG2Vec项目中的 pix2score 模型,对 danbooru 作品的元数据进行预估补全,包括:
sanity 分级预估这些结果用于改善检索、排序和浏览初始体验,for 对齐 pixiv 平台的后验值,不替代真实统计数据。后续探索基于保序回归的新版本。
不管是 pixiv 或者是 danbooru,检索仍然以文本粒度的 term 匹配+全文分词倒排作为实现,语义泛化能力差;在这种关键词硬匹配的背景下,danbooru 侧更是缺少用户反馈,后验信息缺失,导致朴素排序结果较差,pixiv 为了高级会员差异性,劣化了普通用户的搜索体验(无法进行热度排序)
我们建设从多模态内容理解到语义检索、召回和排序的完整方案。
基础表征方案由两个模型组成:上游多模态大模型负责离线生产高质量的领域语义数据,超大规模二次元图文对微调的 embedding 模型负责把图像与不同粒度的文本映射到同一个向量空间。
画作与原始元数据 → 标签知识增强 → 多模态内容理解 → 结构化语义数据 → 多粒度图文配对 → 分阶段 embedding 微调 → 向量化与 ANN 检索。
基于Qwen/Qwen3.5-35B-A3B 产出插画单位的结构化内容理解数据
用领域知识补足原始标签
原始标签通常只有短词,无法完整表达角色、作品/IP、别名和上下位关系。我们将画作图像、标题、原始标签与可用的标签知识共同送入内容理解流程:
产出结构化理解
内容理解模型同时参考图像和元数据,输出分层结果,而不是只生成一段泛化描述。主要信息包括:
| 理解层 | 典型内容 | 作用 |
|---|---|---|
| 总体描述 | 角色/IP、外观、服饰、姿态、场景、光影与氛围 | 支持自然语言搜索和描述配对 |
| 视觉属性 | 人物数量、发型、发色、瞳色、服装、配饰、表情、动作、构图、视角、景别、色彩 | 将可见内容拆成可组合的检索条件 |
| 实体识别 | 角色名、作品/IP、原创或二创判断、置信度与识别依据 | 连接标签、画师和作品关系 |
| 高层语义 | 构图概念、视觉表达、情绪和整体氛围 | 覆盖难以用单一标签表达的画面语义 |
| 分层标签 | 实体、主题、构图和风格等中文短标签 | 生成不同粒度的训练查询 |
构造三种互补的图文监督
结构化结果经过清洗、去重和格式统一后,转换成三类图文配对:
两阶段训练统一图文空间
使用Qwen/Qwen3-VL-Embedding-2B 作为基础模型并采用 LoRA 方式进行领域适配:
最终在 1%的多阶段测试集上取得显著指标提升
推荐系统会综合用户兴趣、作品内容和近期行为,探索多路召回与统一排序:
i2i 相似作品召回搜索侧结合两类能力:
移动端搜索结果预览
|
|
|
|
|
|
|
|
|
|
当前结果来自三组文本到图像检索评估:单一标签、多标签组合和自然语言描述。Base 为原始 Qwen3-VL-Embedding-2B,Exp 为完成“单标签 1 epoch + 三类数据混合 2 epoch”后的 LoRA checkpoint。三组实验均使用 FAISS HNSW32,SQ8 量化 ANN 索引。
| 评估任务 | Query / 候选库 | 指标 | Base | Exp | 绝对提升 |
|---|---|---|---|---|---|
| 单一标签配对 | 576,240 / 3,430,274 | Recall@1 | 0.0339% | 0.1365% | +0.1026pp |
| 单一标签配对 | 同上 | Recall@10 | 0.1594% | 0.9010% | +0.7416pp |
| 单一标签配对 | 同上 | Recall@500 | 1.6632% | 10.0632% | +8.4000pp |
| 单一标签配对 | 同上 | HitRate@10 | 0.3483% | 1.7595% | +1.4112pp |
| 单一标签配对 | 同上 | MRR@10 | 0.1313% | 0.5960% | +0.4647pp |
| 单一标签配对 | 同上 | NDCG@10 | 0.1060% | 0.5326% | +0.4266pp |
| 单一标签配对 | 同上 | Precision@10 | 0.0368% | 0.1842% | +0.1474pp |
| 多标签组合配对 | 369,797 / 418,229 | Recall@1 | 1.9289% | 32.6541% | +30.7251pp |
| 多标签组合配对 | 同上 | Recall@10 | 6.1108% | 56.6138% | +50.5030pp |
| 多标签组合配对 | 同上 | Recall@500 | 22.6470% | 81.2649% | +58.6179pp |
| 多标签组合配对 | 同上 | HitRate@10 | 6.1796% | 57.5835% | +51.4039pp |
| 多标签组合配对 | 同上 | MRR@10 | 3.0716% | 40.5600% | +37.4884pp |
| 多标签组合配对 | 同上 | NDCG@10 | 3.7671% | 44.1927% | +40.4256pp |
| 多标签组合配对 | 同上 | Precision@10 | 0.6197% | 5.8601% | +5.2404pp |
| 自然语言描述配对 | 126,779 / 126,770 | Recall@1 | 60.6197% | 87.7472% | +27.1275pp |
| 自然语言描述配对 | 同上 | Recall@10 | 74.2544% | 94.9156% | +20.6612pp |
| 自然语言描述配对 | 同上 | Recall@500 | 83.1825% | 98.2742% | +15.0916pp |
| 自然语言描述配对 | 同上 | HitRate@10 | 74.2544% | 94.9156% | +20.6612pp |
| 自然语言描述配对 | 同上 | MRR@10 | 65.2370% | 90.2323% | +24.9953pp |
| 自然语言描述配对 | 同上 | NDCG@10 | 67.4217% | 91.3712% | +23.9495pp |
| 自然语言描述配对 | 同上 | Precision@10 | 7.4254% | 9.4916% | +2.0661pp |
每组评估的 25 项检索指标均实现提升,三组共 75 项指标保持一致改善。最明显的收益出现在多标签组合配对:Recall@10 从 6.1108% 提升到 56.6138%,Recall@500 从 22.6470% 提升到 81.2649%,说明领域微调显著改善了组合条件与图像之间的对齐。
自然语言描述配对的 Base 本身已有较强表现,Exp 仍将 Recall@1 从 60.6197% 提升到 87.7472%,将 Recall@10 从 74.2544% 提升到 94.9156%,同时 NDCG@10 从 67.4217% 提升到 91.3712%,说明不仅找回了更多目标,前排排序也得到改善。
单一标签配对的绝对分数仍然较低,但相对 Base 有稳定提升,例如 Recall@500 从 1.6632% 提升到 10.0632%。单标签通常对应大量图像,且当前评估存在多正例、未完整补全相关关系和潜在假负例,因此不能仅凭这组分数断言单标签语义能力不足;后续会结合人工 case、完整相关性标注和分桶指标继续验证。
iOS: https://apps.apple.com/app/sharemoe/id1508873995
macOS:https://github.com/OysterQAQ/Blog-Image/blob/master/ShareMoe-1.0.6-macos-arm64.zip https://github.com/OysterQAQ/Blog-Image/blob/master/ShareMoe-1.0.6-macos-x64.zip
windows:https://github.com/OysterQAQ/Blog-Image/blob/master/ShareMoe-1.0.6-windows-amd64-installer.exe
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.