ios26 的 3D 壁纸 实现原理是怎样的？

[edward1987]

如题，看效果还挺好玩的，有裸眼 3D 的效果。 如果用来搞涩涩会不会有市场~ 我个人的理解是用 AI 分离了前景和背景，然后背景填充一下，然后动的时候前景和背景的 角度幅度差 产生的 3D 效果。

[Rubbly]

大概有这核心的几步？

1. 主体检测，确定好焦点（旋转中心）要在哪里
2. 深度识别 Depth Estimation ，对每个 object ，包括背景确定好景深
3. 空间适配，大概就是转一下手机，会根据深度 depth 来提供不同的 offset 偏移量，比如说离焦点越远的点，转动手机带来的偏移量会更大。

里面最重要的深度识别 ，苹果一直有在 follow 各种开源库，比如这个 https://github.com/DepthAnything/Depth-Anything-V2 ，能看到很快就集成到了 Apple Core Models 里面

[EVANGELIONAir]

很简单啊，语义分割分离前景背景，然后前景放大一点，陀螺仪控制前景与背景偏移方向相反就行

[zanbo]

@EVANGELIONAir 仔细看不止前景和背景，根据景深分了很多层，不同层的图片转动手机的时候还有形变

[ItzhacLea]

高斯泼溅

[okakuyang]

类似高斯泼溅的技术，不是简单的图层分隔。核心点除了高斯泼溅之外，还有发丝级别的深度推测，apple 放出了桌面版本，但是没有放出移动版本。

[Seck]

就是裸眼 3D ，苹果做了优化，比如图片深度识别分割，这需要 ai 辅助，识别越准确，分割越好，3D 效果越好。
Facebook 有开源项目，也是坐这方面，就是业界前沿研究，apple 做了产业化，看家本领。
Facebook 开源的类似，你晃动鼠标，图片就会动起来有 3D 效果。
果子的看家本领，手机芯片有了 npu ai 算力后拿来干嘛？果子说，我做给你看。

以前就有相关的 APP ，但是深度和分割做的比果子差的不是一星半点。没办法，没有算力支持，只能识别大概，切割后有很粗白色边缘，果子切割细节秒杀。

[Leon6868]

个人推测：

1. 主体识别：确定画面主体以配置遮掩方式
2. 深度检测：确定图片深度信息，建模，将平面信息投影到三维模型上（或者类似 live2D 的技术（其实 live2D 本质上也是三维投影））
3. 不同层级的图层加 mask 、扩图：仔细观察，旋转手机时遮掩关系改变，但是图像是连续的，说明苹果将图层前面的物体和图层分离，并且将分离后剩下的空窗用传统基于纹理的扩图或者 Diffusion 填充。
4. 根据陀螺仪数据渲染：最简单的一步

[zealotxxxx]

不只是前后景，它似乎还有内容填充。
我尝试过一张镜面反射的图片，它也能生效。

[maximdx]

这意味着在我们的手机里有一个模型来做这个工作吗？
还是依赖线上的模型？