苹果的眼睛是如何做到高精度眼球追踪的?

347 天前
 touchmii

根据体验过的博主描述可以实现网页单个字母级别的定位,探讨一下两种情况的原理,首先就是眼镜相对于头部的位移,首先投影出来的画面会随着头部移动带动眼镜移动会实时计算画面,给你的感觉就是画面中的物体并没有移动,如果此时认为移动眼睛,画面中的物体还会保持视觉上的静止吗,从反馈来看是有扫描头部模型的,理论上来说需要实时追逐眼镜和头部轮廓之间的位移来纠正这个误差,这种人为调节眼镜位置的情况应该不多,不知道苹果有没有做相应的措施。

接下来的一个问题就是,戴着眼镜头部旋转时眼球的定位精度还可以达到那么高吗,如果只是检测眼球下 8 按对于眼眶也就是头部的位移,这个精度并不是多难的事情,黑白双相机就能纠正眼球弧度的误差,但是比较麻烦的地方在于,此时眼镜和头部还是可以转动的,也就是说即便此时眼球保持不动,仅旋转头部,还可以保证高精度的追踪吗,这样需要计算的就是眼镜相对于空间的位置,仅依靠陀螺仪判断头部的位移肯定是不准的,我的猜测就是苹果的眼镜依靠前部三维摄像头完成眼镜和室内空间位移的计算,那么这套设备的应用场景肯定是不能在太过开阔且确实参照物的地方使用,比如广场,或者菜市场这类障碍物多且不固定的地方,它必然会影响判断环境跟眼镜的位移,不过目前苹果安排的独立房间还有坐在沙发上面体验应该是存在一定的局限性的。

我没有研究其他 vr ar mr 设备的具体技术细节,但接触过 slam ,要在 vr 中达到高精度的眼部追逐,眼球相对于头部的位置,眼镜相对于头部的位置,眼镜相对于空间的位置这三个位置的识别一个都不能掉链子,第三个最难实现,因为空间跟眼镜的距离较大不确定因素也比较多,前两个都是两个固定的物体做对比。具体要达到单字母的定位要求这这个位置的误差必须低于多少请懂行的大神指教一下,我预感这个眼镜应该会在美国那种大平方极简风的卧室客厅表现比较好,小房间堆满乱七八糟的物品,有高反光的材质的空间精度必然会下降。猜测如果用手盖住前方所以摄像头传感器就会出现上述情况,如果有人能验证一下就好了。

经过苹果的这个发布会我感觉传统 vr 要解决眩晕问题还是可以从苹果这里学到经验,即便只是一个头显,就算没有眼部追踪,剩下两个坐标的计算还是不可或缺,他关系到头部移动时投影的准确性,在现实世界中我们看不同距离转动头部或者位移是画面在脑海中不仅仅是接受眼球的视觉信息,还会有一个预判,只要在 VR 中的画面跟经验中不相符立马就能察觉到异样,我玩那种逼真 3a 游戏时一下子就头晕,那个画面非常真实但是视觉非常不符合直觉,如果是漫画风的三维游戏就好很多。

3899 次点击
所在节点    Apple
26 条回复
0ranger
346 天前
@ChongKit 这个 app 叫什么
Biluesgakki
346 天前
@ChongKit #1 口罩解锁估计也是用到这个技术了
LXGMAX
346 天前
外星人 Tobii
PrinceofInj
346 天前
有没有可能是通过读取视网膜上的图像,看一下黄斑的位置上是什么图像来判断的。
James369
346 天前
眼球反射成像
touchmii
342 天前
@PrinceofInj 如果是这样的话就很难解释为什么只有苹果的眼镜定位精度可以达到字幕基本,而别的眼镜非常差.这应该只是定位中的一环.

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/947101

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX