熟悉AR的朋友大多听说过苹果的ARKit和谷歌的ARCore,他们在AR经验中扮演了什么角色?为什么很多AR应用程序只能安装和使用经过认证的手机。

今天就一起来看看ARKit和ARCore背后的运行原理,解开心中的困惑。

ARKit和ARCore 从技术上讲是一个视觉惯性里程计 (VIO) 系统。VIO意味着软件算法会实时跟踪您在空间中的位置(您的 6dof 姿态),即您的姿态会在显示屏上的每帧画面刷新之间进行重新计算,大约每秒 30 次或更高频率。

视觉惯性里程计 (VIO)

这些计算需要并行进行两次计算。您的姿态是通过视觉相机系统跟踪的,每帧将现实世界中的一个点与相机传感器上的一个像素进行匹配。您的姿态也由惯性系统(加速度计和陀螺仪组成 - 统称为惯性测量单元或 IMU)进行跟踪。

然后通过卡尔曼滤波器组合这两个系统的输出,该滤波器确定两个系统中的哪一个提供对您的“真实”位置的最佳估计,并通过SDK对外部程序发布该姿态更新数据。

卡尔曼滤波运用

就像汽车里程表能够跟踪记录汽车行驶的距离一样,VIO 系统跟踪手机设备在空间中行驶的距离和朝向,包含沿空间坐标系x、y、z三个坐标轴的平移运动和旋转运动,简称6 dof(自由度)运动。

6 dof图示

AR应用中6自由度应用效果

VIO 带来的最大优势一是 IMU 读数频率大约每秒 1000 次,二是基于加速度(用户运动)进行计算。航位推算用于测量 IMU 读数之间的设备移动。航位推算差不多是一种猜测估计,就像我让你走一步并猜测那一步是多少米远,你会使用航位推算来估计距离。

航位推算

当然,如何使这个猜测估计变得高度准确需要很多算法上的推敲优化。惯性系统中的误差会随着时间的推移而累积,因此 IMU 帧之间的时间越长,或者惯性系统在没有从视觉系统获得“重置校正”的情况下运行的时间越长,跟踪偏离真实情况的时间程度就越高。

视觉光学测量以相机帧速率进行,因此通常为 30帧/秒,并且与帧之间的距离有关(帧之间的场景变化)。光学系统通常会更高程度在距离上累积误差(在时间维度误差累积相对小),因此您走得越远,误差就越大。

两种方式比较

不过幸运的是,光学系统和惯性系统联合起来能够相辅相成,在发挥出各自优势的同时抵消了劣势。

因此,视觉和惯性跟踪系统是基于完全不同的测量系统,没有相互依赖关系。这意味着相机可以被短时间遮盖或可能查看具有少量光学特征(例如白墙)的场景,此时惯性系统可以短时间“承载”几帧。或者在设备保持静止的状态下,视觉系统可以提供比惯性系统更稳定的姿态。卡尔曼滤波器不断选择质量最好的姿态,结果是稳定的跟踪。

平面检测能力

ARKit和ARCore都有的一个主要功能是简单平面检测,这是必要的能力,因此您才有“地面”能够放置您的内容,否则它漂浮不定的悬空中,看起来不够真实。这是根据光学系统检测到的特征(您在图中看到的那些小点)计算得出的,算法只是将它们平均起来,因为任何 3 个点定义了一个平面,如果您这样做足够多次消除误差,您可以估计真正的地面在哪里。

稀疏点云

这些点通常被称为“点云”,这是另一个令人困惑的术语。这些点共同构成一个稀疏点云,用于光学跟踪。稀疏点云使用更少的内存和 CPU 时间来实现跟踪,并且在惯性系统的支持下,光学系统可以在跟踪少量点的情况下就能工作得不错。这是一种与密集点云不同类型的点云,密集点云看起来接近真实感,有一些跟踪器可以使用密集点云进行跟踪,但通常需要更高的算力。

密集点云

几个常见问题

我见过人们将 ARKit 或ARCore称为 SLAM,或者使用术语 SLAM 来指代跟踪。为了澄清起见,将 SLAM 视为一个非常广泛的术语,例如“多媒体”。 跟踪本身是一个更通用的术语,其中里程计更具体,但它们在实践中与 AR 足够接近。这可能会令人困惑。做 SLAM 的方法有很多种,而跟踪只是一个完整 SLAM 系统的一个组成部分。我认为 ARKit或ARCore是一个轻量级或简单的 SLAM 系统。

完整SLAM流程

ARKit或ARCore让很多人困惑的的两个“谜团”是 - “如何从单个相机镜头构建出3D地图?” 、“如何获得对象真实尺度大小(就像AR尺子测量功能应用中演示的一样)?”。这里的秘诀是“真正”好的 IMU 错误消除(即使航位推算猜测高度准确)。当你能做到这一点时,会发生以下情况:

单个相机通过移动构建3D地图

要获得 3D,您需要拥有来自不同位置的场景的 2 个视图,以便利用三角测距原理对您的位置进行立体计算。这就是我们的眼睛在3D世界中查看对象的方式,也是一些跟踪器依赖立体摄像头的原因。如果你有2个摄像头这很容易计算,因为您知道它们之间的距离,并且帧是同时捕获的。当使用一台相机时,您可以捕捉一帧,然后移动,然后捕捉第二帧。使用 IMU 航位推算,您可以计算两帧之间移动的距离,然后照常进行立体计算(实际上,您可能会从超过 2 帧进行计算以获得更高的精度)。 如果 IMU 精度足够高,那么这 2 帧之间的“运动”仅通过您试图保持手机静止不动的微小肌肉运动就能检测出来!

为了获得对象真实尺度大小,该系统依赖于来自 IMU 的准确航位推算。从 IMU 给出的加速度和时间测量值,您可以反向积分以计算出速度,并再次积分以获取 IMU 帧之间的移动距离。数学公式不是很难,难的是从 IMU 中消除误差以获得近乎完美的加速度测量。一个微小的误差(在您移动手机的几秒钟内每秒累积 1000 次)可能意味着 30% 或者更多的尺度比例误差。ARKit和ARCore厉害的地方就是能够将误差率降至个位数,远远优于那些开源的SLAM算法。

很小的误差累积1000次后就无法应用

好了,关于ARKit和ARCore的介绍就到这里,大家有什么想法或什么问题,欢迎在评论区发表探讨。


AR更多相关文章:

AR和VR当前面临的技术挑战和未来展望 为什么说人机交互的终点是AR空间界面交互?

兵马未动,粮草先行,AR、VR之前的3D流水线都干了什么活?

什么是增强现实(AR)与虚拟现实(VR)?它们是通往元宇宙的入口吗?

距离AR普及应用还有多远?关于增强现实的几点思考

北京冬奥会闭幕式上的数字AR中国结技术实现解析

空战中飞行员如何瞄准目标?谈谈AR头盔的应用

AR和IoT之间是什么关系?相爱相杀?相辅相成?

增强现实(AR)为什么可以无中生有?看一看魔镜背后发生的事情

1.《怎么用arkit?终于找到答案了苹果的ARKit和谷歌的ARCore对于AR起到什么作用?》援引自互联网,旨在传递更多网络信息知识,仅代表作者本人观点,与本网站无关,侵删请联系页脚下方联系方式。

2.《怎么用arkit?终于找到答案了苹果的ARKit和谷歌的ARCore对于AR起到什么作用?》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。

3.文章转载时请保留本站内容来源地址,https://www.lu-xu.com/gl/3047304.html