【CHD什么意思】现实版雷迪玩家圈：科学家克服VR应用瓶颈，实现高精度视觉惯性手部运动跟踪。

图| VR触觉动作的手部跟踪结果

文，学术标题，作者，XT，编辑，柯建超

近年来，虚拟手在VR游戏等领域得到了广泛的应用，开发人员不断探索基于逼真的虚拟手手势识别的交互运动，但为了让用户充分感受到实际运动的真实感，技术上的困难很多。

目前，在虚拟/增强现实(VR/AR)领域，大多数跟踪手部动作的尖端技术都缺乏准确性。

依赖于视觉检测的跟踪设备在黑暗环境或障碍物阻挡视线时不起作用，依赖于速度和力计算位置的惯性测量单位(IMU)更容易受到电磁干扰。同样，由软传感器组成的一些设备也不能始终区分运动何时、何时触摸会使物体变形。

最近，韩国首尔大学、美国斯坦福大学和三星电子的科学团队以紧密结合的方式融合了视觉传感器和IMU，克服了这一局限，设计了新的视觉惯性骨架跟踪(VIST)框架。

论文指出，该框架由装有传感器的手套和头部安装摄像头组成，是一个准确、经济、可携带、甚至可清洗的跟踪系统，结合视觉和力量的测量，可以准确跟踪人体手部和手指的运动，并能准确跟踪在实际环境中受到障碍物影响而难以检测的运动。

此外，研究人员还展示了将这种新的跟踪系统应用于VR、假肢、野外无人机等多个领域的潜力。

一种十分友好的人机交互

人类可以轻松地使用手进行一些运动控制，如果可以将人类手的灵活性复制到VR/AR场景中(例如，通过拟人机器人手的触觉反馈)，可以执行复杂的远程操作任务。能够显着提高人机交互(HRI)应用程序的效率、直观性和丰富性。

实时交互是指用户在模拟环境中能够操作物体的程度，以及从环境中得到反馈的自然程度。交互主要通过VR系统中的特殊硬件设备(如数据手套、力反馈设备等)，让用户自然产生与真实情况相同的感觉。VR系统强调与虚拟世界的自然交互，交互的另一个方面主要体现了交互的实时性。

包括手指在内的相对部跟踪是VR/AR和人机交互的用户体验中的关键技术。目前，解决手部跟踪问题的方法主要有三种。

基于视觉的手部跟踪。利用机器学习技术跟踪没有标记的手的运动，利用大图像数据集训练，但这种方法存在无法避免遮挡的问题。

基于惯性测量单位(IMU)/指南针的可穿戴手跟踪。常用的传感器有六轴IMU(加速度计和陀螺仪)和指南针(磁强计)。这种方法根本上容易受到磁场的变化或干扰，铁磁物体或电子设备的干扰很严重。

软装可穿戴手追踪。使用软传感器检测每个传感器变形产生的信号，将传感器包裹在手部周围，使用附加的手部姿势传感器估计手部的构成。这种方法不能区分运动引起的变形和接触引起的变形，因此不适合用户需要处理对象/工具或佩戴触觉设备的应用程序。

另外，纯磁跟踪器、外骨骼跟踪等方法存在一些技术和应用限制。

为此，研究人员提出了视觉惯性骨架跟踪(VIST)系统及其算法，通过准确、稳健、经济的手部跟踪克服了这种手部跟踪方法的技术局限性。

图| |VIST中的系统配置和可能的应用程序(来源：本论文)

VIST系统的主要创新之一是将视觉传感器和惯性传感器紧密结合(TC)在一起，对视觉传感器无法检测到的物体，惯性传感器进行辅助估计，反之亦然。惯性传感器检测不到的动作也是由视觉数据补充的，TC融合方法可以表明VIST算法在手部跟踪中更加稳健。VIST体系结构的一些主要优点包括：

由于TC视觉-惯性融合和自动校准，跟踪精度比其他最先进的方法高。

遮挡、视觉复杂性/变化的环境和环境照明的坚固性

电磁干扰和模糊的机械接触的鲁棒，可以操纵物体和穿戴设备。

包括实时校准/自动校准解剖/手套运动学参数和VIST算法

可清洗的坚固性、手套材料成本负担、使用头部显示器(HMD)的相机和计算，重量轻，穿戴性好。

在

显著提高跟踪精度和用户便利性

手部跟踪系统中，对手的建模是重要的一步。本研究将手建模为分段关节骨骼模型，并选择手背和在日常生活中发挥重要作用的三根手指(拇指、食指和中指)作为目标跟踪。

段。

图｜VIST 的建模与流程（来源：该论文）

为了获得目标跟踪段的视觉和惯性信息，研究人员设计了一个传感器手套，手套分两层：带有 7 个 IMU 的手套内层，带有 37 个视觉标记的外手套层 ，视觉标记具有 4 种不同颜色（红色、蓝色、绿色和黄色），手套上还有一个头戴式立体摄像机。

同时，研究人员还开发了一种基于滤波的视觉惯性手部跟踪算法，该算法主要包括对视觉信息的提取以及视觉惯性手部运动的估计，通过将 IMU 信息与提取的视觉信息和手部解剖约束融合处理，来估计手部运动。

图 | 未使用视觉和惯性信号融合处理的方法得到的跟踪效果（有许多异常值，检测精度不稳定）

图 | 使用视觉和惯性信号融合处理的方法得到的跟踪效果（利用 IMU 信息进行鲁棒匹配）

视觉信息的提取主要包括对原始图像中的标记检测、左右立体匹配和 IMU 辅助的对应搜索三个过程，在数据融合处理过程中使用 IMU 信息进行手部运动预测，再利用视觉信息进行校正，然后对手部作解剖约束进行校正。由于使用视觉惯性融合对关节段的运动相关状态进行实时校准和自动校准，与其他系统相比，该研究设计的 VIST 系统可以显著提高跟踪精度和用户便利性。

VIST 算法的高鲁棒性

另外，研究人员也定量评估了 VIST 系统在自由运动、对象交互和佩戴指尖皮肤触觉设备（CHD）的情况下的性能和稳健性。

每个实验招募了 15 名参与者，每位参与者被指示坐在一张被 MOCAP 摄像机包围的桌子前，并复制监视器中随机显示的手部配置。

图 | 自由运动跟踪定量评估的测试设置和结果（来源：该论文）

由于 VIST 跟踪利用了视觉信息和手部参数的自动校准，对手部大小的可变性不敏感。研究人员通过实验观察发现，VIST 算法对遮挡具有良好的鲁棒性，即使可见标记相当少，其平均误差也仅略微增加。

研究人员构建了 8 个日常对象的图像数据集，每个对象有 100 张不同手部姿势的图像，以此来定量评估 VIST 系统在对象交互和佩戴指尖皮肤触觉装置上的应用，从而评估其对严重闭塞、磁干扰和机械接触的鲁棒性。

以往的研究表明，人类无法检测到 VR 中 50 毫米以下的食指尖跟踪误差，而且人类无法基于本体感觉区分 1.7 度以下的食指关节角度误差。

研究发现，该研究设计的 VIST 系统可能允许用户根据真实的手准确地感知渲染的手，且优于一些最先进的基于视觉的算法对于自由运动的跟踪，该 VIST 算法的平均误差仅为 10.69 mm。

图 | 对视觉复杂背景的定性评价（来源：该论文）

研究发现，VIST 系统在使用手钻、便携风扇、耳机壳、CHDs 等含有铁磁材料或内部电流的设备时，不仅可以保持跟踪稳定性，还可以保持其准确性。

图 | 操作工具时跟踪手势（在工厂中，操作一些工具时的手势跟踪是非常具有挑战性的）

VIST 系统在真实场景中具有强稳健性

研究人员在真实场景中对 VIST 系统进行了一些具有挑战性定性测试，在背景中使用彩色物体（杂志、水果和文具）和一幅画（阿尔勒的卧室），在视觉上与手套标记具有相似的颜色/图案。

研究表明，尽管存在视觉上对抗的物体和背景，该系统仍可以稳健地跟踪手部运动。

图｜各种闭塞的定性评估（来源：该论文）

此外，通过 IMU 辅助的对应搜索，可以将标记观察结果与手套上的真实匿名标记进行稳健匹配，同时有效地消除异常值，从而即使在视觉复杂的对象和背景下，也能表现出稳定的跟踪性能。

研究人员还在户外对 VIST系统的性能进行了测试。实验表明，VIST系统可以在户外稳健地跟踪手部运动，而这一点对大多数现有的系统来说是相当困难的。

户外实验不仅验证了 VIST 系统在硬件和算法方面的完全可移植性，也验证了它在户外场景的应用中具有可行性。

图 | VIST 系统户外性能测试

通过定量和定性的评估，研究发现 VIST 系统在具有挑战性的真实世界场景中运行稳健且性能高，尤其是 VIST 架构能够与具有手的大小和形状变化的不同物体进行互动。

VIST 系统规避了基于视觉的系统的基本问题，在处理闭塞、泛化和缓慢的更新中均具有优越性，克服了IMU/compass-可穿戴系统的漂移或磁干扰问题，通过利用视觉信息与解剖学约束相结合，还克服了软传感器可穿戴系统的未建模接触问题。

通过融合视觉和惯性传感器在 TC 融合中的互补性，VIST 系统解决了现有手部跟踪系统的基本约束，这对于正确解决手部跟踪的特殊性至关重要。

研究人员表示，VIST 系统的强大手部跟踪性能可能会促使其获得更广泛的应用，解决现有方法所无法企及的各种现实世界的应用场景，例如医疗康复的日常监测和工具操作技能评估等。

参考资料：