cvg 【浙江大学ZJUCVG组】开源了大尺度运动恢复结构系统ENFT-SfM

简介

结构-运动(Structure-from-Motion，SfM)是一种能够从多幅图像或视频序列中自动恢复相机参数和场景三维结构的技术。它有广泛的应用，如增强现实、机器人和自动驾驶。SfM对图像序列中特征点跟踪的精度有很强的依赖性。如果场景中的运动物体或图像噪声导致特征跟踪不准确或跟踪寿命短，那么SfM的重建精度会受到很大影响，容易出现重建漂移现象。特别是对于大规模场景的运动恢复结构，这个问题尤为严重。

针对长序列或循环多视频序列运动恢复结构过程中容易出现重建漂移的问题，浙江大学CAD & CG国家重点实验室计算机视觉组(、鲍教授)创新性地提出了一种高效的非相干特征跟踪方法(简称ENFT)，不仅可以大大延长连续帧上特征点的跟踪寿命，而且能够高效准确地合并分布在不同子序列上的同名特征点，显著提高了特征点跟踪的鲁棒性。该技术框架将圆环的特征匹配复杂度从O(N2)(N为帧数)降低到O(M)(M为同名特征对数)。

本文还提出了一种基于分割的运动恢复结构求解方法，可以在有限的内存下全局优化整个场景的三维结构和相机参数，从而快速消除误差积累和重建漂移问题。该方法能够高效匹配多个视频序列，并在同一个三维坐标系中注册，其在复杂视频序列下的求解稳定性超过了ORB-SLAM、VisualSFM、OpenMVG等国际知名开源软件。

前不久，教授和鲍教授团队开源了大规模运动恢复结构系统ENFT-SfM(支持Windows和Linux)，不仅开源了核心的不连续特征跟踪算法ENFT和基于分割的聚类调整算法SegmentBA，还开源了自标定算法，可以实现摄像机内部参考的自动标定，处理各种运动和焦距变化的视频序列，包括多个视频序列的跟踪和配准。

论文:、、刘、董子龙、贾亚佳、王铁青、保。鲁棒运动结构的高效非连续特征跟踪。美国电气和电子工程师协会图像处理学报，25(12):5957–5970，2016。

项目主页:http://www.zjucvg.net/ls-acts/ls-acts.html

代码链接:https://github.com/ZJUCVG/ENFT-SfM

支持功能

基于两遍匹配策略的连续帧特征跟踪

对于视频序列，特征跟踪轨迹通常是通过匹配连续帧之间的特征来获得的。然而，由于光照变化、重复纹理、噪声和图像失真大，特征无法重复提取或无法匹配，导致许多跟踪轨迹分裂成较短的子轨迹。因此，研究小组提出了两遍匹配策略，通过挖掘和利用多平面运动的先验，显著提高了匹配精度，如图1所示。

图1。特征匹配的比较。(一)基于SIFT的首道匹配。第一幅图像提取了958个SIFT特征，但只匹配了53个特征；(b)基于核线直接搜索SIFT特征点，只增加11个匹配；(3)基于多平面运动先验的二次匹配，增加了346个匹配点。

高效的非连续特征轨迹匹配

除了连续帧之间的特征跟踪之外，对于高精度运动恢复结构来说，精确且完全地匹配分布在不同子序列中的公共特征点轨迹也是非常重要的。然而，对于长序列，使用暴力的方法来选择所有的图像对进行匹配是非常耗时的，并且几乎是不可行的。

为了匹配不连续帧的特征轨迹，需要知道哪两帧有共同内容，否则使用暴力匹配，计算复杂度很高。在这一部分中，我们可以通过一些类似于单词包数量的方法来快速估计匹配矩阵。匹配矩阵的水平和垂直坐标表示帧数，矩阵元素的值表示两帧之间可能匹配点的数量。然而，因为这种匹配不准确，所以匹配矩阵只是帧之间相似性的近似估计。因此，选择图像对与完整的信任匹配矩阵进行匹配是不可行的，计算效率较低。ENFT算法创新提出特征点匹配和匹配矩阵联合迭代优化，有效降低了对初始匹配矩阵精度的依赖，将计算复杂度从传统的O(N2)(N为帧数)降低到O(M)(M为同名图像对数)。

如图2所示，(a)和(b)是两个非常不同的初始匹配矩阵，优化后，最终匹配矩阵(c)和(d)非常接近。只有最下面的中间一块略有不同，因为(b)这里没有起始点，后续优化无法扩展。

图2。匹配矩阵估计(论文中的桌面序列)。(a)和(b)分别是通过两种不同方法估计的初始匹配矩阵。(c)和(d)是通过ENFT算法优化的匹配矩阵。可以看出(c)和(d)几乎一样，只有底部中间那块略有不同。

基于分段的集束调整

对于长序列，在求解过程中容易积累错误，需要频繁调用Bundle Adjustment (BA)进行优化。所谓的束调整就是把所有的相机参数和3D点云一起优化，变量的数量可能会非常大(因为3D点的数量可能会达到几千万甚至上亿)，所以优化过程中每次迭代都需要求解一个非常大的矩阵。因此，对于一个城市规模的场景，传统的聚类调整方法会在内存和效率上遇到瓶颈。为此，课题组提出了一种基于分割的聚类调整算法，将每个序列划分为若干个子序列，优化了每个子序列与关节处三维点的相似度变换，从而实现了大规模场景下高效的全局优化和循环闭合。如图3所示，主要步骤如下:

将长序列分成若干段短序列，每个短序列进行独立的SfM求解，并根据公共匹配对进行对齐，每个段由7个自由度的相似变换控制；如果投影误差比较大，检测分裂点将序列分段，然后优化；重复上述步骤直至投影误差小于阈值或不能再分裂为止。

图3。分段捆绑调整示意图

自定标

ENFT-SfM系统包括自校准功能。即使相机内部参数未知或相机焦距发生变化(仅支持单序列重建)，相机内外参数和三维点云仍然可以准确恢复。这个功能主要是根据2007年发表的一个研究小组的工作实现的:、薛、卫华、王铁青、黄安恒、保。从具有挑战性的视频序列进行鲁棒的度量重建。IEEE计算机视觉和模式识别会议(CVPR)，2007年。

多序列跟踪与三维注册

ENFT-SfM包括多个序列的自动3D配准。类似于基于分割的聚类调整，它利用不同序列之间的共同特征点进行比对和全局优化，将不同序列注册到统一的三维坐标系中。

运行时间

ENFT-SfM系统在部分数据集上的特征匹配和求解时间如表1所示(在台式电脑上测试，配置为Intel i7-4770K CPU，8GB内存，NVIDIA GTX780显卡)。只有特征匹配是GPU加速，SfM解决方案在CPU上，单线程计算。对于一个视频序列，每3-5帧可以提取一帧进行特征匹配，可以大大加快匹配速度。例如，花园数据集有6个视频，总共95，476帧，整个计算过程在桌面上花费了近90分钟，平均每秒17.7帧。

表1 .enft-SFM特征匹配和求解时间

结果比较

图4显示了三个系统ENFT-SfM、VisualSFM和ORB-SLAM在Garden数据集上的实验结果的比较。VisualSFM使用几乎暴力的特征匹配方法，对于长视频序列效率非常低，所以这个数据集是在ENFT特征跟踪结果的基础上直接求解的。VisualSFM分为60个独立的模型，其中两个子模型如图4(b)所示。由于ORB-SLAM不能直接处理多个视频序列，所以将6个视频序列直接连接输入ORB-SLAM系统。图4(c)是ORB-SLAM求解的摄像机运动轨迹。可以看出，很多帧并没有恢复相机的姿态，有些循环没有适当闭合。

图4。花园数据集的SfM求解结果比较。(a)ENFT-SfM的求解结果；可视化调频解决方案结果；(c) ORB-SLAM解决方案结果。

此外，作者还在KITTI Odometry数据集和TUM RGB-D数据集上比较了ENFT-SfM与ORB-SLAM、VisualSFM、OpenMVG等系统的精度，如表2和表3所示。可以看出，ENFT-SfM在这两个数据集上的求解精度与ORB-SLAM相近，在KITTI Odometry数据集上明显优于VisualSFM和OpenMVG。