分组网 ECCV 2018 | 中山大学&商汤提出部分分组网络PGN，解决实例级人体解析难题

选自arXiv

参与:佩德罗，斯诺

近日，中山大学和商汤的研究人员在arXiv上发表了一篇论文，提出了一种新型的网络——部分分组网络(PGN)，将病例级人体分析重新定义为两个可以通过统一网络相互学习和提高的孪生任务:1)将每个像素指定为人体部分(如人脸和手臂)的语义部分分割；2)实例感知边缘检测，将语义部分划分为不同的字符实例。本研究提出了一种新的用于病例级人体分析的大规模数据集CHIP，PGN在现有的PASCAL-Person-Part和新的CIHP数据集上的性能达到了目前最好。

识别每个语义部分(如手臂、腿等。)是人体分析最基础最重要的部分。不仅如此，它还在许多高级应用领域发挥着重要作用，如视频监控[38]，人类行为分析[10，22]等。

在FCN [29]的推动下，人们利用深度学习技术提取特征[37，14]，标记大量数据集[24，11]，推动基于图模型的推理[45，3]，这在近年来人体句法分析(语义部分分割)的研究中取得了很大进展。而以往的方法只关注简化和有限场景下的单人分析任务(如人体直立姿势的时尚图片[41，8，18，23，6]和各种日常图像)，而现实生活中的场景往往在一张图像中展示多个人体实例。这种单人分析任务极大地阻碍了人体分析在其他更具挑战性的场景(如群体行为预测)中的应用。

本文试图解决更具挑战性的案例级人体分析任务，该任务不仅需要分割各种身体部位或衣服，还需要将每个部位与一个人体实例相关联，如图1所示。除了单人解析任务中存在的困难(如各种外观/视点、自遮挡问题)外，案例级人体解析还面临一些更具挑战性的任务——不同图像中的人物实例数量差异巨大，而传统单人解析过程无法处理这个问题:传统方法的预测空有限，只能对固定数量的人体标签进行分类。

图1:一个大规模的“人群实例级人体解析(CIHP)”数据集，包含38280张仔细标注的不同内容、高复杂度的多人图像。原始图像显示在第一行。语义部分分割和案例级人体分析的标注分别在第二行和第三行。

最近的研究另外，在此空空白填写之前，还没有用于病例级人体分析研究的大规模数据集。本文介绍了一种新的大规模数据集人群实例级人体解析，它包括38280幅多人图像和实例级19个语义部分的像素级标注。数据集做了细致的标注，重点是户外多人场景的语义理解，如图1所示。此外，本文还提出了一种通用的服务器基准，可以自动反馈评估结果，进行公平比较。继续了“通过检测进行解析”的过程[12，21，7，31，13]，该过程首先定位实例边界框，然后对每个边界框执行细粒度的语义解析。然而，这种复杂的检测和分割过程是由几个独立的目标和阶段训练的，这可能导致粗略定位和像素级部分分割之间的结果不一致。例如，分割模型可能错误地预测检测到的边界框之外的语义部分区域，因为它们的中间表示被拖向不同的方向。

在本研究中，我们从一个新的角度重构了案例级人体分析方法，即使用统一的网络对两个连续的片段进行分组，包括部分级像素分组和实例级部分分组。首先，部分像素分组可以通过以单个像素作为部分标签的语义部分分割来解决。这种方法学习类特征。然后，给定一组独立的语义部分，实例级部分分组可以根据预测的实例感知边缘确定所有部分属于哪个实例，其中由实例边缘分隔的部分将被分配给不同的字符实例。这种非检测的统一网络结合了优化的语义部分分割和实例感知的边缘检测，称为零件分组网络(PGN)，如图4所示。

[11]

图4:部分分组网络(PGN)图。给定输入图像，ResNet-101用于提取共享特征图。然后加入两个分支来捕捉人体的局部区域和边界区域，同时生成局部评分图和边缘评分图。最后，执行细化分支，通过集成部分分割和人体边界区域来细化预测分割图和边缘图。

此外，与通过几个独立网络将实例对象分割任务分解成多个子任务并采用复杂后处理的其他无提议方法[25，15，22]不同，PGN借助统一网络无缝集成了部分分割和边缘检测模块。它首先学习共享表示，然后添加两个并行分支分别处理语义部分分割和实例感知边缘检测。由于两个模块通过共享同一个分组目标而保持高度相关性，PGN可以进一步集成一个细化分支，并使用互补的上下文信息使两个目标相互受益。通过无缝地修正每个目标的错误，这个集成的细化方案可以很好地处理这些具有挑战性的情况。如图2所示，我们可能无法通过划分分支来定位一个孩子，但是我们可以通过边缘分支来成功地检测他的位置，或者使用细化算法来校正实例边界被错误标记的背景边缘。在给定语义局部分割和实例边缘检测的情况下，一种有效的切割推理可以通过结合扫描分割和边缘图来首先搜索具有宽度的线段，并利用该结果生成实例级的人体分析结果。

图2:2:PGN中的细化方案可以完美地校正复杂图像的局部和边缘误差。第一行，分割分支无法定位小物体(比如左下角的人，右下角的手)，但边缘分支可以成功检测到。第二行，背景边缘标注不正确。然而，PGN的提炼部门纠正了这些错误。

[16]

本文的贡献在于:1)研究了更具挑战性的案例级人体分析，拓宽了人体分析的研究边界，使相关研究更好地应用于真实场景。2)提出了一种新的部分分组网络(PGN)。通过将其重组为两个双包任务(语义部分分割和实例边缘检测)，可以解决统一网络中的多人身体分析问题。3)为病例级人体分析构建新的大规模基准，并提供详细的数据集分析。4)PGN超越了以往的语义部分分割和边缘检测方法，在现有的PASCAL-Person-Part [6]和新的CIHP数据集上的性能达到了目前最好。

论文:基于零件分组网络的实例级人工解析

论文链接:https://arxiv.org/abs/1808.00157

摘要:由于缺乏足够的数据资源和单次扫描分析多个实例的技术难度，真实人体分析场景中的病例级人体分析还没有得到充分的研究。一些相关的研究遵循“检测-分析”的过程，该过程严重依赖于单独训练的检测模型来定位实例，然后依次对每个实例执行人体分析。然而，检测和分析的不同优化目标导致次优表示学习和最终结果中的误差积累。本研究首次尝试使用非检测部分分组网络(PGN)，以便仅通过一次扫描就能有效地解析单个图像中的多个人体实例。PGN将案例级人体分析重新定义为两个可以通过统一网络共同学习、相互提高的孪生任务:1)指定每个像素作为人体部位(如人脸、手臂)的语义分割；2)实例感知边缘检测，将语义部分划分为不同的字符实例。因此，共享中间表示不仅可以表征细粒度的零件，还可以推断每个零件属于哪个实例。最后，我们可以通过简单的例子除法得到最终的结果。实验是在PASCAL-Person-Part数据集上进行的，PGN优于以往的所有方法。此外，本文还在新采集的多人分析数据集CIHP上展示了其优势，该数据集包含38，280幅不同的图像，是迄今为止最大的数据集，有助于促进人体分析的进一步研究和发展。

中国惠普基准和源代码地址:http://sysu-hcp.net/lip/

图5:利用该方法处理实例级人体分析任务的流程图。首先，由PGN处理，同时扫描部分分割图和边缘图以创建水平和垂直分割线。就像连通图问题一样，广度优先搜索可以用来将线段分组为区域。此外，实例边界附近的小区域被合并到它们的相邻区域中，包括较大的区域和多个部分标签。结合案例图和部分分割图，该过程最终输出准确预测的案例级人体分析结果，无需任何来自目标检测的建议。

这篇文章是为机器的核心编写的。请联系本微信官方账号进行授权。