unet 秒杀DeepLabv3+与UNet的表面缺陷检测网络

明星还是顶尖【OpenCV学院】

干货和教程会尽快送到！

阅读这篇文章大约需要3分钟

总结

表面缺陷检测是工业视觉的热点应用之一，表面缺陷自动检测技术越来越受到重视，尤其是深度学习技术的应用，它通过大量的图像对检测系统进行训练和学习，得到一个自动视觉检测系统。在这方面，基于深度学习的检测方法基本上可以分为两类。

- 基于目标检测网络实现的缺陷检测系统 - 基于图像分割网络实现的缺陷检测系统

电力网设计

利用后者，作者实现了一个缺陷检测和缺陷尺寸分割的网络，并实现了一个更加高效和准确的缺陷检测系统。网络只需要20 ~ 30个样本进行训练，就可以得到很好的效果，避免了收集数千个样本进行网络训练的成本。作者在论文中提到，经典的机器视觉方法已经不能满足工业4.0的技术要求，基于深度学习的方法表现出很高的灵活性和准确性。传统的基于人工标准特征提取+SVM/KNN的视觉检测方法不如深度学习的相关方法有效。网络模型架构策略设计如下:

在网络的初始设计中，充分考虑了以下两个关键问题

- 需要的标注数据多少 - 网络参数与浮点数计算量

通过基于KolektorSDD(缺陷检测开放数据库)的语义分割+决策两阶段网络，达到最佳效果，实现少量样本训练和高精度检测。整个网络的架构如下:

在分割网络部分，作者认为表面缺陷检测可以解释为图像二值分割问题，因此作者首先通过一个语义分割网络实现像素级语义分割，然后以分割结果作为输入特征构建决策部分。第一部分称为细分网络，第二部分自然被视为决策网络。

细分网络详解

分割网络由11个卷积层和3个汇集层组成，后面是一个BN层和ReLU激活层(conv +BN+ReLU)，以优化学习和加速收敛。除了最后一层的卷积核大小为15x15外，所有卷积层都采用5x5的卷积核大小。最后，利用1×1卷积得到的图像尺寸是单通道的掩模图像，是原始图像尺寸的8倍，并且完全放弃了脱落正则化。作者认为这种网络是足够正则化的(后来的实验数据证明是真的)，这种网络架构可以实现高分辨率图像中的小缺陷检测，网络的感受野相对较大(5x5)。同时，可以实现相对较小的特征捕获(像素级分割)。作者还解释说，对网络进行下采样并在上层通过一个大的卷积核(15x15)的目的是为了扩大感受野的大小，而底层使用多个卷积核并对最大汇集层进行下采样。

决策网络详解

决策网络使用分割网络的输出作为输入，并使用分割网络的最后一个卷积层，1024通道数据+上掩码通道，以获得1025通道数据作为输入特征。它采用最大汇集+conv(5x5卷积核)，最终网络通过全局最大汇集和平均汇集输出生成66个输出向量。在设计决策网络时，作者考虑了以下两个重要原则

网络有能力应对大而复杂的形状，所以采用三次max-pooling降采用对输入不仅采用最后一层卷积层特征，同时把mask数据作为输入，最终输出66个特征向量，有效的解决了过拟合与全卷积特征参数过多问题。

同时，作者提出了快捷路径的概念，通过全局最大池和卷积层实现了不同的快捷路径，有效防止了网络的复杂性。以下是注释数据的几个原始图像和蒙版图像

火车

分割网络的学习目标是产生一个基于像素级分类操作的两类分割网络。作者采用了两种训练方法

- 基于回归的平方错误(MSE) - 基于交叉熵的二分类

该模型在开始时没有使用任何图像分类网络进行预训练，网络参数的初始化是通过正交分布生成的。

决策网络首先通过交叉熵损失训练分割网络，然后冻结分割网络参数，直接利用分割网络的输出训练决策网络。只有当决策层出现拟合现象时，才需要微调分割网络的权重参数。训练的时候，作者没有多少GPU。他说训练决策网络时，批量= 2，训练分割网络时，可以适当增加样本数(这个操作，我深刻感受到世界需要GPU)。

作者还试图一起训练两个网络。此时，损失函数至关重要。作者指出，两级网络此时都应该使用交叉熵损失。而且作者的实验证明，一起训练效果更好！

预测和实验结果

作者说推断的时候尽量用灰度图像，作者用了两个分辨率的图像作为测试

- 1408x512 - 704x256

两个输出层分别输出二值分割掩膜图像和来自决策网络的概率得分(0~1)，表示图像出现异常。KolektorSDD数据集支持的五种数据标注方法如下:

最后，看看网络在KolektorSDD数据集上的实验结果和性能。五种标准方法的准确性和不同损失函数的训练结果；

康耐视缺陷检测是目前市场上的主导缺陷，在KolektorSDD数据集上有以下测试结果:

明显比康耐视好！不同模型的效果比较如下:

明显又赢了！这是2019年3月发表不久的工业缺陷检测领域的最新论文。源代码还没找到，找到了再更新研究！

个人总结:

其核心思想是将缺陷检测视为二值图像分割问题，采用基于像素级的语义分割网络，成功降低了网络深度和参数总数，用少量样本训练实现了极高精度的缺陷表面检测网络。作者在论文中提到，网络设计的理念才是本质！欢迎拍砖！

请点击[观看]获取支持

论文地址

https://arxiv . org/pdf/1903.08536 v1 . pdf

数据集地址

https://www . vicos . si/Downloads/Kolektorsdd

寻找木头的长者会巩固它的根基

想流得远的人会加深他的喷泉