复杂场景下的复杂缺陷检测法子—深度学习算法综述

击上方“机器视觉”，点右上角…采用“置顶/星标”公众号接收最新推文！

导读

复杂场景下的复杂缺陷检测方法—深度学习算法综述
3D立体相机系统实现预铸墙板的定位及组装
What’s New in YOLOv8：YOLOv8的新功能

视觉项目供求信息
视觉招聘小黑板

复杂场景下的复杂缺陷检测法子—深度学习算法综述

一、背景知识

随着自动化技术的快速发展，在工业生产中很多需要人工操作的环节逐渐转由机器完成，工业生产自动化也将越来越多的工人们从死板乏味的工作中解放出来，让他们去发挥更大的价值。

产品表面缺陷检测是工业生产中的重要环节，是产品质量把控的关键步骤，借助缺陷检测技术可以有效的提高生产质量和效率。但是由于设备及工艺等因素的作用，产品表面的缺陷类型往往五花八门，比如织物生产中方出现的污点、破损，金属产品上的划痕、裂纹、凹凸不平等各种不同类型的缺陷，如下图所示。

单张图片中的缺陷多样且不同缺陷表现形式的也不等同，给缺陷的自动化检测带来了困难。

二、传统算法

传统的表面缺陷检测算法结构通过图像预处理得到便于检测的图像，随后借助统计机械学习方法来提取图像特征，进而实现缺陷检测的目标。

图像预处理通常包括直方图均衡化、滤波去噪、灰度二值化、再次滤波几部分，以得到前后景分离的简单化图像信息；随后利用数学形态学、傅里叶变换、Gabor 变换等算法以及机器学习模型完成缺陷的标记与检测。

上述传统算法在某些特定的应用中已经取得了较好的效果，但仍然存在许多不足。例如：图像预处理步骤繁多且具有强烈的针对性，鲁棒性差；多种算法计算量惊人且无法精确的检测缺陷的大小和形状。而深度学习可以直接通过学习数据更新参数，避免了人工设计复杂的算法流程，并且有着极高的鲁棒性和精度。

三、深度学习

目前，基于深度学习的缺陷检测已经应用于金属固件、布匹丝织物、建筑裂纹、钢筋裂纹等多个领域，并取得了不错的成果。下面将结合具体案例介绍其实现方法。

3.1裂纹缺陷检测

建筑材料（如磁瓦等）的外观变化（如裂纹或腐蚀等）与其建筑结构的安全性密不可分，而依靠检察员视觉检查的效果局限性大，相比之下，基于计算机视觉的结构损伤检测更为可靠便捷。

本文使用Faster RCNN实现对图像的准实时处理，其整体架构包括RPN和Fast RCNN两部分，如上图所示，RPN和Fast RCNN使用相同的CNN网络从图像中提取特征，CNN的主要结构如下表所示。

RPN的作用为提出候选目标，结构示意如图所示，其实现流程包括：

输入图像后，利用CNN网络得到特征图；
将特征图上每一个CONV滑动窗的特征映射为向量并输入Softmax和Regressor层中；
预测缺陷边界框的坐标。

Fast RCNN的作用为对图像中的缺陷位置进行定位和分类，其结构流程如上图所示。

从输入图像中提取特征图并获得感兴趣区域（ROI）；
在ROI池中，预先计算的兴趣区域覆盖在特征图上，提取固定大小的特征向量；
将所得向量输入全连接层，计算边界框的位置并对框内对象进行分类。

3.2破损缺陷检测

在电气化铁路等工业中，有许多关系着安全的重要固件，这些固件的缺陷检测十分重要。

本文作者利用深度卷积神经网络（DCNNs）结合SSD，Yolo等网络方法构建了一个从粗到细的级联检测网络，包括固件的定位、缺陷检测与分类，其实现流程如下图所示。

紧固件提取

借助在速度和精度方面都表现良好的SSD框架，对图像中的悬臂节点进行定位；
基于Yolo框架的快速本地化架构，对紧固件进行定位。

固件缺陷检测与分类

根据第二阶段对紧固件的检测来判断缺陷；
再次借助DCNN，通过4个卷积层对缺陷进行分类（分类网络结构如下图）。

DCNNs具有良好的鲁棒性和自适应性，有利于检测的快速进行，因此本方法在紧固件的缺陷检测和分类中具有良好的应用前景。

3.3斑点缺陷检测

斑点缺陷检测在纺织、木材、瓷砖等许多行业中都很常见，通常利用其纹理的一致性实现检测的目的。近年来，利用深度学习视觉检测技术对相关产业的表面缺陷检测引起了广泛关注。

作者采用结合图像金字塔层次结构思想和卷积去噪自编码器网络

（CDAE）实现对布匹纹理图像的缺陷检测，其总体结构如下图所示。

训练阶段

图像预处理：光照归一化、高斯金字塔下采样和噪声降噪等操作，避免光照等因素的影响；
Patch提取：提取Patch对每个金字塔层的CDAE网络进行训练；
模型训练：利用训练Patch的重构残差作为像素级缺陷预测的指标；
阈值确定：区分缺陷点与无缺陷点的重要参数。

模型测试阶段：

图像预处理：只需进行光照归一化和高斯金字塔下采样操作即可；
Patch提取：提取Patch用于纹理检测；
残差贴图构造：提取局部接受域在训练后的模型中滑动，以对每一个像素进行预测；
缺陷分割：对每个金字塔层的残差图进行分割；
合成：将多个金字塔级别的信息合成，以提高缺陷检测的鲁棒性和准确性。

文章通过分析和实验已经证明，充分利用无监督学习和多模态结果融合策略，可以提高缺陷检测的鲁棒性和准确性。

3.4划痕缺陷检测

划痕缺陷检测通常用于金属类产品的表面缺陷检测中，随着生活质量的提高，人们对产品的外观完整性与美观程度的要求也越来越高，因此精准地检测到产品外观的划痕等缺陷在生产环节十分重要。

使用上图所示的缺陷检测体系结构，下面将针对检测模块展开介绍。

CASAE架构

将两个自动编码器（AE）级联在一起，这里的AE结构是FCN框架的迁移使用，有一层层的卷积、反卷积和跳跃链接组成，其结构如下图所示。

阈值模块

连接到CASAE网络末端的独立模块，用于进一步细化预测掩码的结果。

缺陷区域检测

通过语义分割获得所有可能缺陷的区域，进一步使用blob分析以寻找准确的缺陷轮廓，最终从图像中提取最小的外接矩形区域。

四、总结

本文参考前沿文献，总结了部分当前主流的缺陷检测实现思路。总的来说，使用基于深度学习的算法可快速准确地实现的缺陷检测，且适用范围广能够灵活地应用于建筑、金属固件以及布匹丝织物等众多行业的生产过程中。

作者：北京矩视智能科技有限公司

3D立体相机系统实现预铸墙板的定位及组装―技术与应用频道- 视觉系统设计 2023/1/11 11:01:58复杂场景下的复杂缺陷检测方法—深度学习算法综述

文/ The Imaging Source

超现代的预铸房屋产业正在兴起，市场对预铸房屋的需求量大增，但同时受到建筑工人短缺的限制。必须尽可能减轻现有员工的负担，让他们专注于更复杂的任务，因此，可靠、高效、高质量的自动化/半自动化搭建系统成了建筑商的迫切需求。

为了应对这些挑战，某预铸房屋厂商与视觉系统集成商Phil -Vision 开发了一套自动搭建系统，其中包括墙板的半自动化生产和墙体组件的自动化镶板。在这个项目中，Phil-vision 与The Imaging Source 合作打造了一套专用的 3D 相机系统，该系统的核心为墙体组件自动镶板的机器人（手臂），其中相机系统在流程中扮演定位及传输的角色。一条50m长、宽度约为10m的半自动生产线，将为标准尺寸和特殊几何形状的镶板提供最大的灵活性，包括

……长按二维码访问原文

What’s New in YOLOv8：YOLOv8的新功能 2023-01-11T09:19:36.000Z

The field of computer vision advances with the release of YOLOv8, a model that defines a new state of the art for object detection and instance segmentation.

Along with improvements to the model architecture itseld, YOLOv8 introduces developers to a new friendly interface via a PIP package for using the YOLO model.

Jump to Training YOLOv8 Skip this info po

……长按二维码访问原文

视觉项目供求信息

保险丝插片自动化视觉检测设备 01-11 ,形状检测,电子/电器

铸件自动化视觉检测设备 01-11 ,尺寸检测,机械机电

欲了解详情，请公众号后台回复：230111

视觉招聘小黑板

机器视觉工程师 01-11 1.5-2万,深圳·宝安区
机器视觉调试工程师 01-11 5千-1万,镇江
Y 机器视觉应用工程师 01-11 1.5-2万,东莞·长安镇
机器视觉工程师 01-11 1-1.5万,深圳·龙岗区
机器视觉调试技术员 01-11 8千-1.3万,深圳·宝安区
图像算法工程师/视觉算法工程师/机器视觉工程师 01-11 2-3.5万·14薪,合肥·高新区
机器视觉工程师 01-11 1.5-2.5万,深圳·南山区
机器视觉应用工程师 01-11 8千-1.2万,深圳·龙岗区
机器视觉工程师 01-11 2-4万,东莞·常平镇
机器视觉算法应用工程师 01-11 8千-1.3万,镇江
机器视觉工程师 01-11 1.6-2.5万,苏州·吴江区
机器视觉工程师（培训讲师） 01-11 1.2-1.8万·13薪,苏州·工业园区
算法工程师（图像/AI/机器视觉/深度学习） 01-11 1.5-2万,广州·南沙区
机器视觉软件工程师 01-11 1.2-1.8万·13薪,上海·浦东新区
机器视觉工程师 01-11 1.5-2万,苏州·吴江区
机器视觉方案工程师 01-11 1-2万,南京·秦淮区
光学工程师（机器视觉）急聘 01-11 1.5-2.5万,深圳·龙华区
机器视觉调试工程师 01-11 8千-1.5万,长沙·长沙县
机器视觉工程师 01-11 1.5-2.5万·13薪,深圳·南山区
机器视觉方案工程师 01-11 9千-1.8万,南京·秦淮区
机器视觉工程师（周末双休） 01-11 1.5-3万,深圳·龙华区
机器视觉调试工程师 01-11 1-1.8万,南京·江宁区
机器视觉软件工程师 01-11 1.5-2万,厦门·翔安区
机器视觉检测工程师 01-11 1.2-2万,苏州·工业园区
硬件工程师（光学机器视觉方向） 01-11 1.5-3万,深圳·龙华区
机器视觉工程师 01-11 1.2-1.8万·13薪,无锡·滨湖区
3D机器视觉软件工程师 01-11 1.5-2万,上海·徐汇区
机器视觉软件工程师 01-11 1-1.5万·15薪,杭州·拱墅区
软件工程师（机器视觉） 01-11 1.6-3万,深圳·龙华区
机器视觉调试工程师 01-11 8千-1.5万,重庆·渝北区
机器视觉项目工程师 01-11 1.3-1.7万,广州·黄埔区
机器视觉工程师 01-11 1.2-2万·15薪,杭州·拱墅区
机器视觉算法工程师 01-11 1.3-2.2万,吉安
机器视觉调试工程师 01-11 1.2-1.8万,北京·通州区
机器视觉项目工程师 01-11 1.3-1.7万,广州·黄埔区
机器视觉工程师 01-11 1-1.5万·15薪,长沙·岳麓区
机器视觉工程师（东莞） 01-11 8千-1.3万,东莞·东城区
机器视觉调试工程师 01-11 8千-1.5万,成都·龙泉驿区
机器视觉项目工程师 01-11 1.3-1.7万,广州·黄埔区
机器视觉售后工程师 01-11 5千-1万,江门
机器视觉开发工程师 01-11 1-2万,上海·浦东新区
工业视觉系统销售（机器视觉） 01-11 7千-1.4万,成都·龙泉驿区
机器视觉项目工程师 01-11 1.2-1.8万,广州·黄埔区
机器视觉软件工程师 01-11 2-2.5万,苏州·工业园区
高级机器视觉开发工程师 01-11 2-4万,上海·浦东新区
机器视觉调试工程师 01-11 8千-1.5万,南昌·西湖区
机器视觉工程师 01-11 8千-1.3万,南昌
机器视觉技术主管 01-11 1.5-2万,苏州·工业园区
高级机器视觉开发工程师 01-11 3-5万,上海·浦东新区
机器视觉项目经理 01-11 20-30万/年,无锡·滨湖区