基于图像的产品装配质量检测技术研究进展
黄 凯, 赵世闻, 王峻峰, 曾照勇, 郝天峰
(1.上海无线电设备研究所,上海 201109;2.华中科技大学机械科学与工程学院,湖北 武汉 430074)
装配是对各个零部件根据工艺要求进行组装的过程,装配质量的好坏对最终产品的性能有重要影响。由于产品装配时所需的零部件种类多样,装配方式各异,极易出现漏装、错装等装配质量问题,因此需要设置检测环节对产品装配质量进行检查。
传统的装配质量检测采用人工方式进行,费时费力并且检测结果依赖于人的状态和技术水平,检测的不确定性大[1]。随着机器视觉的发展,基于图像的质量检测方法逐渐应用到产品的生产装配过程。与人工检测相比,基于图像的装配质量检测方法[2]具有速度快、准确度高、检测标准统一的特点,并且能对质量检测数据进行储存和管理,方便后期进行质量追溯。因此基于图像的装配质量检测在产品生产中得到了广泛的应用。图像的分析与处理方法是决定装配质量检测准确性的关键。近年来,计算机视觉和人工智能技术不断发展,深度神经网络在图像分析和处理方面展现出了巨大的潜力,越来越多的研究者将深度神经网络等手段应用到装配质量检测领域中。
本文综述了基于图像的装配质量检测方法,根据装配图像的使用和处理手段,将其归纳为基于图像模板匹配的检测方法、基于图像智能学习的检测方法以及基于虚实融合图像的检测方法。
1.1 检测流程
模板匹配是一种最原始、最基本的图像检测方法,基于图像模板匹配的检测流程如图1所示。首先对待检测图像和标准装配模板进行图像预处理操作,然后对预处理图像进行特征提取,最后根据搜索策略和匹配算法进行图像匹配,根据匹配结果判断是否存在装配质量问题。
1.2 图像预处理
在实际生产环境中,由于工业设备或者现场环境对相机的干扰,采集到的图像会存在噪声。噪声会干扰图像中的重要信息,如物体的边缘及纹理等特征,对后续处理造成不利影响[3]。因此需要对采集的图像进行滤波,以抑制图像噪声。目前常用的图像滤波方法有均值滤波、中值滤波以及高斯滤波等。在装配质量检测中,通常要根据装配对象的实际情况选择合适的滤波方法。
在利用标准装配模板判断装配质量之前,需要根据目标区域的特征,将目标与背景分割开来[4]。基于数字图像处理的分割方法主要分为基于边缘的分割和基于区域的分割两类。
图像中目标边缘位置的结构和像素灰度值具有突变性,根据这些特征可以提取目标轮廓,将目标与背景区分开来[5]。因此,有许多学者通过提取目标图像的边缘信息,自适应地对具有不同属性的图像区域进行划分。LIU等[6]设计了一种半封闭狭小空间内装配遗留物检测系统,如图2所示。通过Canny边缘检测算法提取装配完成后狭小空间内的图像边缘信息,利用边缘匹配算法对空间内装配遗留的微小零件进行检测。
图2 半封闭狭小空间装配遗留物检测系统
区域分割是指在一幅图像中,属于同一区域的像素应具有相同或相似的属性,不同区域的像素属性不同。因此图像的分割就是要寻求具有代表性的像素属性,利用这些属性对图像进行划分[7]。任永强等[8]针对汽车变速箱装配线上差速器卡簧的装配防错需求,利用阈值分割的方法对卡簧图像进行分割,并提取其双耳圆孔的轮廓,利用圆心距离判断卡簧是否存在漏装或错装的情况。SHEN等[9]提出了一种用于轴承的装配质量图像检测方法,通过图像分割、坐标变换以及文本检测识别机制实现装配质量检测。
1.3 图像特征提取
目前,研究者们采用较多的图像特征有统计特征、幅值特征、角点特征、纹理特征以及形状特征等。
统计特征是利用图像灰度值的统计信息来描述图像,这种方式忽略了图像的灰度和空间之间的联系[10]。而幅值特征在提取图像的灰度统计信息以外,还有效利用了图像的灰度与空间之间的信息。角点特征也是图像分析中经常使用的一种特征。HARRIS等[11]提出了一种角点检测算子,该算子计算简单、应用广泛,只使用图像灰度的一阶差分和滤波,可以定量地提取角点且提取的角点特征均匀。LOWE[12]基于角点检测的方法,提出了尺度不变特征转换(scale invariant feature transform,SIFT)算法,SIFT算法在目标尺度发生变化时,仍能准确检测出目标。SIFT算法虽然检测精度高,但在提取图像角点的过程中要进行大量的计算,运算速度较慢。于是有研究者又提出了加速稳健特征(speeded up robust features,SURF)算法[13],与SIFT算法相比,SURF算法的运算速度更快。RUBLEE等[14]使用FAST(features from accelerated segment test)关键点和BRIEF(binary robust independent elementary features)描述子,在2011年提出了一种运算速度大大优于SURF和SIFT算法,并且同时具有尺度不变性和旋转不变性的结合方向信息的快速特征点提取和描述(oriented FAST and rotated BRIEF,ORB)算法,该算法在图像提取特征领域得到了广泛使用。纹理特征是一种全局特征,反映的是图像中同质现象的视觉特征,体现物体表面的具有缓慢变换或周期性变化的组织结构排列属性。纹理特征的提取与匹配主要包含灰度共生矩阵、Tamura纹理特征、自回归纹理模型方法等。
1.4 标准装配模板匹配
为了判断装配是否符合要求,需要将现场装配图像与提前构建的标准装配模板进行匹配,根据匹配结果判断装配质量。KIM等[15]研究了一种基于模板匹配的船舶装配状态检测方法。对从船舶分段对接装配过程中获取到的装配场景图像进行分析,从中提取当前装配过程中船舶分段对象的边缘图像,将边缘图像与该装配段的模板图像进行对比,从而能够及时发现和处理装配过程中出现的错装问题。CHO等[16]提出一种基于小波变换的图像模板匹配算法,用于电路板元器件检测。该算法将标准装配模板图像与现场图像进行小波变换处理,计算变换后两幅图像的匹配度,根据匹配度判断电子元件是否错装和漏装。何彬媛等[17]对机箱装配质量检测问题进行了研究,根据机箱零件的装配特点,通过SURF算法快速匹配标准模板,根据模板中零件的装配标准实现对象的装配质量检测。
上述基于图像模板匹配的方法,使用的都是二维的标准装配模板。有研究者同样利用装配对象的三维模型进行匹配。LI等[18]将真实装配对象与CAD模型直接进行匹配,对装配状态进行判断。利用迭代最近点法计算真实对象点云模型与三维设计模型的匹配误差,然后对匹配误差进行了分析,通过匹配误差确定真实对象与CAD模型的相似程度,从而判断真实装配对象的装配状态。ABDALLAH等[19]对航空发动机零部件装配质量检测进行了研究,如图3所示。通过算法自动获取包含检测对象有用信息的最佳观测视角,然后利用该最佳视角获得三维模型,并从三维模型中直接提取其边缘信息,与当前真实图像进行匹配计算,检测零部件是否存在,判断安装位置是否正确。
图3 航空发动机零部件装配质量检测
基于模板匹配的装配检测方法需要人为根据装配对象提取相应的特征,并与从标准装配模板中提取的特征进行比较。在特定场景下,算法有较好的表现,并且特征的可解释性较强。但模板匹配法的特征提取依赖于算法设计人员的经验和水平,并且每种方法都只针对固定场景,因此算法的泛化性和鲁棒性较差。
基于图像智能学习的装配检测方法分为机器学习和深度学习两种,其中机器学习需要人工辅助提取特征,而深度学习可自适应提取特征。
2.1 机器学习检测方法
利用机器学习的方式对装配质量进行检测的流程如图4所示。
图4 机器学习检测方法流程
首先利用经典数字图像处理方法,分析和提取训练集图像中的特征;然后利用提取到的特征对分类器进行训练;最后利用训练好的分类器再对从现场图像中提取的特征进行分类,根据分类结果判断装配质量问题。
分类器的本质是利用给定的数据集训练得到一个函数映射。而在具体的分类任务中,通过这个函数把待分类的样本映射到目标空间中的一个类别[20]。目前装配检测中应用最广泛的机器学习分类器包含贝叶斯分类器、人工神经网络和支持向量机(support vector machine,SVM)等。
贝叶斯分类法属于统计学方法,以贝叶斯定理为基础,通过计算给定样本属于一个特定类别的概率来进行分类。贝叶斯分类需要预先获得样本的总体分布情况,根据各个类的先验概率和条件概率密度,计算样本的后验概率,并据此设计出判别函数及决策面[21]。基于人工神经网络的分类器通过把大量的权重节点相互连接,对输入到分类器的特征信息进行分类。Softmax层[22]常作为人工神经网络最终的分类层对目标进行分类,其训练速度快,能很好地支持多分类任务。支持向量机通过将样本特征所对应的空间映射到一个更高维的特征空间,使得低维空间内不可分的样本,在高维空间线性可分或者近似线性可分[23]。支持向量机是一种小样本学习方法,有坚实的数学理论基础。其决策函数由支持向量决定,因此计算复杂度取决于支持向量的数量而不是特征空间的维度数目。在基于机器学习的装配质量检查方面,BENEDEK等[24]研究了一种基于贝叶斯分类法的电路板焊点检测框架,通过检测电路板上不同形状的焊点进行电路板焊接装配质量检测。AN等[25]针对飞机电缆支架识别问题,提出了一种低训练复杂度的电缆支架自适应识别混合模型,如图5所示。该模型利用卷积神经网络(convolution neural network,CNN)提取包含电缆支架图像的特征,然后用支持向量机分类器将提取到的特征进行分类,从而实现电缆支架的识别。
图5 电缆支架自适应识别混合模型
2.2 深度学习检测方法
近年来,基于深度学习的图像处理方法也开始应用于装配对象的检测。传统的机器学习效果往往依赖于特征,即如何人工提取特征,筛选掉冗余特征,然后对特征进行分类[26]。因此,特征的设计和描述对机器学习分类器的影响较大。与机器学习的方法相比,深度学习最显著的特点在于通过自适应地提取数据特征,避免了复杂的特征工程。
目前,基于深度学习的装配质量检测,主要是利用卷积神经网络对图像进行处理,根据网络预测的结果判断装配质量是否符合要求。卷积神经网络具有大量的隐藏层,并且使用更多的非线性操作,具有更好地挖掘特征的能力。
GIRSHICK等[27]将深度学习应用到目标检测中,提出一种基于候选框的区域卷积神经网络(region-based convolutional neural network,RCNN)算法。该算法使用卷积神经网络对图像特征进行提取,然后利用SVM对特征进行分类,利用一个回归模型预测目标区域,在检测的准确度上取得了较好的效果。为了提高R-CNN的检测速度,降低网络训练难度,REN等[28]在此基础上进行进一步完善,提出的更快速区域卷积神经网络(faster R-CNN)的结构如图6所示。该算法使用Vgg16作为主干特征提取网络,采用区域建议网络(region proposal network,RPN),利用Softmax代替原来的SVM分类器,将目标分类和定位框回归放在一起训练,大大缩短了训练时间。
图6 faster R-CNN网络结构
此后,REDMON等[29]提出一种单阶段卷积神经网络YOLO(you only look once)用于对象检测。该方法巧妙地将对象检测任务转换为回归任务,对于输入图像,在多个位置直接回归出目标的预测框,提高了卷积神经网络的检测效率和检测精度。在初始YOLO网络的基础上,REDMON又对其进行了系列化改进,进一步提高了算法的精度和时效性。另一种基于SSD(single shot multibox detector)[30]的单阶段目标检测算法,通过提取不同尺度的特征图做预测,并采用不同尺度和长宽比的先验框,与YOLO网络相比,提高了小目标检测的准确度。
赵甘霖等[31]采用深度学习方法对线缆装配质量进行检测。使用YOLO网络检测线缆装配关键节点位置,基于计算线缆邻域平均重合度的方法求得了敷设路径的重合度,基于相机逆投影的方法得到了线缆的弯曲半径。LIU等[32]利用深度学习方法对铁轨紧固件装配状态检测进行了研究,通过神经网络学习正确的图像模板特征,预测铁轨紧固件是否存在缺失、松动、损坏的问题。闰俊涛等[33]基于Vgg16卷积神经网络对小型断路器进行了检测和分类,获取当前装配零件的位置和姿态。王天诺等[34]设计三维(3D)神经网络对装配动作进行监测,能够在大批量生产模式中有效监测工人的操作,提高装配质量。
为了解决神经网络对设备的计算资源要求高的问题,姚锡凡等[35]提出一种基于云端和雾端相结合的算法用于装配零件识别,云雾结合的工件识别模型如图7所示。
图7 云雾结合的工件识别模型
在云端对改进的Alexnet神经网络进行训练,然后将训练好的神经网络模型部署到雾端,进行实时检测。张丽秀等[36]将生物地理优化算法与神经网络结合起来,对YOLOV3网络训练过程中的参数进行优化,有效提高了汽车前脸零件装配检测的准确率。基于深度学习的方法是一种十分有效的装配质量检测方法,尤其对于漏装配问题,能够实现高效率和高准确率的检测。
基于深度学习的检测方法利用数据驱动进行特征提取,根据大量的训练样本,能够获得深层的特征表达,算法的泛化性好,准确度高。但该方法需要采集和标注大量训练样本,前期准备工作量大,并且算法对设备的运算能力要求较高。
随着工业4.0的发展,增强现实(AR)技术逐渐被应用于制造和装配过程。有研究者利用增强现实虚实融合图像的方式对装配质量进行检测。通过将虚拟模型、文字、图片等增强信息叠加到真实环境中,引导操作人员对产品的装配质量进行检查。
POLVI等[37]针对产品检查任务,开发了一种增强现实辅助检查系统,如图8所示。
图8 增强现实辅助检查系统
通过将文字、箭头以及三维模型等检测信息显示在真实环境中,辅助检测人员进行检测。ZHOU等[38]将增强现实技术用于管片装配缝隙检测,利用增强现实技术将管片之间允许的缝隙模型注册在管道拼接位置,当管道之间真实缝隙超过虚拟模型的宽度时,则认为出现装配质量问题。
XU等[39]提出了一种基于虚实融合图像的客舱舱口盖检查方法,如图9所示。
图9 舱盖识别和增强信息叠加
根据舱盖的边缘特征对舱盖的类型进行识别,并叠加相应的虚拟信息引导操作人员对舱盖内部的元件进行检查。刘睿等[40]利用图像处理和增强现实技术,开展了航天线缆敷设质量检测研究。首先从装配现场图片中分割出线缆对象,然后提取线缆对象局部特征并与模板图像匹配,根据获取的线缆装配曲率值判断敷设质量,最后利用增强现实技术实时显示质量检测的结果。MANURI等[41]针对维修作业任务,提出一种基于增强现实的装配状态验证系统,利用增强现实技术引导完成当前步骤后,将产品CAD模型生成渲染图的特征点与真实图像的特征点数量进行比较,对每一步骤的装配结果进行检测。
目前,基于虚实融合图像的装配检测方法主要应用在复杂产品的手工检查过程中。检查人员根据叠加在真实环境中的虚拟引导信息,对装配质量进行检查,并实现对检查结果的实时反馈。随着数字化技术的发展,利用虚实融合图像的方法逐渐被应用到装配检查中,通过将虚拟模型、文字、图像等增强信息叠加到真实环境中,能有效辅助检查人员进行质量检查。
在基于图像的装配质量检测系统中,图像分析和处理算法是核心内容,包括了利用传统的数字图像处理算法以及利用机器学习和深度学习的数字图像处理算法。基于数字图像处理和机器学习的方法,需要人为设计并描述图像特征,有扎实的数学理论支撑。但算法的准确性受检测环境的变化影响较大,如背景变化、光照或相机位姿变化。深度学习利用深度神经网络,能够对图像特征进行自适应提取和分类,对于提升装配质量检测的准确性具有重要的意义。
随着技术的发展,基于多学科交叉的装配质量检测方法成为研究的热点。通过将人工智能技术与增强现实、数字孪生等数字化技术相结合,能够进一步推动检测向自动化与智能化的方向发展。
猜你喜欢神经网络模板利用铝模板在高层建筑施工中的应用建材发展导向(2022年23期)2022-12-22铝模板在高层建筑施工中的应用建材发展导向(2022年12期)2022-08-19利用min{a，b}的积分表示解决一类绝对值不等式中等数学(2022年2期)2022-06-05利用一半进行移多补少小学生学习指导(低年级)(2020年6期)2020-07-25神经网络抑制无线通信干扰探究电子制作(2019年19期)2019-11-23利用数的分解来思考小学生学习指导(低年级)(2018年9期)2018-09-26Roommate is necessary when far away from home疯狂英语·新读写(2018年2期)2018-09-07基于神经网络的拉矫机控制模型建立重型机械(2016年1期)2016-03-01铝模板在高层建筑施工中的应用中国房地产业(2016年24期)2016-02-16复数神经网络在基于WiFi的室内LBS应用大连工业大学学报(2015年4期)2015-12-11