基于图像融合和改进CornerNet-Squeeze,的煤矿井下行人检测方法

邹盛， 周李兵， 季亮， 于政乾

（1. 中煤科工集团常州研究院有限公司，江苏 常州 213015；
2. 天地（常州）自动化股份有限公司，江苏 常州 213015））

近年来，随着煤矿智能化建设加速进行，机器视觉技术在井下行人检测领域应用广泛，通过图像处理算法对行人目标进行检测和分析，用于后续井下无人驾驶车辆感知和智能安防监控等，对于提高煤矿安全生产管理水平、防范人身伤亡事故具有重要意义[1-2]。受井下光线昏暗、光照不均、背景复杂、行人目标小且密集等特殊工况环境的影响，图像中的行人目标存在边缘细节特征少、信噪比低、与背景相似度高等问题，难以有效识别遮挡多尺度下的行人目标，导致基于机器视觉的行人检测技术在井下应用面临很大挑战。

基于机器视觉的行人目标检测技术主要分为基于传统图像处理算法和基于深度学习算法2 种。基于传统图像处理的行人目标检测算法包括方向梯度直方图（Histogram of Oriented Gradient, HOG）+支持向量机（Support Vector Machines，SVM）、积分通道特征（Integral Channel Features，ICF）+AdaBoost、可变形部件模型（Deformable Part Model，DPM）等[3]，主要依赖人工设计特征，获得的行人检测特征主观性强，鲁棒性差，无法满足煤矿井下暗光、粉尘等特殊工况的多尺度行人检测需求。基于深度学习的行人目标检测算法通过大规模数据集训练学习，主动提取特征，解决了基于传统图像处理的行人目标检测算法模型泛化能力差的问题，针对复杂环境下的图像处理问题具有更大的性能优势和应用潜力。基于深度学习的行人目标检测算法主要包括two-stage 和one-stage 2 类。two-stage 算法通过区域生成网络产生目标候选框，并对目标候选框进行分类回归，以基于区域候选 框 的 卷 积 神 经 网 络（Region-based Convolutional Neural Networks，RCNN）及 其 迭 代 升 级 网 络Fast RCNN、Faster RCNN[4]为代表，优点是检测效果较好；
one-stage 算法采用端到端的方式训练网络，无需生成区域候选框，直接对目标检测框进行分类回归并输出检测结果，主要包括SSD[5]系列、YOLO[6]系列、CornerNet[7]系列等，优点是检测速度快。李伟山等[8]提出了一种改进的Faster RCNN 煤矿井下行人检测方法，以Faster RCNN 算法为基础，对候选区域网络（Region Proposals Network，RPN）结果进行改进，将不同层级的特征融合，以提高行人检测准确率，但网络计算量大，无法应用于实时系统中。李现国等[9]设计了一种基于DenseNet 网络的轻量级卷积神经网络作为SSD 网络的基础网络﹐以满足井下视频行人实时检测需求，并设计了基于ResNet 网络的辅助网络，以增强特征表征能力，虽然其检测速度很快，但在井下遮挡、密集场景下的行人检测效果不理想。张明臻[10]针对井下弱光环境中捕获图像质量不佳的问题，通过将弱光图像分解为光照图和反射图进行增强和去噪处理，并将含有残差块的 Dense 模块添加到 YOLO 网络中，构建了基于 Dense-YOLO网络的井下行人检测模型，以降低弱光环境下行人检测漏检率，但其对于一些垂直边缘较强，与背景相似度高的干扰物易造成虚警。

针对上述问题，本文提出了一种基于图像融合和改进CornerNet-Squeeze 的煤矿井下行人检测方法。该方法对红外相机和深度相机采集的图像进行融合，并结合二者优势，提升井下行人检测的精度；
在CornerNet-Squeeze 的主干网络后加入八度卷积（Octave Convolution，OctConv），增强行人目标边缘特征，提高井下多尺度行人目标的检测能力。

CornerNet 网络作为一种one-stage 的 Anchor-Free 目标检测算法，省略了生成锚框的步骤，具有与two-stage 算法相媲美的检测精度[11-12]，网络结构如图1 所示。其中沙漏型主干网络Hourglass Network由2 个全卷积网络Hourglass-52 Network 组成，通过一系列下采样和上采样操作，实现输入图像的多通道特征图提取。提取的特征图输出到2 个分支模块，并分别预测目标左上角和右下角2 组角点位置。每个角点分支预测模块经过Corner Pooling 后，输 出 Heatmap、Embeddings、Offsets 3 个 部 分[13]。Heatmap 输出预测角点信息；
Embeddings 输出不同角点之间的距离，判断2 个角点是否属于同一个实例目标；
Offsets 输出从输入映射到特征图的误差信息，调整目标角点位置。通过聚合三者信息预测得到目标角点，采用Soft-NMS 操作去除冗余框，最终输出目标检测结果。

图1 CornerNet 网络结构Fig. 1 CornerNet network structure

沙漏型主干网络Hourglass Network 中单个Hourglass-52 Network 网络结构如图2 所示[14-16]。该网络中使用了大量的Res 残差模块，当输入图像尺寸为256×256 时， 主干网络部分的参数量高达18 700 万，巨大的参数量造成大部分计算资源集中消耗，导致实时性降低，且其计算复杂度会随输入图像尺寸增大呈指数增加[16]。为降低沙漏型主干网络复杂度，追求更高的实时性，CornerNet-Squeeze 在CornerNet 基础上结合SqueezeNet[17-18]的思想，采用SqueezeNet 中的fire 模块代替Hourglass network 中的Res 残差模块，对其进行精简处理。Res 残差模块由2 个3 × 3 大小的卷积层和跳跃连接组成；
fire 模块先使用1 × 1 卷积层对数据进行降维处理，再用可分离的1 × 1 卷积层和3 × 3 卷积层进行组合扩展。采用1× 1 的卷积核参数量为3 × 3 卷积核的1/9，可大大减少Hourglass network 计算参数，提高模型的推理速度。

图2 Hourglass-52 Network 网络结构Fig. 2 Hourglass-52 Network structure

CornerNet-Squeeze 网络只对沙漏型主干网络做了轻量化处理，但面对复杂背景和小目标图像时，往往目标特征提取不完整，影响Heatmap 热图对目标角点位置的判断，导致目标检测框定位错误。因此，本文在CornerNet-Squeeze 的沙漏型主干网络后引入OctConv[19-20]特征增强模块，在 不 明 显 增 加CornerNet-Squeeze 网络复杂度的情况下，加强对目标边缘特征的提取能力，提高Heatmap 热图对角点预测的准确性，减少CornerNet-Squeeze 网络由于目标角点漏检导致空间距离较小的同类目标及小目标误检情况。改进CornerNet-Squeeze 网络结构如图3 所示。

图3 改进CornerNet-Squeeze 网络结构Fig. 3 Improved CornerNet-Squeeze network structure

在卷积神经网络中，卷积计算得到的特征图中存在高频部分和低频部分，通过分离特征图，增加高频信息输出，可更多地提取图像中所关注目标的轮廓特征，有助于增强目标边缘特征，提高识别率。本文在CornerNet-Squeeze 网络中引入OctConv 特征增强模块，对经沙漏型主干网络提取的特征图中高低频特征分量进行分离，输出更多代表目标轮廓信息的高频特征，增强目标边缘特征。其处理步骤如下。

1） 采用1 × 1 的Conv 对主干网络提取的特征图进行降维处理。

2） 降维后的特征图通过OctConv 分离−融合高低频特征信息，过程如图4 所示。

图4 OctConv 操作过程Fig. 4 OctConv operation procedure

首先沿通道尺寸使用系数 α将沙漏型主干网络提取的特征图分解为高频分量H和低频分量L，为输入特征张量，α ∈[0,1]， α = 0 时仅输出高频分量， α = 1 时仅输出低频分量，c为通道数，h，w为特征张量的空间维度。然后对高频分量H进行平均池化和卷积操作，对低频分量L进行卷积和上采样操作，分别输出融合特征分量Hm和Lm。最后加权得到融合的特征信息M。求解过程为

式中：C为k×k的卷积核，C∈Fc×k×k，k为卷积核大小；

⊗为卷积运算；
P为池化操作；
U为上采样操作；
ρ为幅值系数， ρ ∈(0,1)。

3） 输出的高频信息经过1 × 1 反卷积 DConv 操作，还原图像原有尺寸，在后续角点预测模块经处理生成Heatmap，计算角点得到目标检测结果。

3.1 数据集制作

为充分采集煤矿井下行人数据，将红外相机和深度相机安装在防爆无轨胶轮车车顶，采集的原始数据以视频方式保存。通过对视频抽帧得到深度图像和红外图像，基于尺度不变特征变换算法对红外图像和深度图像进行配准对齐，对配准图像进行中心裁剪以消除边缘部分的对齐误差，最终得到1 000 组 480× 360 的红外图像和深度图像对齐图像。

采用双尺度图像融合（Two-scale Image Fusion，TIF）算法[21]通过图像分解、图像合并、图像重构对1 000 组红外图像和深度图像对齐图像进行融合处理。为了进一步提高融合后图像的成像品质，采用形态学方法对融合图像进行处理，突出行人的纹理细节和灰度特征，消除冗余的背景干扰。图像融合处理原理如图5 所示。

图5 图像融合处理原理Fig. 5 Principle of image fusion processing

1） 图像分解。首先使用均值滤波器 µ(x,y)对原始红外图像f1(x,y)和 原始深度图像f2(x,y)进行图像分解，分别获得红外图像基础层图像f1b(x,y)、深度图像基础层图像f2b(x,y)，并通过原始红外图像和原始深度图像与红外图像基础层图像和深度图像基础层图像的差值得到红外图像细节层图像f1d(x,y)和深度图像细节层图像f2d(x,y)。

2） 图像合并。采用算术平均策略对基础层图像进行合并，得到基础层合并图像fb(x,y)，fb(x,y)=采用加权处理策略对细节层图像进行合并，分别对原始红外图像f1(x,y)和原始深度图像f2(x,y)进行均值滤波和中值滤波，计算均值滤波图像 φf1， φf2和中值滤波图像 θf1,θf2的欧拉距离，得到视觉显著图像 ε1(x,y) 和 ε2(x,y)，进一步计算得到细节层的加权合并系数矩阵和细节层合并图像fd(x,y)=δ1(x,y)f1d(x,y)+δ2(x,y)f2d(x,y) 。

3） 图像重构。对合并后的基础层图像和细节层图像采用像素位对应相加进行图像重构，得到最后深度图像和红外图像的融合图像z(x,y)=fb(x,y)+fd(x,y)。

4） 形态学处理。采用先腐蚀后膨胀形态学开运算对融合后的图像进行形态学处理，消除亮度较高的细小区域，去除孤立的小点、毛刺，消除小物体，平滑较大物体边界，减小背景干扰，突出行人轮廓特征。

经过上述步骤处理后的深度图像和红外图像融合结果如图6 所示。可看出融合图像结合了红外图像的行人灰度特征和深度图像的轮廓边缘，经过形态学处理后，减少了环境信息干扰，突出了行人特征，有助于提高行人检测的准确率。

图6 图像融合处理过程Fig. 6 Process of image fusion

3.2 模型训练

对深度图像、红外图像及融合图像使用标注软件LabelImg 进行人工标注，得到3 种训练数据集。

整个数据集包含遮挡、密集人群、小目标在井下低照度、水雾、粉尘等特殊场景样本，总计约2 000 个行人目标。

行人目标检测模型的训练平台为NVIDIA GeForce GTX 2080Ti，内存为32 GB，操作系统为Ubuntu18.04LTS，采用Pytorch 深度学习框架，推理平台为矿用本安型边缘计算装置，具有14TOP 算力。红外、 深度、融合数据集均包含1 000 张图像，将图像数据集按比例随机划分，训练集和验证集分别包含700 张和100 张图像样本，测试集包含200 张图像样本。在模型训练时先对输入图像进行随机裁剪、扩充、水平翻转和不等比例缩放，以增强数据集，再对图像采用主成分分析方法（Principal Component Analysis，PCA）进行白化操作，降低输入数据的冗余性。设置最大训练周期为500，初始学习率为0.001，每经过100 次迭代，学习率降为原来的0.5 倍。模型训练使用 Early-Stopping 策略，当模型验证损失值多次不下降时，认为模型达到收敛状态，自动结束训练。

使用改进CornerNet-Squeeze 网络和原始CornerNet、CornerNet-Squeeze 网络分别在3 种数据集上进行训练，得到相应的模型。

选取CornerNet-Squeeze 网络与改进CornerNet-Squeeze 网络在同一数据集上进行训练，验证损失值曲线如图7 所示。可看出迭代400 次后2 个模型逐渐达到收敛， 改进 CornerNet-Squeeze 网络较CornerNet-Squeeze 网络验证损失值低，说明改进CornerNet-Squeeze 网络训练模型具有更好的泛化能力。

图7 同一数据集下验证损失值曲线Fig. 7 Validation-Loss value curve under the same data set

3.3 试验结果

采用准确率p、召回率R、漏检率F、平均精度A及帧速率（Frames Per Second，FPS）作为性能评价指标。

式中：NTP为被预测为正样本的正样本数量；
NFP为被预测为正样本的负样本数量；
NFN为被预测为负样本的正样本数量；
A为平均精度，用来衡量算法的检测精度。

小尺度目标的评价指标为As（像素面积小于32×32 的目标检测平均精度），中等尺度目标评价指标为Am（像素面积大于32×32 且小于96×96 的目标检测平均精度），大尺度目标评价指标为Ab（像素面积大于96×96 的目标检测平均精度）。

训练完成后，不同模型针对不同数据集的行人目标检测性能见表1。可看出对于同一数据集，CornerNet-Squeeze 模 型 和 改 进CornerNet-Squeeze 模型的检测速度比CornerNet 模型高；
改进CornerNet-Squeeze 模型的检测精度较CornerNet-Squeeze 模型和CornerNet 模型高，由此可见改进CornerNet-Squeeze 模型在提升行人目标检测准确性的同时，保持了原算法的检测速度；
同一模型采用不同数据集训练时，融合图像数据集训练得到的模型检测精度较深度图像和红外图像数据集训练得到模型检测精度高，检测速度略有下降，这是由于图像的融合处理导致计算量增加，牺牲了部分检测速率，但不影响模型的实时检测性能，说明融合图像能充分结合深度图像和红外图像二者的优势，有利于提高模型的检测精度。

表1 不同模型的行人目标检测性能Table 1 Pedestrian target detection performance of different models

为验证本文算法在不同背景下的行人检测效果，设定轻微遮挡（遮挡范围10%～30%）、部分遮挡（遮挡范围30%～60%）、严重遮挡（遮挡范围60%～80%）、大尺寸目标（行人高度大于80 像素）、中小尺寸目标（行人高度40～80 像素）、极小尺寸目标（行人高度小于40 像素）6 种行人目标测试场景，采用融合图像数据集训练的3 种模型进行行人目标检测，结果见表2。可看出在6 种测试场景下，改进CornerNet-Squeeze 模型漏检率均最低。

表2 不同背景下行人目标检测效果Table 2 Pedestrian target detection effect in different backgrounds

为进一步验证改进CornerNet-Squeeze 的可行性和先进性， 与主流目标检测算法YOLOv4 在COCO2014 行人数据集上训练得到的模型进行比较，结果见表3。可看出改进CornerNet-Squeeze 算法的精度A较YOLOv4 提高了 1.1%，检测速度提高了6.7%。对于小尺度行人目标，改进CornerNet-Squeeze 算法的As明显优于YOLOv4 算法，但对于中等和大尺寸行人目标，改进CornerNet-Squeeze 算法的Am，Ab较YOLOv4 算法有所下降，这是由于中等和大尺寸目标在图像中占比较大，特征相对显著，在此类图像下本文算法对目标边缘增强效果有限。

表3 在COCO2014 行人数据集上性能对比Table 3 Performance comparison on the COCO2014 pedestrian dataset

测试集中部分图像的行人目标检测结果如图8 所示，从左到右分别为红外图像、深度图像和融合 图 像 在 CornerNet-Squeeze 和 改 进 CornerNet-Squeeze 上的测试结果。可看出采用融合图像在2 种模型上进行行人目标检测的置信度较红外图像和深度图像均有所提升；
改进CornerNet-Squeeze 有效检测出了红外图像和融合图像中远处小目标，而CornerNet-Squeeze 未能检出。

图8 3 种数据的检测结果Fig. 8 Test results of three kinds of data

1） 采用SqueezeNet 中的fire 模块替换CornerNet中沙漏型主干网络的Res 模块实现轻量化改造，CornerNet-Squeeze 模型较CornerNet 模型在检测速率上有明显提升；
引入OctConv 特征增强模块，所得改进CornerNet-Squeeze 模型较CornerNet-Squeeze、CornerNet 模型在检测精度上显著提高。可见改进CornerNet-Squeeze 模型在提升行人检测准确性的同时兼顾了检测实时性。

2） 采用融合图像数据集训练得到的模型检测精度较红外图像、深度图像数据集训练得到的模型高，FPS 略有下降，表明融合图像能充分结合深度图像和红外图像的优势，有利于提高模型检测精度，但图像的融合处理导致计算量增加，牺牲了部分检测速率。

3） 改进CornerNet-Squeeze 模型的漏检率最低，针对遮挡及多尺度行人目标的检测具有一定优势。

4） 与YOLOv4 相比，在 COCO2014 行人数据集上改进CornerNet-Squeeze 的平均精度提高了 1.1%，检测速度提高了6.7%。

5） 改进CornerNet-Squeeze 模型能够有效检测出图像中的远处小目标，对小目标的检测能力提升明显。

猜你喜欢行人卷积特征根据方程特征选解法中学生数理化·中考版(2022年9期)2022-10-25基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02毒舌出没，行人避让意林(2021年5期)2021-04-18如何表达“特征”疯狂英语·新策略(2019年10期)2019-12-13从滤波器理解卷积电子制作(2019年11期)2019-07-04不忠诚的四个特征当代陕西(2019年10期)2019-06-03路不为寻找者而设扬子江(2019年1期)2019-03-08基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20抓住特征巧观察数学小灵通·3-4年级(2017年9期)2017-10-13我是行人小天使·一年级语数英综合(2017年6期)2017-06-07

推荐访问:井下 煤矿 行人