Intelligent Tunnel Crack Recognition Based on Automatic Sample Labeling
-
摘要:
隧道表面裂缝的检测已经成为地铁运营人员的重要巡检任务之一. 为实现隧道裂缝病害的自动监测，提出一种结合病害特征提取和深度学习的隧道裂缝样本自动标注与识别算法；针对隧道裂缝形态特征建立裂缝图像的特征样本库，改进了AlexNet深度卷积网络结构；设计研制了轨道移动式隧道图像采集系统以及巡检车，采集并构建了包含4500张裂缝图像样本和1500张测试图像的数据集，用以验证算法的可行性和有效性. 研究结果表明：采集的图像清晰度符合要求，所设计算法可完成裂缝目标自动标注；裂缝图像测试集的识别率达到97.8%，证明了算法研究和采集系统的有效性.
Abstract:Detecting tunnel surface cracks has been one of the important tasks for subway operators. To achieve the automatic detection of tunnel cracks, this paper proposed an automatic labeling and recognition algorithm for tunnel crack samples, which combined crack feature extraction with deep learning. The paper also established an image feature library of crack samples based on the feature of tunnel cracks and improved the structure of the deep convolution network, namely AlexNet. In addition, the paper designed a track-sliding tunnel image acquisition system and inspection vehicle and then established a dataset consisting of 4 500 crack image samples and 1 500 test images, so as to verify the feasibility and effectiveness of the algorithm. The result shows that the clarity of the collected images meets the requirements, and the designed algorithm can complete the automatic labeling of cracks. The recognition rate of the crack image dataset is 97.8%, which can verify the effectiveness of the algorithm and the acquisition system.
-
Key words:
- image acquisition /
- image processing /
- cracks /
- deep learning /
- sample labeling
-
我国铁路隧道和地铁隧道总里程世界第一，老旧线路存在多种病害，需要高效率的快速智能检测技术. 隧道裂缝是重要病害，在复杂恶劣的环境下，人工巡检效率低下，难以满足需求. 随着机器视觉和图像处理技术的发展，围绕隧道裂缝智能检测的研究不断拓展[1]. 当前隧道病害自动检测的研究，主要利用视觉检测技术，对隧道病害图像实现采集和智能处理[2].
国内外在裂缝图像采集和处理方面有一系列的研究，大都采用传统检测算法和深度学习理论[3]. 地铁隧道表面图像背景特征具有复杂性、随机性和无特定规则的特点，除了管线、配电箱、逃生平台等设施外，包含大量的背景噪声干扰. 王睿等[4]设计了铁路隧道裂缝检测系统，研究了图像识别算法，可对普通裂纹图像进行检测识别，并没有用到深度学习算法. 朱力强等[5]研究了隧道图像采集系统，设计了隧道病害图像检测算法，提出了裂缝发展变化趋势智能分析检测理论. 日本研制了隧道裂缝病害检测车，探究传统图像处理算法以自动识别裂缝图像. Medina等[6]研究了裂缝边缘检测算法，并进行精确的像素计算. 传统算法主要围绕像素级处理，对简单裂缝图像的识别效果较好，但直接用于复杂裂缝图像的检测时效果不佳.
目前，随着深度卷积网络研究的发展，隧道图像智能识别技术又上升一个台阶. Huang等[7]研制了隧道图像采集装置，设计了隧道裂缝图像的深度学习算法，可以对裂缝、水渍、管线等目标进行识别. 深度学习算法通常利用样本标注和网络设计，进行裂缝图像的智能检测，对于特征清晰的目标，准确率达到85%左右，但对于复杂图像的识别精度不高，特别需要人工进行精细化图像标注工作，标注的精度直接影响识别精度[8-10]. 深度学习算法比传统方法和特征提取算法效果好、智能化程度高，但是标注样本所需时间长、工作量大. 特别地，对于裂缝图像的细小病害特征，高精度的边缘标注需要花费大量人工时间，急需研究高效率的自动标注和检测方法[11-12].
为了解决人工标注和裂缝图像自动识别的难题，本文提出了一种结合图像特征提取和深度学习的隧道裂缝样本自动标注与识别算法. 利用图像浅层处理，降低人工肉眼标注工作量，建立局部裂缝样本图像. 研究适用于裂缝局部图像的深度学习网络架构，实现隧道裂缝病害区域的自动检测. 为了实现隧道图像的自动采集，设计了一套基于轨道运行的隧道衬砌图像采集系统，利用多目视觉采集隧道裂缝图像，再结合算法研究，以实现智能识别.
1. 隧道图像采集与智能识别方法
本研究为了解决这个难题，提出了基于区域特征分析的裂缝样本数据标注方法，基于已有的裂缝图像，设计传统像素级处理算法，初步提取并自动选出裂缝区域，建立初步样本库，代替人工标注图像，实现自动图像标注. 针对裂缝图像样本病害特征，训练改进的深度卷积网络结构，实现裂缝图像的自动识别.
裂缝图像采集与识别原理如图1所示，研制轨道移动式图像采集平台，用于隧道表面图像的采集. 结合隧道现场手动拍摄的图像和原有的隧道图像，建立隧道表面图像数据集，配置多种尺度裂缝特征样本库.
选取裂缝图像数据，设计图像预处理方法，对隧道图像数据集进行前处理操作. 针对裂缝图像进行连通域滤波和病害特征分析，实现隧道图像的批量处理，得到候选裂缝特征子图像集合，代替人工完成裂缝局部图像的自动标注. 针对隧道裂缝特征，建立裂缝图像的3种特征样本，改进深度卷积网络，进行图像智能识别算法的对比实验，验证算法理论的可行性.
2. 隧道图像病害特征分析与识别
2.1 隧道裂缝图像预处理
由于隧道环境恶劣、光照不均，所采集的图像存在多种噪声和干扰物，裂缝区域像素占比较少，属于小目标特征. 从复杂的背景图像中直接进行裂缝病害特征的高精度识别难度较大. 本算法利用图像前处理操作增强图像对比度，便于后续的裂缝图像识别.
步骤1 像素级灰度腐蚀可以消除类似于点块噪声，将图像的微观病害特征扩充，同时对裂缝边缘噪点平滑. 定义原始图像为$ A(x,y) $；$ S(x',y') $为图像腐蚀计算的模板；$ {D_S} $为$ S(x',y') $的局部处理区域. $ f(x,y) $为像素灰度腐蚀后的图像，如式（1）.
f(x,y)=min{A(x+x′,y+y′)−S(x′,y′)|(x′,y′)∈DS}. (1) 本算法在增强裂缝边缘数据的同时提高图像对比度，保护隧道图像的重要病害特征.
步骤2 进行图像局部对比度拉伸计算，分析图像局部像素区域的灰度相似度，执行非线性变换处理，提高裂缝特征的对比度及灰度值低的目标灰度，如式（2）.
g(x,y)=1/(1+(m/(f(x,y)+p))E, (2) 式中：$ g(x,y) $为图像局部对比度处理后点$ (x,y) $处的灰度值；m为原始灰度平均值；E为拉伸指数；p为相对精度调整参数，本研究中取0.9.
步骤3 将前一步得到的图像执行二值化处理，见式（3）.
I(x,y)={1,g(x,y)⩾T,0,g(x,y)<T, (3) 式中：$ I(x,y) $为二值化图像中像素点$ (x,y) $处的灰度值；$ T $为图像二值化的设置阈值，可根据对应批次的图像，抽选样本进行经验值调节得到.
通过式（1）～（3）的处理，图像对比度和裂缝病害特征被加强，但同时也增加了图像虚假裂缝区域. 为保证图像中真实目标不被平滑掉，此过程算法可适当放大噪声，并极大程度保留目标病害特征.
2.2 裂缝图像病害特征区域分析算法
按照病害特征将隧道裂缝图像划分为真实裂缝区域、点状噪声区域、斑状噪声区域、块状噪声区域. 通过图像处理算法分析，逐步去除非裂缝病害特征噪声干扰，保留真实裂缝区域，作为选定的裂缝目标样本集.
2.2.1 点状噪声区域滤波处理
隧道图像病害特征区域中，点状特征是裂缝衬砌表面的主要噪声，由像素点较少的小块区域组成，可利用图像矩计算的方法进行阈值滤除.
针对二值化图像中$ I(x,y) $中的点状干扰$ {C_k}(x,y) $，通过式（4）分析图像特征子区域$ {C_k}(x,y) $的零阶矩$ {n_k} $.
nk=∑x∑y(1−Pk(x,y))，k=1,2,⋯,Nn， (4) 式中：$ P{}_k(x,y) $为子区域$ {C_k}(x,y) $中点$ (x,y) $的灰度值；Nn为待测图像中点状噪声区域的个数.
通过式（5）分析区域内点状噪声特征，完成针对性滤除. 子区域中像素点数量小于阈值的判断为噪声，并将像素灰度值转换为1，完成此滤波处理.
is(x,y)={Ck(x,y)|nk<Tn}， (5) 式中：${i_{\text{s}}}(x,y)$为点状噪声特征区域；${T_{\text{n}}}$为图像零阶矩判断阈值.
2.2.2 斑状噪声区域滤波处理
隧道表面图像中，点状噪声区域表现为散点像素的聚集，而斑状噪声区域的像素数量更多，且聚集性更加明显. 斑状噪声特征子区域占比大，而裂缝为随机细长曲线形状，因此，可利用外接矩形构成连通区域的矩形度来分析. 斑状噪声区域矩形度${R_l}$为
Rl=∑x∑y(1−Pk(x,y))SM=nkSM,l=1,2,⋯,NR, (6) 式中： $ {S _{\rm{M}}} $为外接矩形所包围的区域.
经过斑状噪声滤波处理后的图像为${I_{\text{s}}}(x,y)$. ${N_{\rm{R}}}$为${I_{\text{s}}}(x,y)$中斑状噪声子区域${D_l}(x,y)$的数量，设${T_{\text{R}}}$为判断值，${i_{\text{M}}}(x,y)$为确定的斑状特征区域，则斑状噪声的计算为
iM(x,y)={Dl(x,y)|Rl>TR}. (7) 2.2.3 随机块状噪声区域滤波处理
经过处理，图像大部分散点噪声成分已被滤除，但仍存在一些块状噪声. 结合连通域的最大宽度$ {w_{\max }} $、最大高度$ {h_{\max }} $和矩形度$ {R_k} $，设计子区域块状特性的滤波算法. 滤波后的图像为${I_{\text{M}}}(x,y)$，对其实现连通区域的提取. 设提取的候选区域为${E_j}(x,y)$，其个数为${N_{\text{w}}}$. 随机块状噪声区域滤波如式（8），噪声成分提取完成后，对其进行相同的滤除操作.
iA(x,y)={Ej(x,y)|wmax>Tw,hmax>Th,Rk>TR},j=1,2,⋯,Nw, (8) 式中：${T_{\text{w}}}$、${T_{\text{h}}}$和${T_{\text{R}}}$分别为设定的宽度、高度和矩形度阈值.
2.3 裂缝特征外接矩形区域标记
经过2.2节计算后，虚假裂缝特征区域仍然存在. 利用传统图像处理和特征提取算法对相同的裂缝图像数据集，识别率不超过90%，继续提高精度的难度较大. 若直接利用深度学习算法对原始图像进行样本制作与训练，对于细小裂缝的识别存在较多的漏检现象；如果直接利用人工标记样本的方法，一张图像的精细标注平均要30～40 min，工作量巨大. 针对以上问题，本文设计了基于像素级特征提取的算法，利用传统识别方法自动提取并标记裂缝子区域，建立样本数据，设计深度网络结构，实现裂缝病害的高精度识别.
本算法获取目标特征连通区域${E_k}(x,y)$的最小矩形区域坐标$ ({x_{\min }},{y_{\min }}) $、$ ({x_{\min }},{y_{\max }}) $、$ ({x_{\max }},{y_{\min }}) $、$ ({x_{\max }}, {y_{\max }}) $，提取图像对应区域，此时得到的裂缝子区域图像集中存在裂缝特征与伪裂缝特征用于后续的深度识别，连通区域最小外接矩形长（C）宽（R）比为
CR=xmax−xminymax−ymin⋅ (9) 2.4 隧道图像深度卷积网络架构
2.4.1 裂缝图像特征分析
经过2.2节算法处理后，可以得到裂缝区域子图像以及对应的二值化图像. 建立裂缝样本库进行对比分析：
1） 裂缝区域外接矩形样本. 具有裂缝区域最小化、裂缝信息最大化的优点；缺点为样本图像易出现“长宽比例”较大的情况，与原始图像比例不同，导致深度卷积网络中样本图像过度拉伸或压缩，影响识别精度.
2） 按比例扩充的外接矩形样本. 具有图像长宽比例合理、裂缝特征全面，网络训练比例不失真的优点；缺点为样本数据扩大、存在其他噪声干扰，但噪声不会影响裂缝特征的主体信息，精度可控.
3） 裂缝二值化图像样本. 二值化的图像，特点为数据量最少，特征明显；缺点为只有“0、1”二值数据，缺少丰富的灰度信息，存在网络训练中特征信息不足的情况.
2.4.2 图像样本子集的建立
隧道裂缝特征具有无规则、小目标的缺点，建立3种方式的裂缝图像样本集（裂缝特征外接矩形样本、裂缝图像二值化样本、按比例扩充的裂缝图像样本）对处理获取的裂缝特征子区域进行对比实验.
隧道裂缝外接矩形区域，可根据式（9）确定样本图像区域. 对于比例扩充的裂缝图像样本集，隧道原始图像为500 × 375像素，外接矩形扩充比例设置为$\mu {\text{ = }}$4∶3，如图2所示. ${C_{\text{E}}}$为比例扩充后裂缝样本矩形区域的短边，裂缝区域扩充原理如式（10）～（11）所示，其中：CΔ为图像中裂缝区域外接矩形2个方向的扩充参数，$ ({x_{{\text{LT}}}},\;{y_{{\text{LT}}}}) $为扩充后矩形区域的左上角点坐标，$ ({x_{{\text{RB}}}},\;{y_{{\text{RB}}}}) $为扩充后矩形区域的右下角点坐标. 二值化图像样本为按比例扩充的裂缝区域二处理结果.
CΔ=12(CE−C)， (10) {(xLT,yLT)=((xmin−CΔ),ymin),(xRB,yRB)=((xmax+CΔ),ymax). (11) 2.4.3 卷积网络结构
隧道表面图像中裂缝特征不显著，一般是小目标弱信息特征，具有无规则的特点. 由于裂缝宽度较窄，所占像素点一般不超过10个，所以图像局部信息量少，在设计深度卷积神经网络时，不易使用10层以上卷积网络，否则会导致裂缝边缘信息丢失. 本文设计改进了AlexNet网络结构，针对裂缝形态特征，建立3种样本集，形成卷积层数为5和全连接层数量为3的深度卷积网络，对候选裂缝图像集合进行训练和测试集的识别，结构如图3所示，图中λ为步长.
1） 深度卷积结构中，第1级卷积核尺寸11 × 11，个数为96，步长值为4，由卷积、ReLu函数、局部响应归一化（LRN）和降采样组成. 归一化度量为5 × 5，在降采样中，卷积核元素3 × 3，步长值2.
2） 卷积网络第2级，卷积核元素5 × 5，个数为256，步长值为2.
3） 卷积网络第3级，卷积核元素3 × 3，个数为384，步长值为2，不设置降采样和归一化操作.
4） 卷积网络第4级，卷积核元素寸3 × 3，个数为384，步长值为2，结构与上一层相似.
5） 卷积网络第5级，卷积核元素3 × 3，个数为256，步长值为2，此步骤无归一化处理.
6） 卷积网络第6级，全连接神经元数4096，同时设置ReLu函数操作和降采样操作.
7） 卷积网络第7级与卷积网络第6级算法相同.
8） 卷积网络第8级，定义为全连接层，可以完成识别，输出图像识别结果.
本算法仅针对存在裂缝图像和不存在裂缝图像的区分，因此，卷积网络第8层的输出为2，其中存在裂缝特征定义为1，反之为0.
3. 移动式图像采集系统设计与研制
本文设计的车载式隧道图像采集装置可以在轨道上运动采集衬砌图像，如图4所示. 巡检小车自带动力和安装平台，相机激光同步采集装置固定于中间的圆形支架上，可实时采集隧道表面图像. 整体系统可以实现相机灵活调节，准确对准隧道目标区域，测速定位系统安装于车轮用于里程定位，供电系统对整体检测装置提供稳定电源.
本系统由6个高速线阵相机、3个特制光源进行同步触发的图像采集. 由于隧道裂缝特征为灰度表现，所以保存单通道灰度图即可. 成像装置支架为圆形布局，相机与光源布置在圆形架子的外部支架处，如图5所示. 工业相机与光源间隔安装，每个光源提供给2个相机补光使用. 工业相机支架上预留扩展接口，可用于后续安装其他相机或传感器进行功能拓展. 相机光源支架安装于车体中部，设计为圆形支架，对于不同尺寸和距离的隧道，可以调节整体采集装置. 相机和光源的安装方式，横向和纵向位置可调整，成像装置参数如表1所示.
图 5 轨道移动式多目相机图像采集装置Figure 5. Image acquisition device of track-sliding multi-view camera表 1 采集装置参数信息表Table 1. Parameters of acquisition device名称 参数 相机自身旋转角度/（º） 0～360 相机可平移距离/cm 0～15 光源可平移距离/cm 0～15 光源自身旋转角度（º） 0～360 采集装置平移距离/cm ±30 采集装置上下调节距离/cm 80～120 隧道图像采集分辨率为6144像素，检测车最大运行速度为20 km/h. 图像采集中，间隔1200行像素输出一帧，即图像尺寸6144 × 1200像素，按照6000 × 1125像素保存图像，后期处理划分为若干个500 × 375图像. 本系统设计线状光源实现高强度的照明用于线阵相机的高清成像. 为保证通光量和成像质量，选择工业镜头焦距为50 mm，光圈范围F4～F8，可保证线阵相机的成像景深要求，对于其他结构尺寸的隧道，可通过手动对焦确定镜头参数.
地铁隧道环境相对简单，光线变化不大，所设计的系统主要用于盾构圆形截面、直径5.2～5.4 m隧道正线，所采集图像背景一致性较好. 对于变截面，隧道尺寸变化的情况，需要重新调节焦距或者改变成像距离，从而达到较好的图像采集.
4. 实验与结果
4.1 实验1：利用二值图像构建样本库
针对尺寸为500 × 375的地铁隧道图像，选取腐蚀结构元素为2 × 2的正方形，分块大小为10 × 10，零阶矩阈值${T_{\text{n}}}$为每幅图像的像素均值，矩形度阈值${T_{\text{R}}}$为0.23，形状极值阈值${T_{\text{w}}}$、${T_{\text{h}}}$分别为40、30. 对原始地铁衬砌图像完成对应算法的计算和处理，如图6所示. 对于细小裂缝图像，为了保存特征细节，会导致周边存在斑点噪声，由于该区域像素占比很小，在样本制作时自动滤除.
裂缝图像经过灰度级腐蚀操作后，图像中部分噪点被滤除，裂缝边缘清晰. 对其进行图像前处理操作及二值化分割后，进行图像子区域零阶矩计算，可滤除掉图像中大部分点状噪声，之后进行子区域矩形度和特征分析计算，将图像中斑状噪声和块状噪声滤除，最终得到的裂缝二值图像样本库，如图7.
对多张隧道图像进行批量处理，不同的采集环境与光照环境导致裂缝图像中存在噪声成分，出现裂缝特征局部断开，但裂缝基本骨架完整，对后续裂缝图像识别精度，影响较小.
4.2 实验2：图像连通区域最小矩形构建样本库
隧道图像存在多种状态的裂缝：横向、纵向、斜向、交叉、网状裂纹. 本文所提出的特征子区域分析滤波算法可确定裂缝特征连通域外接矩形，并从原始图像提取对应的区域，得到裂缝子区域样本图像，此时裂缝特征明显，数据量小，有利后续分类识别. 前处理提取裂缝特征的二值标记图，然后利用连通区域提取其对应的原始图像子区域，构造裂缝图像样本库，如图8所示.
由于横向与纵向裂缝多为长条状，矩形长与宽的比例较大，与原图像比例4∶3存在较大差异，会有压缩或拉伸调整后的图形变化，这不利于真假裂缝图像的识别.
4.3 实验3：裂缝区域扩充的样本库构建
在深度卷积网络中，与测试图像相同或比例相似的图像样本具有更好的特征识别一致性. 前处理得到的隧道图像中裂缝连通区域存在长宽比过大或过小的区域，导致样本训练中的比例失真. 为了提高深度学习中裂缝区域的识别精度，按原始图像比例对裂缝矩形进行扩充. 长宽比与原始图像相差较大，呈纵向细长型，按比例4∶3对其连通区域最小外接矩形进行自动扩充，保证创建的样本区域图像与原始图像比例相同，如图9所示. 考虑到图像边界等因素，若外接矩形坐标扩充无法双向扩充区域，则可以单向扩充形成与原始图像比例相同的子区域样本集.
4.4 实验对比分析与讨论
本次实验中共选择6000张地铁隧道表面图像进行批量预处理、前处理、3种样本图像的裂缝子区域自动提取和裂缝样本图像制作. 最终构造了4500张裂缝图像样本库，其中，3种样本图像的数量均为1500张，测试集图像数量1500张. 利用2080 Ti的GPU平台进行深度卷积网络的裂缝识别实验，在Caffe深度卷积网络框架下进行了裂缝识别对比实验.
为保证样本集的质量以及裂缝特征识别效果，在图像标注集制作前需进行裂缝图像初步筛选，保证裂缝特征的清晰度、特征对比度，但对于背景特别复杂的裂缝图像，不纳入标注样本集中. 表2的识别准确率是对应裂缝图像集合中算法识别出裂缝的数量与实际裂缝数量的比值.
表 2 裂缝图像样本数据分类识别准确率Table 2. Recognition accuracy of crack image sample data% 样本 本算法训练准确率 本算法测试准确率 SVM 训练准确率 SVM 测试准确率 原始图像样本 88.0 89.1 75.8 70.3 二值图像样本 80.7 80.4 80.6 74.5 裂缝外接矩形样本 95.4 94.0 88.5 84.9 裂缝区域扩充样本 98.6 97.8 89.0 87.8 1） 隧道原始图像样本库直接进行分类识别实验时，训练准确率为88.0%，测试准确率为89.1%.
2） 二值图像样本库分类准确率相较原始图像样本库有一定的下降，主要原因是经过前处理操作后，隧道图像由三通道图像转换为一通道的灰度图. 通过二值图样本进行识别，其特征灰度信息下降，图像数据计算时可提取的特征下降，对裂缝与伪裂缝、细小裂缝、噪声等特征辨识度不够. 对于裂缝图像背景简单的情况，二值化识别率会提高，但适用性不够广泛.
3） 采用处理后裂缝外接矩形样本并对应提取其原始图像样本库，其裂缝信息完整，特征占比大，可提取的特征较多，分类识别训练准确率高达95.4%，测试准确率达94.0%，相较原始图像直接进行分类，准确率有明显提高.
4） 按照原始图像比例对裂缝外接矩形进行4∶3扩充后，提取的图像与裂缝外接矩形图像相比，图像尺寸长宽比例一致，效果最好，使图像尺寸比例对网络训练测试的影响降到最低，进一步提高了裂缝识别率，训练准确率达98.6%，测试集准确率达97.8%.
5） 引入传统的SVM (support vector machine)裂缝图像分类算法后，其训练准确率最高达89.0%，测试准确率最高达87.8%. 隧道裂缝图像识别中，结合图像子区域自动提取标记和深度卷积网络的算法优于SVM分类识别算法.
综上分析，结合传统图像特征识别算法，通过前处理进行裂缝图像子区域的自动提取实现样本数据的自动标注，不需要进行大量的人工标注，节省了样本制作时间，提高了检测效率和隧道裂缝图像的识别率.
本文提出的裂缝识别算法存在需要持续改进的问题：1） 在前处理过程中，对细小裂缝出现了一定的边缘断裂情况；2） 自动提取的裂缝子区域图像分辨率比原始图像小，出现裂缝识别中的分块识别现象；3） 原始图像中较长的裂缝，会被识别为几个裂缝特征片段识别出来. 如图10所示，原始隧道图像裂缝病害测试集识别结果，尽管有管线、接缝、螺栓孔等虚假裂缝噪声干扰，但本算法对裂缝特征都进行了准确地提取和识别.
在复杂图像中，为了消除管线、接缝、疑似裂纹的噪声干扰，达到精准识别，故所标记的样本尺度较小，这在保证裂缝病害不被漏报和误报的条件下，产生了裂缝特征区域分块识别的现象. 通过与隧道技术人员的交流，目前这种方式满足裂缝识别的需求，可保证较高识别率、较低的漏报和误报的情况下使用，代替人工实现裂缝的辅助识别. 后续，在裂缝区域识别的完整性方面，将进行边缘链接和裂缝参数自动测量的算法研究，实现裂缝的智能化、完整信息检测.
5. 结 论
本文完成了隧道裂缝图像采集与检测技术研究，提出了结合图像前处理、区域特征提取、裂缝样本自动标注和深度学习的隧道图像分类识别算法以及基于区域提取代替人工标注样本的方法. 根据裂缝区域外接矩形建立样本图像，构造了3种隧道图像样本库进行对比实验. 综合分析隧道裂缝图像的弱信息量特点，在Caffe中配置了改进的AlexNet深度卷积网络，完成了裂缝图像样本对比实验、识别率分析与问题讨论.
本文设计研制了轨道移动式隧道图像采集系统以及巡检车，通过实验采集并整理了真实隧道裂缝图像，建立了4500张裂缝图像样本和1500张测试图像，隧道裂缝图像测试集的识别率达到97.8%，证明了算法研究和采集系统的有效性. 针对背景特征通常的隧道图像，使用本文算法进行分类识别验证. 对于复杂特征干扰的隧道图像，特别是混合渗漏水、严重污渍覆盖的恶劣环境图像（本领域的一个难点），后续需要进行更深入的研究，建立更加丰富和数据充足的样本库来提高复杂恶劣图像中裂缝的识别率.
-
图 5 轨道移动式多目相机图像采集装置
Figure 5. Image acquisition device of track-sliding multi-view camera
表 1 采集装置参数信息表
Table 1. Parameters of acquisition device
名称 参数 相机自身旋转角度/（º） 0～360 相机可平移距离/cm 0～15 光源可平移距离/cm 0～15 光源自身旋转角度（º） 0～360 采集装置平移距离/cm ±30 采集装置上下调节距离/cm 80～120 
下载: 导出CSV
表 2 裂缝图像样本数据分类识别准确率
Table 2. Recognition accuracy of crack image sample data
% 样本 本算法训练准确率 本算法测试准确率 SVM 训练准确率 SVM 测试准确率 原始图像样本 88.0 89.1 75.8 70.3 二值图像样本 80.7 80.4 80.6 74.5 裂缝外接矩形样本 95.4 94.0 88.5 84.9 裂缝区域扩充样本 98.6 97.8 89.0 87.8
下载: 导出CSV
-
[1] 罗佳,刘大刚. 基于自适应阈值和连通域的隧道裂缝提取[J]. 西南交通大学学报,2018,53(6): 1137-1141,1149. doi: 10.3969/j.issn.0258-2724.2018.06.007LUO Jia, LIU Dagang. Tunnel crack extraction based on adaptive threshold and connected domain[J]. Journal of Southwest Jiaotong University, 2018, 53(6): 1137-1141,1149. doi: 10.3969/j.issn.0258-2724.2018.06.007 [2] GAO X W, LI S Q, JIN B Y, et al. Intelligent crack damage detection system in shield tunnel using combination of retinanet and optimal adaptive selection[J]. Journal of Intelligent & Fuzzy Systems, 2021, 40(3): 4453-4469. [3] REN Y P, HUANG J S, HONG Z Y, et al. Image-based concrete crack detection in tunnels using deep fully convolutional networks[J]. Construction and Building Materials, 2020, 234: 1-12. [4] 王睿,漆泰岳. 基于机器视觉检测的裂缝特征研究[J]. 土木工程学报,2016,49(7): 123-128. doi: 10.15951/j.tmgcxb.2016.07.012WANG Rui, QI Taiyue. Study on crack characteristics based on machine vision detection[J]. China Civil Engineering Journal, 2016, 49(7): 123-128. doi: 10.15951/j.tmgcxb.2016.07.012 [5] 朱力强,王春薇,王耀东,等. 基于特征点集距离描述的裂缝图像匹配算法研究[J]. 仪器仪表学报,2016,37(12): 2851-2858. doi: 10.19650/j.cnki.cjsi.2016.12.027ZHU Liqiang, WANG Chunwei, WANG Yaodong, et al. Algorithm of crack images matching by feature points set distance description[J]. Chinese Journal of Scientific Instrument, 2016, 37(12): 2851-2858. doi: 10.19650/j.cnki.cjsi.2016.12.027 [6] MEDINA R, LLAMAS J, GÓMEZ-GARCÍA-BERMEJO J, et al. Crack detection in concrete tunnels using a Gabor filter invariant to rotation[J]. Sensors, 2017, 17(7): 1-16. [7] HUANG H W, LI Q T, ZHANG D M. Deep learning based image recognition for crack and leakage defects of metro shield tunnel[J]. Tunnelling and Underground Space Technology, 2018, 77: 166-176. doi: 10.1016/j.tust.2018.04.002 [8] ATTARD L, DEBONO C J, VALENTINO G, et al. Tunnel inspection using photogrammetric techniques and image processing: a review[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2018, 144: 180-188. doi: 10.1016/j.isprsjprs.2018.07.010 [9] PROTOPAPADAKIS E, VOULODIMOS A, DOULAMIS A, et al. Automatic crack detection for tunnel inspection using deep learning and heuristic image post-processing[J]. Applied Intelligence, 2019, 49(7): 2793-2806. doi: 10.1007/s10489-018-01396-y [10] CHA Y J, CHOI W, BÜYÜKÖZTÜRK O. Deep learning-based crack damage detection using convolutional neural networks[J]. Computer-Aided Civil and Infrastructure Engineering, 2017, 32(5): 361-378. doi: 10.1111/mice.12263 [11] DORAFSHAN S, THOMAS R J, MAGUIRE M. Comparison of deep convolutional neural networks and edge detectors for image-based crack detection in concrete[J]. Construction and Building Materials, 2018, 186: 1031-1045. doi: 10.1016/j.conbuildmat.2018.08.011 [12] LIU Z Q, CAO Y W, WANG Y Z, et al. Computer vision-based concrete crack detection using U-net fully convolutional networks[J]. Automation in Construction, 2019, 104: 129-139. doi: 10.1016/j.autcon.2019.04.005 -
下载:
下载:
点击查看大图
计量
- 文章访问数: 545
- HTML全文浏览量: 1172
- PDF下载量: 119
- 被引次数: 0