Review on Intelligent Image Recognition of Apparent Diseases of Stay Cable
-
摘要:
斜拉索是斜拉桥的主要承重构件之一，其外层护套病害容易渗透影响索内钢丝健康，采用视频图像法智能识别出拉索表观病害意义重大. 从传统图像检测和深度学习两方面系统地综述了基于图像识别的斜拉索表观损伤识别方法，以及各个方法的基本原理和应用效果，对目前的检测实例进行深入分析；介绍一些前沿深度学习方法，为拉索表观检测提供参考；归纳各类方法的主要特点，对目前检测中存在的问题进行了探讨和展望. 以深度学习模型为主的图像识别方法具有较好的识别准确率和算法鲁棒性、较强的学习能力和适应性，综合图像缺陷识别效果最优，但仍存在检测精度和速度难平衡、图像数据需求大和标注成本高等难点. 为此，可以采取提高图像质量、构建更多半监督和无监督相关的深度学习模型、提升检测模型学习能力等手段改善检测方法.
Abstract:The stay cable is one of the main load-bearing elements of cable-stayed bridges, and the disease of its outer sheath is easy to penetrate inside the cable and affect the health of the steel wire. Therefore, it is significant to use the video image method to intelligently identify the apparent disease of the cable. Based on image recognition, the methods of apparent disease recognition for stay cable were systematically reviewed from two aspects: traditional image detection and deep learning. The basic principles and application effects of each method were introduced, and the current detection examples were analyzed. Some cutting-edge deep learning methods were introduced to provide a reference for the apparent detection of cables. The main features of various methods were summarized, and the problems existing in the current detection were discussed and prospected. The deep learning model-based image recognition method had better recognition accuracy and algorithm robustness, stronger learning ability and adaptability, and optimal comprehensive image defect recognition effect, but there were still difficulties such as the difficult balance between detection accuracy and speed, large image data demand, and high labeling cost. To this end, detection methods could be improved by improving image quality, constructing more semi-supervised and unsupervised deep learning models, and enhancing the learning ability of detection models.
-
Key words:
- stay cable /
- apparent disease /
- image recognition /
- deep learning
-
近年来，公共基础设施安全事故频发，引起了国家的高度重视，其中桥梁安全更是交通安全领域的重点关注对象. 目前，国内外主流桥梁结构类型包括梁桥、拱桥、悬索桥和斜拉桥等，斜拉桥凭借其适用跨度范围大、抗风稳定性高、悬臂法施工安全、结构形势优美等诸多优势，成为我国大跨径桥梁的主要选择之一[1]. 斜拉索作为斜拉桥的重要承重构件，其耐久性和承载能力能有效保证斜拉桥的服役性能[2]，因此，针对斜拉索的损伤状态评定至关重要.
在斜拉索健康状况评估领域，主要包括表观护套病害检测、内部锈蚀断丝检测、锚固区损伤识别、拉索索力测试等检测任务，常见的索力测试方法有千斤顶压力表测定、压力传感器测定、磁通量测定和振动频率测定等. 目前，拉索内部钢丝锈蚀断丝、锚固区损伤和拉索索力测试等方向已存在较详尽的综述和研究[3-4]，但在斜拉索表观护套检测领域尚未存在综述性文章对其进行归纳总结，因此，本文主要针对斜拉索的表观病害识别方向进行综述.
当前市面上所生产的桥梁斜拉索中，其表观护套大多采用高密度聚乙烯材料（HDPE），用于保护斜拉索内部钢丝不被腐蚀. 但是在桥梁施工和服役阶段，面对复杂多变的外界条件（如紫外线长期辐射、酸雨腐蚀、汽车尾气、拉索交变应力等），斜拉索表观护套容易产生裂缝、鼓包、刮伤、破损和磨损等不同类型、不同程度的损伤，倘若未能及时检查维护，随着表观护套损伤的不断扩大，将造成索内钢丝的腐蚀损伤，轻则影响桥梁受力状态，重则导致全桥垮塌. 同时在工程需求上，国内仅超过400 m跨距的斜拉桥就有140余座，每座桥每年的管养费用达上百万，交通运输部最新发布的《在用公路桥梁现场检测技术规程》（JTG/T 5214—2022）[5]也特定对缆索结构表观病害检测进行了规范. 因此，斜拉索表观护套病害检测对斜拉桥健康监测与安全维护具有重要意义，且含有重大工程价值.
已提出的多种斜拉索表观检测手段中，传统检测方法主要以人工检测为主，常见的有采用高分辨率望远镜远距离观测及搭乘斜拉索上的专业缆车[6]进行检测等. 随着电子科技的发展，通过设计爬索机器人[7-8]或无人机[9]能有效获取斜拉索的表观视频图像信息，该方法还具有检测成本低、斜拉索表观信息完整度高和检测安全性高等诸多优点. 同时，基于机器视觉的表面缺陷检测技术有效地解决了人工检测中劳动强度大、检测效率低、无损检测难实现、人为主观因素影响大等问题，研究人员也研发了许多视觉缺陷检测方法[10-11]以应用于各个领域. 因此，在获得斜拉索表观图像的基础上，选择适当的图像识别算法进行斜拉索表观病害智能检测，成为斜拉索表观损伤检测领域的主要研究方向. 而在基于图像的缺陷识别研究中，以阈值分割、边缘检测等手段为主的传统图像处理技术[12-13]利用图像的灰度、纹理等少数直观特征缺陷信息提取判断，算法设计较简单；传统机器学习[14]具有较强的数学基础，在图像识别中的应用更为复杂；深度学习[15]作为近几年的热门研究领域，具有更优秀的应用效果和适应性. 在这些方法中，不同类型识别算法各有其优缺点和适用对象，为了指导斜拉索表观病害图像识别方法的选择，以及进一步改进现有识别技术，需要对斜拉索及相关领域的图像缺陷识别技术进行分析总结，为进一步提升斜拉索的健康检测方法提供参考.
本文通过在SCI、EI、CNKI等数据库中调研筛选约200篇图像缺陷识别相关文献，聚焦斜拉索表观病害图像识别的研究进展，对近20年以来包括传统图像检测和深度学习在内的斜拉索表观病害图像识别方法进行归类阐述，针对一些未应用于斜拉索表观检测的图像识别算法进行拓展参考. 最后对上述方法进行优缺点总结，并以深度学习为出发点，对未来研究发展进行展望.
1. 传统图像检测
针对传统图像缺陷检测领域，将从传统图像处理技术和以统计学习为主的传统机器学习方面进行介绍，2类方法均是人工设计图像特征，主要区别在于前者是人为设置阈值对缺陷进行识别，后者大多基于复杂的统计学习算法，通过学习的方式获取缺陷识别中的阈值.
1.1 传统图像处理技术
在传统图像处理技术应用领域：一方面，利用图像滤波、直方图均衡化等方法进行图像预处理[16]提高图像质量；另一方面，采用图像特征统计、阈值分割、边缘检测等方法用于图像缺陷识别. 为指导传统图像处理技术在斜拉索表观损伤识别中的应用，将一些常见的实例方法归纳为缺陷特征统计和传统图像分割2个方面并分别进行阐述.
1.1.1 缺陷特征统计
在图像缺陷识别中，可以通过人为统计部分图像特征，然后分析并设计严格的算法进行缺陷判断，采用该类方法能完成简单的图像检测任务[17]. 本文将此类方法归纳为图像的缺陷特征统计，其中常利用的图像特征有灰度、纹理和频域信息等.
在斜拉索表观检测中，刘朝涛等[18]基于相邻拉索图像灰度直方图，统计了图像的均值差值、方差差值和能量差值等特征进行病害拉索识别，该方法能较准确地识别病害图像且正常图像识别率为89.23%，但局限在于其主要针对开裂类病害，且仅利用灰度和纹理类特征进行识别，其特征提取如式（1）～（5）. 蔡步文[19]将拉索表观缺陷分为粗糙类缺陷和光滑类缺陷，通过统计不同类别缺陷的特征完成缺陷区域提取算法设计；再利用模式识别实现缺陷分类；最后，通过缺陷信息提取算法和标定技术获得缺陷目标的尺寸信息. 实验结果显示，不同类型缺陷的检测准确率均高于90%，且缺陷面积识别误差低于20%.
μ=255∑b=0bP(b)， (1) σ2=255∑b=0(b−μ)2P(b)， (2) K=255∑b=0(b−μ)4P(b)(255∑b=0(b−μ)2P(b))2， (3) G=255∑b=0P2(b)， (4) H=−255∑b=0P(b)log2P(b)， (5) 式中：b为灰度直方图的灰度级，P(b)为图像中灰度级b出现的概率，μ为图像的灰度平均值，σ2为图像的灰度方差，K为图像的灰度直方图的峰度特征，G为图像的能量特征，H为图像的熵.
分析缺陷特征统计方法在斜拉索表观检测中的实际应用发现，该类算法大多基于图像的灰度和纹理特征，针对灰度和纹理特征明显的缺陷具有较好识别效果，但该类方法也存在缺陷误检率和漏检率较高、算法适应性差等不足.
1.1.2 传统图像分割
图像分割目的是将原图像分为多个具有不同语义的子区域，实现区间差异、区内相似，为区分基于深度学习的图像分割方法，本节将基于传统图像处理技术的图像分割归纳为传统图像分割. 传统图像分割主要根据图像的颜色、纹理和形状等特征对图像进行区域分割，该类方法在桥梁斜拉索表观图像检测中应用广泛，主要包括阈值分割法、边缘检测法和区域生长法3类传统分割方法.
阈值分割法的核心是求得最佳分割阈值，常见阈值计算方法有固定阈值法、迭代式阈值法、大津法 和自适应阈值法等. 在斜拉索表观检测领域：王建林等[20]将图像颜色空间从RGB （red，green，blue color space）转换到Lab，并得到该空间L通道的直方图，分析直方图模式并设计合适的阈值进行单阈值图像分割，有效分割出斜拉索目标和背景；阳振宇[21]采用改进大津法 实现图像阈值分割，同时通过统计缺陷目标的区域面积、周长、矩形度和圆形度等特性完成缺陷表征，测试表明病害拉索图像漏检率为0%，正常图像漏检率22.22%，该方法的拉索分割效果对比如图1所示；Chen等[22]设计基于灰度和高斯混合模型的斜拉索目标区域提取算法，同样采用大津法 将图像二值化，不同点在于其通过计算检测样本和无缺陷模板图像二值化后的差值进行缺陷识别，测试结果表明，该方法针对斜拉索图像缺陷识别的精确度达到90%以上.
边缘检测是一种利用像素梯度特征的传统图像分割方法，该类算法的核心是边缘检测算子的选择，常采用的微分算子有Sobel算子、Scharr算子、Canny算子等. 在斜拉索表观病害识别应用中，高潮等[23]同时采用Sobel边缘检测和动态阈值分割对图像进行二值化，通过图像形态学运算和统计各连通缺陷的像素面积完成缺陷识别，该方法能检测出面积大于10−4 m2的斜拉索缺陷，且检测速度为0.025 m/s，局限在于微小的孔洞类缺陷和裂缝类缺陷难以有效识别. 为提升检测精度，李新科等[24]改进基于Sobel算子的边缘检测算法进行斜拉索缺陷识别，同样能有效检测出面积大于10−4 m2的缺陷，且检测速度提高至0.05 m/s. 刘淑敏[25]采用均值漂移算法、图像锐化和自适应直方图均衡化等方法增强图像，采用Scharr算子进行裂纹像素分割，检测结果达到96.6%的准确率和0.6%的漏检率.
采用区域生长法[26]进行图像分割的基本思想是按照一定标准将相似像素集合成一个区域. 该方法在斜拉索表观病害识别领域中应用较少，但是其简单独特的思想仍值得研究借鉴. 在实际应用中，蔡步文等[27]基于灰度方差统计确定疑似缺陷区域，并利用灰度阈值过滤虚假缺陷，采用区域生长法实现斜拉索表观缺陷准确识别. 在其他领域，基于区域生长的缺陷检测也得到较好应用，Li等[28]采用图像裁剪算法将图像中无缺陷部分裁剪排除，然后，利用区域生长算法在剩余部分中进行缺陷提取. Zou等[29]基于图像缺陷特点，提出一种自动种子点选择算法，采用改进区域生长法完成图像缺陷分割.
分析3类传统图像分割检测方法发现：阈值分割算法对图像质量要求较高，需要对原图进行有效的预处理；边缘检测法针对纹理特征明显的缺陷具有较好识别效果，但其检测速度一般比阈值分割慢，需要平衡速度和精度；区域生长法对于异常区域灰度特征明显的图像缺陷具有较好识别效果，但该方法面对噪声过多或检测粗糙类缺陷等情况难以实现有效检测，可作为一种辅助检测手段.
1.2 传统机器学习
机器学习是一类算法的总称，此类算法通过对一部分数据进行学习，然后对其他同类数据进行判断和预测. 以统计学习为主的传统机器学习与以深度学习为主的机器学习相比，前者需要人工定义数据的特征模板，且具体学习规则充分依赖模型自身严格的算法定义，而深度学习则利用模型中权重和偏置的传递自动学习数据隐藏特征. 本节聚焦斜拉索表观检测领域，从有监督学习和无监督学习2个方面的传统机器学习方法进行阐述，同时借鉴其他相关领域的检测应用.
1.2.1 无监督学习
在机器学习中，无监督学习是指在没有标记的样本数据中进行学习，按照数据中的隐藏特性进行分类，常见的传统无监督学习方法有降维和聚类等.
主成分分析（PCA）目的是将复杂图像数据降维成少数综合特征数据. 针对斜拉索表观检测，Ho等[30]将输入图像投影至PCA子空间，利用输入图像和样本图像之间的马氏距离差值进行缺陷图像判断，随着训练样本数量的增加，该方法的误检率逐渐趋于0，但不足之处在于实验中的拉索缺陷类型单纯以划痕类损伤为主. 在其他领域，周兆逸等[31]针对焊接中焊缝表面缺陷检测问题，提出一种改进二维主成分分析和浅层前馈神经网络相结合的图像识别方法，该方法识别准确率达到95.4%且每秒检测29帧图像，缺点在于应用场景较局限且图像采集不稳定. 王欣等[32]也采用PCA方法分析多类图像特征，结合支持向量机算法进行缺陷分类识别，采用并行编程技术有效提高了检测速度和精度. 因此，PCA降维算法常用于提取有效的缺陷特征，可以与简单的马氏距离计算或其他分类方法相结合，该方法鲁棒性和精度具有局限性，常作为一种辅助手段.
聚类是指分析数据多维特征并将类似实例数据归为一类，该类方法在图像识别中应用广泛. 面对类似于拉索表观中复杂表面缺陷相互干扰的情况，Zhou等[33]提出一种直线导轨表面缺陷的自适应聚类检测方法，采用密度峰值聚类和谱多流形聚类自适应确定聚类中心点并完成缺陷分离，实验结果表明，缺陷图像识别为聚类所在簇的最低正确率为90%，但存在一定的聚类误差，即标注样本可能不准确，且无法识别出不明显缺陷. Li等[34]通过提取图像加速稳健特征（SURF），将粒子群优化和K均值聚类算法相结合对汽车零件表面缺陷进行检测，该算法准确率高达98%，但局限性在于该检测应用中外界环境干扰小，对比性不足. Yang等[35]利用少量的无缺陷样本图像，提出了一种多尺度特征聚类和全卷积自编码器相结合的缺陷识别方法，该方法的缺陷检测精度达到92%且检测一张图像仅需0.082 s. 分析发现，聚类方法存在微观局部缺陷难识别和易受复杂背景干扰等局限性，针对改进基于聚类的图像缺陷识别方法，主要包括选择更有效的聚类特征和更合适的聚类算法.
虽然无监督学习方法不需要繁琐的数据标记，但相较于有监督学习方法，其检测效果没有标准的衡量方法且检测准确性相对较低. 因此，在目前机器学习研究中，常采用适用性更强的有监督学习方法.
1.2.2 有监督学习
有监督学习是一种采用被标记数据进行学习隐藏特征的学习方式，其代表性学习方法有支持向量机（SVM）、朴素贝叶斯（NBM）、决策树、集成学习等.
在斜拉索表观病害检测中，许多研究人员采用遗传类算法对SVM进行优化. Li等[36]采用粒子群优化算法获得SVM模型惩罚系数和核函数参数，该模型针对斜拉索表观缺陷的分类准确率高达96.25%，能有效识别纵向开裂、横向开裂、表面腐蚀和凹坑4种缺陷. 李鑫[37]采用狼群优化算法优化SVM模型中的松弛因子惩罚系数和核函数宽度，最终分类器的准确度达到了97.5%，其缺陷检测整体方案设计如图2所示，该系统从硬件和软件2个方面为斜拉索表观病害图像智能识别提供参考.
在其他缺陷检测领域，同样存在许多不同的有监督学习算法. Zhang等[38]在处理纺织物的表面缺陷识别过程中，利用纺织物的色差和位置特征，提出了一种基于KNN的新型织物缺陷检测方法. Chang等[39]采用大津法 阈值分割获取木材表面缺陷区域，并在进一步提取其几何和强度特征的基础上利用分类回归树（CART）进行缺陷分类识别，且分类准确率达94.1%. Jawahar等[40]针对皮革表观缺陷检测，利用灰度共生矩阵进行特征提取，采用NBM、多层感知机、决策树和随机森林等多种检测方法进行对比，发现随机森林分类器在该类缺陷检测中表现效果良好，分类准确度达到了88.64%. 在基于有监督学习的传统机器学习方式中，以SVM算法为代表的检测方法凭借其优秀的性能成为图像缺陷检测常用手段，但其检测应用领域仍存在局限，且难以实现定位等功能.
在基于传统机器学习的图像缺陷检测领域，无监督学习无需人为进行繁琐的数据标注，但评价指标难以衡量，检测效果也有待提升；有监督学习则从大量的标记样本中进行学习，拥有更好的缺陷识别效果. 虽然基于传统机器学习的实际拉索检测应用较少，但可以借鉴分析该类方法在其他领域的检测效果并进行深入研究.
综上所述，传统图像处理技术和传统机器学习方法在斜拉索表观检测和相关图像缺陷识别领域均有一定效果，具体效果对比如表1所示. 传统图像处理技术主要用于判断缺陷是否存在，其中的图像分割算法能在一定程度上获取目标区域面积；传统机器学习方法能适应更复杂的应用场景，缺陷类别判断更详细，检测准确率相较于前者也更好. 但这2类检测算法仍存在局限性：1） 二者均采用人工统计特征，但人类对图像的特征认知有限，容易造成缺陷识别准确率、算法鲁棒性和适应性等方面难以提升；2） 传统方法在识别结果上仍以缺陷类别判断为主，对于微观缺陷识别、目标精准定位和轮廓掩码提取等功能尚未实现. 因此，针对该类传统方法的不足，引入了深度学习检测方法.
表 1 基于传统方法的图像病害识别对比Table 1. Comparison of image disease recognition based on traditional methods文献 方法类别 具体方法 贡献 局限性 应用场景 缺陷特征 [18] 缺陷特征统计 去噪、增强、分割、特征统计识别 方法简单有效 存在误判、检测样本少、步骤较多、实时性差 斜拉索表观检测 开裂类缺陷 [19] 缺陷特征统计 特征统计、模式识别 从灰度和纹理 2 个角度划分缺陷，提高检测效率；设计缺陷面积获取算法 噪声影响大、分类简单、面积有一定误判、实时性不足 斜拉索表观检测 粗糙和光滑
2 类缺陷[22] 传统图像分割 有效区域提取、阈值图像差分 有效解决光照不均匀，针对断丝、变形和磨损等缺陷效果较好 检测效果不够全面，鲁棒性不足 斜拉索表观检测 [24] 传统图像分割 Sobel 边缘检测 有效改善检测速度 微观缺陷难检测（孔洞、裂缝） 斜拉索表观检测 损伤面积大于10−4 m2 [27] 传统图像分割 边缘检测、伪缺陷去除算法、区域生长 区域生长提高检测精度 表皮杂质较多的情况下误差较大 斜拉索表观检测 像素灰度特征类似的缺陷 [28] 传统图像分割 图像裁剪、区域生长 有效提高检测速度 应用场景较单一 钢板波纹检测 [30] 无监督学习 图像增强、PCA 无需人为标注缺陷样本 存在误报率，需要人工检查核验 斜拉索表观检测 划伤类缺陷 [33] 无监督学习 密度峰值聚类、谱多流形聚类 实现表面相互干扰的不同缺陷分离，改善多种缺陷自适应检测 没有明显密度分布的大面积生锈情况难检测，鲁棒性差 直线导轨表面检测 复杂缺陷相互干扰 [36] 有监督学习 粒子群优化、SVM 有效识别多种类型缺陷 人工提取大量特征，实时性难度大 斜拉索表观检测 开裂、表面腐蚀和凹坑类缺陷 [40] 有监督学习 基于改进粒子群优化的缺陷分割、随机森林 引入多种评价指标进行评价，提高鲁棒性 皮革本身纹理易误判为缺陷、多阶段检测时间复杂度较高 皮革表观检测 纹理类特征明显的缺陷 2. 深度学习检测
深度学习是近几年的研究热点，该方法属于机器学习中新的分支，且相比于传统的机器学习方法更接近“人工智能”. 对比于传统机器学习，深度学习主要存在2个较大的不同点：其一是深度学习更注重模型结构深度，能学习更多的隐藏数据特征，得到更高维度的语义表达；其二是深度学习摒弃了人工构建特征的步骤，通过模型结构的递推，直接从原数据中进行特征学习. 基于深度学习的图像识别算法在目标缺陷检测领域应用广泛[41-42]，其主要包含图像分类、目标检测和图像分割3种识别任务，不同任务的常见深度学习模型统计如图3，下文以各个识别任务的基本概念和计算原理为出发点，对不同分支的缺陷识别应用进行阐述.
2.1 图像分类
图像分类在缺陷识别中用于判断给定图像的缺陷类型，其中一张图像仅一个类别标签，该任务在深度学习领域已经相对成熟[43]. 常见图像分类模型框架大多基于卷积神经网络（CNN）进行构建，其简单网络结构如图4所示，主要由输入层、卷积层、池化层、全连接层和输出层组成，不同分类模型的网络层数和分配方式存在不同，一些典型分类网络模型还增加了多维度优化处理或残差计算等改进方法. 在设计分类网络结构的基础上，利用大量标签数据进行网络的学习和优化，最后完成训练并建立起从输入图像到类别输出的函数关系，虽然学习到的函数关系并不是输入到输出一一对应，但通过调整优化函数中的梯度使得该关系十分逼近真实函数关系. 目前常见的图像分类模型有AlexNet、GoogLeNet和深度残差网络（ResNet）等，其中以ResNet[44]最为典型，下文将介绍一些图像分类模型在斜拉索表观病害检测及相关领域的研究应用.
董斌[45]基于集成学习模型结合3种改进的图像分类网络，完成斜拉索表观病害分类：1） 设计基于scSE （concurrent spatial and channel squeeze and channel excitation）模块的scSE ResNeXt101分类网络，其scSE注意力机制通过学习数据特征向量中不同通道的贡献程度因子提高通道有效信息权重；2） 采用EfficientNet-b4图像分类模型，同时针对模型网络深度、宽度等进行缩放实现扩宽感受野和提高通道特征提取能力；3） 采用HRNet-W32 （high-resolution network）分类模型，其网络并行结构有效整合图像多尺度信息. 最后，采用Stacking集成学习模型将3种分类网络模型相结合，其准确率高达97.83%.
在其他缺陷检测领域，为与传统方法进行检测效果对比，Jiang等[46]提出了一种基于深度残差网络ResNet-34的铸件外观缺陷检测模型，提出了ASoftReLU函数来缓解神经元梯度消失问题，通过实验对比，传统方法的准确率仅达到84.9%，改进残差网络模型的准确率高达93.7%，深度学习效果更佳. 为解决数据集不足问题，Chen等[47]通过迁移学习进行塑料垫片缺陷检测模型预训练，采用GoogLeNet Inception-v2对缺陷进行特征提取和分类，实验发现该模型针对此类数据集具有较高的准确性、可靠性和效率. 为缓解人工图像标注工作量大、耗时长等问题，王耀东等[48]结合传统图像处理技术，利用裂缝图像连通区域的最小外接矩形进行缺陷目标自动标注，设计多类训练样本后采用改进Alexnet卷积网络完成隧道表观裂缝缺陷识别，测试表明，该方法的最优数据分类准确率为98.6%，但抗干扰能力有待验证.
综上，基于深度学习的图像分类技术在图像缺陷检测领域中的综合检测性能最优，具有较高的准确度和鲁棒性，能有效区分特征明显的缺陷图像类别. 但针对图像中的小部分局部缺陷，利用整体图像进行分类往往难以满足缺陷识别需求，而除了图像分类，拥有缺陷定位功能的目标检测方法在图像缺陷检测中具有更优的功能适用性.
2.2 目标检测
相比于仅仅获取类别信息的图像分类，目标检测能同时获得缺陷目标的位置和类别信息，采用矩形框为不同目标绘制边框，并对每个目标框的类别进行判断. 目标检测技术分为双阶段检测和单阶段检测2个大类.
2.2.1 双阶段检测
双阶段目标检测算法在检测实现过程和模型框架结构上均表现出2个阶段：第一个阶段用于获取图像中可能存在目标的候选建议框，尽可能保证建议框的可靠度；第二个阶段用于判断建议框内目标的类别属性，同时对目标框的位置进行调整. 在具体网络结构实现上，此类方法通常先设计获取候选区域的算法，然后利用CNN设计分类网络，采用非极大值抑制（NMS）筛选冗余的候选框，建立候选框与目标框的回归方程实现目标框的边界纠正，一些网络还增加了空间金字塔池化或特征金字塔网络等结构进行模型优化. 在网络学习和优化过程中，双阶段算法所建立的损失函数主要包括类别损失、位置损失和中间建议框的损失，具体学习过程与之前描述的图像分类网络类似. 常见的双阶段目标检测模型有SPP-Net和区域卷积神经网络（R-CNN）系列等，以R-CNN系列检测模型中的Faster R-CNN[49]为经典代表. 网络结构如图5所示，图中，（P，Q）和（M，N）分别代表输入斜拉索表观图像的宽、高尺寸和统一调整大小后的图像尺寸. 下面介绍双阶段检测模型在斜拉索表观检测和其他相关领域的研究应用.
针对斜拉索表观病害检测，余朝阳[50]采用Faster R-CNN双阶段模型进行缺陷目标定位和分类，并利用检测到的目标矩形框对缺陷实际尺寸粗略估计，该方法检测正确率超过99%，且检测速度相较于传统检测技术提高300%. 在其他图像缺陷检测领域，为进一步提升检测效果，晏班夫等[51]在采用Faster R-CNN模型获取路面表观病害类型、位置和面积的基础上，结合CNN滑动窗口和形态学算法提取裂缝形态和长宽信息，该缺陷识别算法具有较高的工程价值. 针对检测模型的改进，李东洁等[52]将Faster R-CNN网络与特征金字塔网络相结合，模型改进前后检测效果对比显示，改进后的模型针对小目标缺陷更敏感，且检测准确率提高了2.485%. 针对工业铝制品表面缺陷小、缺陷长宽比大、检测精度低等问题，Li等[53]采用残差网络ResNet50作为Faster R-CNN模型的骨干网络，同时为其融合路径增强特征金字塔网络用于多尺度映射，该模型检测准确率相对于改进前提高了2%.
由此可见，双阶段目标检测模型的改进主要通过骨干网络的选择和特征融合方法的改进，该模型具有极高的精度，但其双阶段的结构影响了检测效率.
2.2.2 单阶段检测
与双阶段目标检测相比，单阶段检测算法并不存在单独得到目标建议框的阶段，其目标类别和位置的获取在一个阶段内完成. 在具体网络结构上，基于CNN的单阶段检测模型比双阶段模型简洁许多，该系列方法的结构首先由骨干网络提取图像的特征信息，然后采用特征金字塔、深浅层特征融合等操作进行特征处理，经过NMS操作后对位置和类别进行预测回归，不同具体模型在骨干网络类型、图像增强方法和损失计算原理等部分存在不同. 在单阶段检测网络的学习和优化过程中，由于没有单独提取建议框的阶段，其损失函数仅针对类别损失和位置损失进行设计. 常见单阶段目标检测模型有SSD （single shot multibox detector）、YOLO （you only look once）系列等，其中YOLO[54]系列检测算法的应用场景最为广泛.
在斜拉索表观病害检测中，基于图像识别的单阶段检测模型应用较多. 李运堂等[55]对YOLOv3单阶段检测模型进行有效改进，实验表明，新模型的检测准确度评估指标mAP为93.7%，检测速度评估指标FPS指数达17 帧/s. 为进一步提升检测速度，张可慧[56]采用YOLOv3检测缺陷的同时，利用TensorRT工具优化模型推理速度，该方法在斜拉索表观图像检测应用中识别准确率超过80%且单张图像检测仅需0.012 s. 随着YOLO系列模型版本的改进，其检测效果也越来越好，周郎明等[57]发明了一种基于YOLOv5的斜拉桥缆索多类型病害检测方法，该方法具有良好的检测精度和速度. 在其他缺陷检测领域，许多针对YOLO系列检测模型的改进也值得参考. Li等[58]采用改进的包含27层卷积的YOLO单阶段检测模型，对钢表面6种缺陷类型进行检测，实验结果显示该模型mAP为97.55%，召回率达95.86%. 对类似于斜拉索的圆柱类物品，Chen等[59]基于YOLOv4网络对物品表面进行缺陷检测，改进了注意力机制和特征融合模块，相对于基准模型，改进网络模型检测效果的最终评估指标mAP提高了3.765%且检测速度较高.
以YOLO系列为主的单阶段检测方法能有效实现斜拉索表观图像病害识别，相较于双阶段检测方法提升了检测速度但损失了识别精度，该类方法是深度学习缺陷检测领域的常见检测手段. 除此之外，除了简单获取目标的矩形边框，基于深度学习的图像分割能提取更丰富的目标边界轮廓.
2.3 图像分割
在第1节的传统图像分割方法中，主要利用阈值或边缘梯度等信息将原图中的目标区域分割出来，需要严格的算法设计和人工干预，检测效果不稳定且表现单一. 而基于深度学习的图像分割技术具有更优的检测效果和更丰富的功能表现，按照实现功能的不同分为语义分割和实例分割.
2.3.1 语义分割
在传统图像分割的基础上，能分类识别出每块分割区域语义信息的分割算法被称为语义分割，该类算法属于像素级分类，如斜拉索表观检测中用于区分背景区域、拉索正常护套区域、不同类型病害的护套区域，且各区域尽量拟合目标的真实轮廓. 由于CNN结构中的全连接网络层会将二维的矩阵特征转化为一维信息，造成图像空间信息丢失，因此，语义分割模型大多基于无全连接层的全卷积神经网络（FCN）. 针对模型的网络结构设计，语义分割主要以编码-解码结构为主，其中编码器采用卷积池化操作进行图像下采样和特征提取，解码器采用反卷积等操作对语义特征进行上采样并融合来自编码器的同级特征. 关于网络的学习和优化过程，与图像分类和目标检测算法完全不同的是，语义分割模型的损失函数以统计基于逐像素对比的交叉熵损失为主. 常见的语义分割模型有U-Net、FCN、SegNet和DeepLab系列等，其中以U-Net[60]模型为经典代表，以下部分通过介绍语义分割在不同领域的图像缺陷识别应用为斜拉索表观检测提供借鉴.
U-Net是一种结构简单且有效的编码器-解码器结构语义分割模型，该模型结构如图6所示. Qian[61]基于U-Net和特征金字塔网络（FPN）的编码器-解码器结构，设计了一种用于分割任务的集成模型来实现钢铁表观图像缺陷检测，多次实验显示该模型的骰子系数（2个样本的相似度）均超过0.9，但检测速度较低为每张图1.5 s. 基于U-Net类自编码结构，李忠海等[62]将级联自编码网络和紧凑型卷积神经网络相结合，搭建了一个完整的钢轨表面缺陷分割模型，用于完成钢轨表面图像中缺陷目标的识别，实验表明该系统检测准确率超过90%，检测单张图需
0.24561 s，仍存在实时性较低的局限. 在其他语义分割模型中，Liang等[63]采用SegNet语义分割模型进行铁路表面缺陷检测，与传统阈值分割缺陷识别方法相比，该方法具有更好的检测效果，在7个轨道的缺陷图像识别测试中的准确率高达100%，但存在测试分析不足. Tang等[64]提出一种基于改进DeepLab v3 + 的汽车轮毂表面缺陷检测模型，该模型采用HRNet网络作为骨干网络提取图像高分辨率特征，将DeepLab v3 + 中ASPP模块提取的多尺度特征进行叠加，与U-Net、SegNet等模型相比，该任务中所改进方法的缺陷分割评价指标F1分数和平均精度更优.综上，基于语义分割的缺陷图像识别能获取精准的图像边界信息且检测准确度较高，但也存在检测速度难改进等不足. 在语义分割的基础上，实例分割方法在获取目标轮廓的基础上实现区分同一类别目标的不同个体.
2.3.2 实例分割
在语义分割的基础上，实例分割能将同一语义类别的不同个体进行区分，该类任务也相当于在目标检测的基础上增加了目标轮廓识别. 在技术路线上，实例分割模型的实现主要包含2种方案：基于目标检测的自上而下方案和基于语义分割的自下而上方案. 针对模型网络结构，自上而下的实例分割在目标检测模型的基础上增加掩码预测分支，按照实现阶段的不同也分为双阶段和单阶段2种实例分割；自下而上的实例分割网络则是在语义分割的基础上增加实例区分算法. 针对模型优化过程中的损失计算，自上而下的实例分割主要包含位置、类别和掩码共3部分损失，而自下而上类实例分割模型的损失函数主要由语义分割损失和掩码损失2部分组成. 常见的实例分割模型有Mask R-CNN、CenterMask、DeepMask和YOLACT （you only look at coefficients）系列等，其中Mask R-CNN[65]模型应用最为广泛，下文将介绍实例分割算法在斜拉索表观检测和其他图像缺陷识别领域的研究应用.
基于Mask R-CNN图像分割网络，王兴松等[66]发明了一套斜拉索表面实时识别系统，先采用该模型将图像中缺陷区域分割出来，然后利用缺陷像素面积评级损伤程度. Hou等[67]采用迁移学习解决拉索表面缺陷数据集稀少的问题，其将混凝土缝隙数据集训练的模型权重参数迁移至Cascade Mask R-CNN模型并完成斜拉索表观缺陷识别，基于图像骨架提取算法获取缺陷目标尺寸，对比分析表明该模型的分割评价指标最佳，其中交并比（IoU）为74.3%，准确度高达99.6%，且缺陷尺寸估计中总平均像素长度误差为6.1%，总平均像素宽度误差为7.3%. 该方法的具体缺陷识别流程如图7所示，其中：Lp、Wp分别为裂缝的像素长、宽尺寸，f为所采用相机镜头的焦距，z0为相机镜头与目标的物距，Lr、Wr分别为裂缝的实际长、宽尺寸，Lr=z0Lp/f，Wr=z0Wp/f.
在其他缺陷检测领域，余加勇等[68]基于Mask R-CNN识别桥梁结构表面裂缝病害，并进一步采用边缘检测、骨架提取等算法获取裂缝的尺寸特征信息，在实际应用中的检测准确率达92.5%，裂缝识别的宽度误差低于9.8%. 除了Mask R-CNN分割模型，Chen等[69]采用实例分割模型YOLACT完成金属螺丝的表面缺陷检测，检测的平均准确率达92.8%且检测速度FPS达30帧/s，达到实时检测需求.
综上所述，基于深度学习的分割算法极大程度地丰富了检测需求，但也存在着局限性如检测速度和精度不平衡，同时满足高精度和速度的检测模型较少. 该算法虽然能有效分割出划痕类低语义缺陷，但同时需要针对样本数据集进行像素级标注，标注成本远远高于目标检测方法. 因此，需要探索新的节省标注成本的图像缺陷识别算法.
2.4 其他深度学习方法
综述分类、目标检测、图像分割3类图像缺陷识别方法发现，许多算法虽然能有效识别斜拉索表观病害，但大量样本数据的收集和繁琐的数据标注工作往往难以实现. 本节将引入一些解决该类问题的其他深度学习方法，为将来斜拉索表观病害识别提供参考，具体方法包括无监督、半监督、图像重构、样本生成等方法在深度学习中的应用.
为节省人工标注成本，Zhang等[70]研发了一种具有2个子网的半监督生成对抗网络（GAN）进行图像缺陷检测，并采用一个包含4类钢表面缺陷的公共数据集进行检测，使用1/8和1/4标注数据进行模型训练，其检测结果评价指标平均IoU值分别为79.0%和81.8%. Zhao等[71]将GAN网络与自编码网络相结合进行缺陷图像重建，利用LBP实现输入样本与重建样本的对比缺陷检测，该模型只需要正样本且不需要缺陷样本和人工标注，在纹理和织物表面进行缺陷识别测试，准确度分别为98.53%和94.43%. 通过图像空间投影至特征空间比较，也能很好定位图像异常，Peng[72]等设计一种基于自特征比较的无监督学习方法，用于完成纺织品表面缺陷的定位与分割，多种纺织物下的检测评价指标AUROC平均值高于90%.
为减轻深度学习模型中数据收集负担，Matuszczyk等[73]提出了一种基于深度学习的工业零件表面缺陷图像生成方法，该方法主要将物理渲染和GAN网络相结合，利用生成的图像对基于自编码器的缺陷检测模型进行训练，实验结果表明，该方法有效缓解了工业零件缺陷检测中数据量不足的问题. Yun[74]等为解决金属制造业中缺陷样本较少的问题，提出一种基于卷积变分自编码器数据生成技术和深度神经网络的分类器，该方法针对多类金属生产线表面缺陷的精确度超过95%，但其应用环境受外界干扰低. 通过综述多种深度学习方法发现，无监督、半监督、图像生成和迁移学习等技术虽然存在准确度不足或适用场景局限等缺点，但有效地解决了图像样本不足和数据标注繁琐等问题，值得深入研究.
基于深度学习方法的图像识别效果对比分析如表2所示，其在斜拉索表观病害检测中拥有良好的检测效果，整体优于传统图像处理技术和传统机器学习. 采用缺陷图像分类检测方法在一定程度上能获得优秀的检测准确度，但也存在高精度模型下检测速度较低且微小缺陷难分辨的问题. 基于目标检测的图像缺陷识别研究中，单阶段检测器精度不足但速度较快，双阶段检测器恰与之相反，需要改进模型结构平衡检测的速度与精度. 基于语义分割的拉索检测研究中，其优点是可以获取缺陷的轮廓边缘信息，更利于病害的识别，缺点是检测速度较慢. 除此之外，基于对抗生成网络的图像生成和半监督学习训练等深度学习方法能有效地解决斜拉索病害图像不足、人工标注繁忙等问题，值得借鉴.
表 2 基于深度学习的图像病害识别对比Table 2. Comparison of image disease recognition based on deep learning文献 研究领域 具体方法 贡献 局限性 应用场景 缺陷特征 [45] 图像分类 分类神经网络、集成学习 多模型融合有效提升鲁棒性和准确率 需大量标注样本、多方法集成实时性难实现 斜拉索表观检测 深度学习算法通过自主学习图像的有利特征，大多数方法能识别复杂情况下的多类缺陷 [47] 图像分类 迁移学习、GoogLeNet 迁移学习解决小样本问题 针对大面积下的微观缺陷难分类 塑料垫片缺陷检测 [48] 图形分类 改进 Alexnet 卷积网络 利用传统图像处理技术完成缺陷目标自动标注 算法抗干扰能力有待提升 隧道裂缝识别 [50] 目标检测 Faster R-CNN 检测精度极高 速度仍有待改善 斜拉索表观检测 [56] 目标检测 YOLOv3、TensorRT 优化推理 检测速度极快，完全满足实时性 检测精度受影响，有误差 斜拉索表观检测 [58] 目标检测 改进的 YOLOv4 保证速度的基础上提升检测精度 针对尺寸类检测需求不足 内燃机缸套表面缺陷检测 [62] 图像分割 语义分割 获取缺陷目标边界 影响速度，且同一类多个缺陷未分离 钢轨表面检测 [67] 图像分割 Cascade Mask R-CNN、图像骨架提取算法 准确度较高且获取单个目标准确边界，获得单个缺陷尺寸 速度难以实时检测，尺寸估计存在误差 斜拉索表观检测 [69] 图像分割 YOLACT 实例分割 有效分割出划痕类低语义缺陷、满足检测速度实时性 标注工作过于繁重 金属螺丝表面缺陷检测 [70] 其他深度学习 半监督生成对抗网络 节省标注成本、具有较好鲁棒性和灵活性 有一定误差 钢表面缺陷检测 [72] 其他深度学习 自特征重构与提炼模型、无监督学习 仅少数无缺陷样本训练，精确度较高 所检测缺陷类型单一，应用领域扩展性不高 纺织品表面缺陷检测 [74] 其他深度学习 三维重建和仿真、图像风格迁移 节省图像成本，提高模型适应性 应用场景存在局限 污水管内部表观检测 3. 存在的问题
本文以斜拉索表观病害检测为对象，综述研究了基于机器视觉的缺陷识别方法，具体方法汇总如图8所示，且对各类方法的优缺点进行归纳（表3所示），对各类方法在斜拉索表观病害检测中的具体识别效果进行了分析（表4所示）. 从检测算法来看，从传统图像处理技术到以统计学习为主的机器学习，再到深度学习方法，基于图像的斜拉索表观病害识别方法的检测准确率和检测效率得到进一步提升，同时其算法鲁棒性和适应性也得到有效的改善. 从具体的任务应用来看，随着深度学习应用的不断发展，斜拉索表观病害检测的功能效果越发丰富和全面，采集图像中斜拉索表面的复杂背景干扰、小面积缺陷难以检测和缺陷识别效果单一等问题也都得到了显著的改进. 但在实际情况下，仍存在一些尚待解决的局限和不足，主要包括检测仪器、识别效果、图像识别算法设计3个方面.
图 8 斜拉索表观病害图像识别方法Figure 8. Image recognition method for apparent disease of stay cable1） 有关爬索机器人设计的难点. ① 拉索表面可能存在极端干扰情况，如护套出现严重穿透性损伤、严重凸起或凹陷等情况，爬索机器人难以正常前进；② 拉索表面被异物大面积覆盖，如大面积灰尘、水垢或鸟类粪便等，造成爬索机器人不能正常采集拉索照片；③ 受风力影响或其他情况造成拉索弯曲变形时，爬索机器人速度不稳定甚至倒退，造成所采集图像质量差、分辨率低等问题.
2） 有关图像病害识别效果的难点. ① 斜拉索是曲面圆柱类目标，但在病害识别过程中只是获取缺陷的二维投影信息，识别的缺陷形状和面积与真实值存在较大误差；② 图像缺陷识别的速度往往以牺牲识别精度为代价，反之亦然，因此针对缺陷识别过程中速度和精度的平衡问题仍待研究.
3） 有关图像缺陷识别算法中技术层面的难点. ① 传统图像检测方法在算法鲁棒性和泛化能力等方面存在较大不足，如何有效利用更全面的拉索图像特征、设计适应能力更强的识别算法是研究难点；② 引入小样本深度学习模型能有效解决病害图像训练集不足的问题，但当前小样本学习难以处理识别过程中未知类别和已知类别无交集、未知类型数据少等情况，检测模型难以通过训练和微调获得优秀识别性能；③ 目前的深度学习方法主要以数据驱动技术为主，针对整合常识领域的研究一直难以突破，即如何将已经存在的拉索病害常识融合进深度学习框架中；④ 当前深度学习所采用的优化方法大多基于随机梯度下降，面对非凸优化问题难以获取最优解，因此，如何设计效果更优的优化器是一大难点；⑤ 现有的神经网络框架仅具有深度结构和稀疏性等少部分类似人脑的特性，对于神经系统中包括暗示、联想、注意力机制等其他方面的融合较少，如何融入人脑的机理，进一步提升深度学习的学习能力瓶颈也是一大难点.
表 3 各类方法优缺点总结Table 3. Advantages and disadvantages of various methods方法类别 优点 缺点 适用场景 备注 传统图像处理技术 算法严格、不需要人工标注数据、无需大量样本 利用特征较少、需人工分析提取特征、算法鲁棒性和适用性差、检测效果单一 适用于外界环境干扰小和缺陷特征明显的任务，可设计简单快速的检测算法 各类算法在检测速度上均存在参差不齐的现象，综合检测效果以深度学习表现最优 传统机器学习 利用更多的图像特征、同种注重算法、分类效果更丰富、小样本也可、无监督无需标注数据 需人工统计特征、识别效果较单一、算法适用性有限、泛化能力不强 抗干扰能力有限、面对不同检测任务需分析对比多个算法后选择合适的模型 深度学习 不需要人工统计特征、算法鲁棒性和适应性较强、检测效果丰富（分类、定位、分割）、功能强大（缺陷图像生成、半监督减少人工标注等） 检测速度和精度难平衡、一些效果好的检测模型离不开大量标注数据的训练、硬件配置要求高且训练周期长、可解释性低 深度学习具有较强的学习能力和泛化能力，适合大多数检测任务 表 4 斜拉索表观病害识别效果Table 4. Recognition effect of apparent disease of stay cable文献 采用方法 检测效果 不足之处 [18] 纹理特征统计 完全识别病害图像且正常图像识别率为89.23%，简单有效 存在误判、图像质量要求高 [19] 灰度特征统计、模式识别 不同缺陷的检测准确率均高于 90% 且缺陷面积误差低于 20%. 易受噪声影响、分类简单、难以区分附着物与真实缺陷、缺陷深度难检测 [21] 形态学、阈值分割 病害图像漏检率 0%，正常图像漏检率 22.22%，有效实现缺陷形状表征 正常图像误判率较高，分类效果简单 [22] 大津法 阈值分割 图像缺陷识别精确度达到 90%以上 检测效果单一 [29] Sobel 边缘检测、阈值分割 检测出面积大于 10−4 m2 的斜拉索缺陷，且检测速度为 0.025 m/s 适用性较低，微小缺陷难识别 [24] 基于 Sobel 的边缘检测算法 有效地检测出面积大于 10−4 m2 的缺陷，检测效率达 0.05 m/s 微小缺陷难检测 [25] 基于 Scharr 的边缘检测算法 检测结果达到 96.6% 的准确率和 0.6% 的漏检率 存在对易错检的磨损干扰等图像的误判，造成准确率低的问题 [30] PCA 有效检测出病害的大小和位置 需大量高质量训练图像，不能适应复杂检测环境 [36] 改进 SVM 有效识别纵向开裂、横向开裂、表面腐蚀和凹坑4 种缺陷，分类准确率高达 96.25% 存在缺陷不能完整识别现象、缺陷类别识别不全 [37] 阈值分割、PCA、SVM 实时性较好，满足拉索缺陷检测需求 采用模拟样本、可信度不足且样本数量不足 [45] 集成学习、图像分类 实现缺陷图像精准分类，准确率高达 97.83% 集成 3 个分类网络、推理速度较低造成检测效率不高 [50] Faster R-CNN 该模型检测准确率超过 99%，检测速度相较与传统检测技术提高 300% 训练图像单一、不能达到实时检测 [55] 改进 YOLOv3 mAP 指标为 93.7%，FPS 指标达 17 帧/s，满足实时检测要求 检测精度低于双阶段检测模型 [56] YOLOv3、TensorRT 检测准确率超过 80% 且检测一张图像仅需 0.012 s 高速的检测速度造成检测精度下降 [57] YOLOv5 能够准确识别斜拉索表观病害，解决人工检测中高成本与风险、低效率、低精度等问题 精度有待提高 [66] Mask R-CNN 一定程度上解决识别精度低、效率低等问题 实时性仍旧不足 [67] 改进 Cascade Mask R-CNN 通过实验对比，评估中获得了最佳 IoU 为 0.743，F1 得分 85.1%，准确度高达 99.6%，总平均像素长度误差为 6.1%，总平均像素宽度误差为 7.3% FPS 仅为 7.8 帧/s，较低 4. 结论与展望
4.1 结 论
本文对现有基于图像的斜拉索表观病害识别技术进行了调研和综述，归纳了各类方法的主要特点，对不同方法的检测效果进行了具体分析，得到主要结论如下：
1） 传统图像检测方法需要人工提取特征，主要用于识别开裂、划痕等部分缺陷类型. 在识别效果上，以单一判断缺陷是否存在为主，且识别准确率约为90%～95%. 在适用场景上，算法设计严格造成算法鲁棒性和泛化能力差，适用于外界干扰小、缺陷特征明显的图像识别任务.
2） 深度学习方法能自主学习图像有效特征，能识别多类复杂缺陷. 在识别效果上，具备多样性分类和定位等识别效果，拥有多种识别评价指标，其中准确率约为95%～99%. 在适用场景上，具有更强的算法鲁棒性和模型泛化能力，能适应更复杂的检测任务，但也存在硬件要求高、训练时间长、训练数据集需求大、人工标注繁琐等缺点.
3） 针对斜拉索表观病害识别，传统图像检测方法可用于改善图像质量、表征图像特点，为图像识别的预处理和后处理进行优化. 深度学习方法主要用于缺陷检测，可以在平衡识别速度和精度、小样本学习、高性能模型推理、强化学习等领域进行重点研究.
4.2 展 望
综上所述，在斜拉索表观图像缺陷检测中仍面临着诸多有待改善或解决的问题，结合实际情况，从以下3个方面提出展望：
1） 爬行机器人设计. 针对复杂的拉索情况，可以通过改进爬索机器人获取更高质量的斜拉索表观图像，如增加缆索清洁功能去除灰尘和污渍、增加遮光布和LED光照用以屏蔽外界环境和实现光照均衡、根据相机分辨率为机器人调整合适的爬行速度等.
2） 数据集不足的研究思路. 通过借鉴其他图像缺陷识别应用，可以选择迁移学习、半监督检测算法、基于生成对抗网络的缺陷图像生成模型等方法进行改善.
3） 图像缺陷识别算法的改进思路. 针对样本图像质量差、缺陷不明显问题，可以从曲面拉索图像的平面投影、多相机视觉下的图像拼接、基于深度学习的图像增强等思路出发进行研究；针对检测速度与检测精度难平衡问题，目前主要存在3种研究思路：在双阶段检测模型的基础上提高检测速度、改进单阶段检测模型实现精度的提升、将2类检测模型相结合.
-
图 8 斜拉索表观病害图像识别方法
Figure 8. Image recognition method for apparent disease of stay cable
表 1 基于传统方法的图像病害识别对比
Table 1. Comparison of image disease recognition based on traditional methods
文献 方法类别 具体方法 贡献 局限性 应用场景 缺陷特征 [18] 缺陷特征统计 去噪、增强、分割、特征统计识别 方法简单有效 存在误判、检测样本少、步骤较多、实时性差 斜拉索表观检测 开裂类缺陷 [19] 缺陷特征统计 特征统计、模式识别 从灰度和纹理 2 个角度划分缺陷，提高检测效率；设计缺陷面积获取算法 噪声影响大、分类简单、面积有一定误判、实时性不足 斜拉索表观检测 粗糙和光滑
2 类缺陷[22] 传统图像分割 有效区域提取、阈值图像差分 有效解决光照不均匀，针对断丝、变形和磨损等缺陷效果较好 检测效果不够全面，鲁棒性不足 斜拉索表观检测 [24] 传统图像分割 Sobel 边缘检测 有效改善检测速度 微观缺陷难检测（孔洞、裂缝） 斜拉索表观检测 损伤面积大于10−4 m2 [27] 传统图像分割 边缘检测、伪缺陷去除算法、区域生长 区域生长提高检测精度 表皮杂质较多的情况下误差较大 斜拉索表观检测 像素灰度特征类似的缺陷 [28] 传统图像分割 图像裁剪、区域生长 有效提高检测速度 应用场景较单一 钢板波纹检测 [30] 无监督学习 图像增强、PCA 无需人为标注缺陷样本 存在误报率，需要人工检查核验 斜拉索表观检测 划伤类缺陷 [33] 无监督学习 密度峰值聚类、谱多流形聚类 实现表面相互干扰的不同缺陷分离，改善多种缺陷自适应检测 没有明显密度分布的大面积生锈情况难检测，鲁棒性差 直线导轨表面检测 复杂缺陷相互干扰 [36] 有监督学习 粒子群优化、SVM 有效识别多种类型缺陷 人工提取大量特征，实时性难度大 斜拉索表观检测 开裂、表面腐蚀和凹坑类缺陷 [40] 有监督学习 基于改进粒子群优化的缺陷分割、随机森林 引入多种评价指标进行评价，提高鲁棒性 皮革本身纹理易误判为缺陷、多阶段检测时间复杂度较高 皮革表观检测 纹理类特征明显的缺陷 
下载: 导出CSV
表 2 基于深度学习的图像病害识别对比
Table 2. Comparison of image disease recognition based on deep learning
文献 研究领域 具体方法 贡献 局限性 应用场景 缺陷特征 [45] 图像分类 分类神经网络、集成学习 多模型融合有效提升鲁棒性和准确率 需大量标注样本、多方法集成实时性难实现 斜拉索表观检测 深度学习算法通过自主学习图像的有利特征，大多数方法能识别复杂情况下的多类缺陷 [47] 图像分类 迁移学习、GoogLeNet 迁移学习解决小样本问题 针对大面积下的微观缺陷难分类 塑料垫片缺陷检测 [48] 图形分类 改进 Alexnet 卷积网络 利用传统图像处理技术完成缺陷目标自动标注 算法抗干扰能力有待提升 隧道裂缝识别 [50] 目标检测 Faster R-CNN 检测精度极高 速度仍有待改善 斜拉索表观检测 [56] 目标检测 YOLOv3、TensorRT 优化推理 检测速度极快，完全满足实时性 检测精度受影响，有误差 斜拉索表观检测 [58] 目标检测 改进的 YOLOv4 保证速度的基础上提升检测精度 针对尺寸类检测需求不足 内燃机缸套表面缺陷检测 [62] 图像分割 语义分割 获取缺陷目标边界 影响速度，且同一类多个缺陷未分离 钢轨表面检测 [67] 图像分割 Cascade Mask R-CNN、图像骨架提取算法 准确度较高且获取单个目标准确边界，获得单个缺陷尺寸 速度难以实时检测，尺寸估计存在误差 斜拉索表观检测 [69] 图像分割 YOLACT 实例分割 有效分割出划痕类低语义缺陷、满足检测速度实时性 标注工作过于繁重 金属螺丝表面缺陷检测 [70] 其他深度学习 半监督生成对抗网络 节省标注成本、具有较好鲁棒性和灵活性 有一定误差 钢表面缺陷检测 [72] 其他深度学习 自特征重构与提炼模型、无监督学习 仅少数无缺陷样本训练，精确度较高 所检测缺陷类型单一，应用领域扩展性不高 纺织品表面缺陷检测 [74] 其他深度学习 三维重建和仿真、图像风格迁移 节省图像成本，提高模型适应性 应用场景存在局限 污水管内部表观检测
下载: 导出CSV
表 3 各类方法优缺点总结
Table 3. Advantages and disadvantages of various methods
方法类别 优点 缺点 适用场景 备注 传统图像处理技术 算法严格、不需要人工标注数据、无需大量样本 利用特征较少、需人工分析提取特征、算法鲁棒性和适用性差、检测效果单一 适用于外界环境干扰小和缺陷特征明显的任务，可设计简单快速的检测算法 各类算法在检测速度上均存在参差不齐的现象，综合检测效果以深度学习表现最优 传统机器学习 利用更多的图像特征、同种注重算法、分类效果更丰富、小样本也可、无监督无需标注数据 需人工统计特征、识别效果较单一、算法适用性有限、泛化能力不强 抗干扰能力有限、面对不同检测任务需分析对比多个算法后选择合适的模型 深度学习 不需要人工统计特征、算法鲁棒性和适应性较强、检测效果丰富（分类、定位、分割）、功能强大（缺陷图像生成、半监督减少人工标注等） 检测速度和精度难平衡、一些效果好的检测模型离不开大量标注数据的训练、硬件配置要求高且训练周期长、可解释性低 深度学习具有较强的学习能力和泛化能力，适合大多数检测任务
下载: 导出CSV
表 4 斜拉索表观病害识别效果
Table 4. Recognition effect of apparent disease of stay cable
文献 采用方法 检测效果 不足之处 [18] 纹理特征统计 完全识别病害图像且正常图像识别率为89.23%，简单有效 存在误判、图像质量要求高 [19] 灰度特征统计、模式识别 不同缺陷的检测准确率均高于 90% 且缺陷面积误差低于 20%. 易受噪声影响、分类简单、难以区分附着物与真实缺陷、缺陷深度难检测 [21] 形态学、阈值分割 病害图像漏检率 0%，正常图像漏检率 22.22%，有效实现缺陷形状表征 正常图像误判率较高，分类效果简单 [22] 大津法 阈值分割 图像缺陷识别精确度达到 90%以上 检测效果单一 [29] Sobel 边缘检测、阈值分割 检测出面积大于 10−4 m2 的斜拉索缺陷，且检测速度为 0.025 m/s 适用性较低，微小缺陷难识别 [24] 基于 Sobel 的边缘检测算法 有效地检测出面积大于 10−4 m2 的缺陷，检测效率达 0.05 m/s 微小缺陷难检测 [25] 基于 Scharr 的边缘检测算法 检测结果达到 96.6% 的准确率和 0.6% 的漏检率 存在对易错检的磨损干扰等图像的误判，造成准确率低的问题 [30] PCA 有效检测出病害的大小和位置 需大量高质量训练图像，不能适应复杂检测环境 [36] 改进 SVM 有效识别纵向开裂、横向开裂、表面腐蚀和凹坑4 种缺陷，分类准确率高达 96.25% 存在缺陷不能完整识别现象、缺陷类别识别不全 [37] 阈值分割、PCA、SVM 实时性较好，满足拉索缺陷检测需求 采用模拟样本、可信度不足且样本数量不足 [45] 集成学习、图像分类 实现缺陷图像精准分类，准确率高达 97.83% 集成 3 个分类网络、推理速度较低造成检测效率不高 [50] Faster R-CNN 该模型检测准确率超过 99%，检测速度相较与传统检测技术提高 300% 训练图像单一、不能达到实时检测 [55] 改进 YOLOv3 mAP 指标为 93.7%，FPS 指标达 17 帧/s，满足实时检测要求 检测精度低于双阶段检测模型 [56] YOLOv3、TensorRT 检测准确率超过 80% 且检测一张图像仅需 0.012 s 高速的检测速度造成检测精度下降 [57] YOLOv5 能够准确识别斜拉索表观病害，解决人工检测中高成本与风险、低效率、低精度等问题 精度有待提高 [66] Mask R-CNN 一定程度上解决识别精度低、效率低等问题 实时性仍旧不足 [67] 改进 Cascade Mask R-CNN 通过实验对比，评估中获得了最佳 IoU 为 0.743，F1 得分 85.1%，准确度高达 99.6%，总平均像素长度误差为 6.1%，总平均像素宽度误差为 7.3% FPS 仅为 7.8 帧/s，较低
下载: 导出CSV
-
[1] 《中国公路学报》编辑部. 中国桥梁工程学术研究综述•2021[J]. 中国公路学报,2021,34(2): 1-97. doi: 10.3969/j.issn.1001-7372.2021.02.002Editorial Department of China Journal of Highway and Transport. Review on China’s bridge engineering research: 2021[J]. China Journal of Highway and Transport, 2021, 34(2): 1-97. doi: 10.3969/j.issn.1001-7372.2021.02.002 [2] 苑仁安,张明金,郑清刚,等. 超大跨斜拉桥横桥向恒载非对称力学行为[J]. 西南交通大学学报,2023,58(3): 527-534. doi: 10.3969/j.issn.0258-2724.20210279YUAN Renan, ZHANG Mingjin, ZHENG Qinggang, et al. Mechanical characteristics of super-long-span cable-stayed bridge with transverse asymmetrical load[J]. Journal of Southwest Jiaotong University, 2023, 58(3): 527-534. doi: 10.3969/j.issn.0258-2724.20210279 [3] LIU S W, SUN Y H, JIANG X Y, et al. A review of wire rope detection methods, sensors and signal processing techniques[J]. Journal of Nondestructive Evaluation, 2020, 39: 1-18. doi: 10.1007/s10921-019-0643-0 [4] 钱骥,孙利民,蒋永. 桥梁拉索损伤声发射监测研究进展[J]. 应用声学,2016,35(4): 369-376.QIAN Ji, SUN Limin, JIANG Yong. Advances in acoustic emission technique to cables health monitoring[J]. Journal of Applied Acoustics, 2016, 35(4): 369-376. [5] 中华人民共和国交通运输部. 在用公路桥梁现场检测技术规程:JTG/T 5214—2022[S]. 北京:人民交通出版社,2022. [6] 刘倩倩,徐程,韩勇涛,等. 一种用于斜拉桥拉索套管的喷涂装置:CN211051767U[P]. 2020-07-21. [7] WANG Z P, HE B, ZHOU Y M, et al. Design and implementation of a cable inspection robot for cable-stayed bridges[J]. Robotica, 2021: 1-17. [8] LI J, YIN C Y, SHI Y D, et al. Circumferentially rotatable inspection robot with elastic suspensions for bridge cables[J]. Industrial Robot: the International Journal of Robotics Research and Application, 2022, 49(5): 981-993. doi: 10.1108/IR-11-2021-0261 [9] 马晔,邹露鹏,张理轻. 无人机加载光学摄像及红外成像系统对海上特大桥塔索质量检测的运用技术[J]. 公路交通科技,2018,35(8): 89-93,105.MA Ye, ZOU Lupeng, ZHANG Liqing. Application technology of UAV equipped with optical camera and digital infrared imagery in inspecting quality of pylon and stay cable of sea-crossing bridge[J]. Journal of Highway and Transportation Research and Development, 2018, 35(8): 89-93,105. [10] 杨传礼,张修庆. 基于机器视觉和深度学习的材料缺陷检测应用综述[J]. 材料导报,2022,36(16): 226-234.YANG Chuanli, ZHANG Xiuqing. Survey of applications of material defect detection based on machine vision and deep learning[J]. Materials Reports, 2022, 36(16): 226-234. [11] 赵朗月,吴一全. 基于机器视觉的表面缺陷检测方法研究进展[J]. 仪器仪表学报,2022,43(1): 198-219.ZHAO Langyue, WU Yiquan. Research progress of surface defect detection methods based on machine vision[J]. Chinese Journal of Scientific Instrument, 2022, 43(1): 198-219. [12] 黄梦涛,连一鑫. 基于改进Canny算子的锂电池极片表面缺陷检测[J]. 仪器仪表学报,2021,42(10): 199-209.HUANG Mengtao, LIAN Yixin. Lithium battery electrode plate surface defect detection based on improved Canny operator[J]. Chinese Journal of Scientific Instrument, 2021, 42(10): 199-209. [13] DHIVYA, M, RENUKA D M. Detection of structural defects in fabric parts using a novel edge detection method[J]. The Computer Journal, 2019, 62(7): 1036-1043. doi: 10.1093/comjnl/bxy121 [14] WANG S, LIU X Q, YANG T F, et al. Panoramic crack detection for steel beam based on structured random forests[J]. IEEE Access, 2018, 6: 16432-16444. doi: 10.1109/ACCESS.2018.2812141 [15] SINGH, S A, DESAI K A. Automated surface defect detection framework using machine vision and convolutional neural networks[J]. Journal of Intelligent Manufacturing, 2023, 34(4): 1995-2011. doi: 10.1007/s10845-021-01878-w [16] 郭继昌,岳惠惠,张怡,等. 图像增强对显著性目标检测的影响研究[J]. 中国图象图形学报,2022,27(7): 2129-2147. doi: 10.11834/j.issn.1006-8961.2022.7.zgtxtxxb-a202207005GUO Jichang, YUE Huihui, ZHANG Yi, et al. The analysis of image enhancement on salient object detection[J]. Journal of Image and Graphics, 2022, 27(7): 2129-2147. doi: 10.11834/j.issn.1006-8961.2022.7.zgtxtxxb-a202207005 [17] 王田,邹子龙,乔美娜. 基于图像特征分析的物体轮廓提取[J]. 北京航空航天大学学报,2016,42(8): 1762-1768.WANG Tian, ZOU Zilong, QIAO Meina. Object contour extraction based on image feature analysis[J]. Journal of Beijing University of Aeronautics and Astronautics, 2016, 42(8): 1762-1768. [18] 刘朝涛,杜子学,武维,等. 基于图像处理的桥梁缆索检测系统研制[J]. 重庆交通大学学报(自然科学版),2014,33(2): 5-9.LIU Chaotao, DU Zixue, WU Wei, et al. Development of cable inspection system based on image processing[J]. Journal of Chongqing Jiaotong University (Natural Science), 2014, 33(2): 5-9. [19] 蔡步文. 基于图像处理的斜拉桥缆索表面缺陷检测的研究[D]. 重庆:重庆大学,2010. [20] 王建林,潘建平. 一种桥梁拉索表面缺陷图像的背景分割方法研究[J]. 测绘工程,2018,27(7): 24-29.WANG Jianlin, PAN Jianping. A method of background segmentation for surface defect of bridge cables[J]. Engineering of Surveying and Mapping, 2018, 27(7): 24-29. [21] 阳振宇. 基于MATLAB的桥梁拉索表面缺陷视频检测[D]. 重庆:重庆交通大学,2019. [22] CHEN J N, WANG H, TU C L, et al. Surface defect detection of cable based on threshold image difference[C]//2021 IEEE Far East NDT New Technology & Application Forum (FENDT). Kunming: IEEE, 2022: 185-190. [23] 高潮,任可,郭永彩,等. 基于DSP和图像识别的拉索表面缺陷检测技术[J]. 重庆大学学报(自然科学版),2007,30(9): 36-38.GAO Chao, REN Ke, GUO Yongcai, et al. Detecting technology of cabel surface defect based on DSP and image recognition[J]. Journal of Chongqing University (Natural Science Edition), 2007, 30(9): 36-38. [24] 李新科,高潮,郭永彩,等. 桥梁拉索表面缺陷的分布式机器视觉检测[J]. 光学技术,2013,39(5): 424-428.LI Xinke, GAO Chao, GUO Yongcai, et al. The inspection method based on distributed machine vision for surface defects of bridge cables[J]. Optical Technique, 2013, 39(5): 424-428. [25] 刘淑敏. 基于机器视觉的桥梁裂纹检测算法研究[D]. 重庆:重庆大学,2019. [26] LIU X M, TIAN H, WANG Y, et al. Research on image segmentation algorithm and performance of power insulator based on adaptive region growing[J]. Journal of Electrical Engineering & Technology, 2022, 17(6): 3601-3612. [27] 蔡步文,周忆,申超. 斜拉桥缆索表面缺陷提取方法研究[J]. 微计算机信息,2010,26(32): 188-190.CAI Buwen, ZHOU Yi, SHEN Chao. Crack detection algorithm design for cable’s protective layer surface on cable-stayed bridge[J]. Microcomputer Information, 2010, 26(32): 188-190. [28] LI L Y, HAO P F. Steel plate corrugation defect intelligent detection method based on picture cropping and region growing algorithm[C]//2019 14th IEEE Conference on Industrial Electronics and Applications (ICIEA). Xi’an: IEEE, 2019: 587-590. [29] ZOU G F, LI T T, LI G Y, et al. A visual detection method of tile surface defects based on spatial-frequency domain image enhancement and region growing[C]//2019 Chinese Automation Congress (CAC). Hangzhou: IEEE, 2020: 1631-1636. [30] HO H N, KIM K D, PARK Y S, et al. An efficient image-based damage detection for cable surface in cable-stayed bridges[J]. NDT & E International, 2013, 58: 18-23. [31] 周兆逸,张亚南,王肖锋,等. 基于改正二维主成分分析的焊缝表面缺陷检测[J]. 焊接学报,2021,42(11): 70-76,101.ZHOU Zhaoyi, ZHANG Yanan, WANG Xiaofeng, et al. Weld surface defect detection based on improved twodimensional principal component analysis[J]. Transactions of the China Welding Institution, 2021, 42(11): 70-76,101. [32] 王欣,高炜欣,王征,等. 基于并行计算的PCA在缺陷检测中的应用[J]. 计算机工程与设计,2016,37(10): 2810-2815,2850.WANG Xin, GAO Weixin, WANG Zheng, et al. Application of PCA in defect detection based on parallel computing[J]. Computer Engineering and Design, 2016, 37(10): 2810-2815,2850. [33] ZHOU Y H, MA Z X, SHI X W, et al. An adaptive clustering method detecting the surface defects on linear guide rails[J]. International Journal of Computer Integrated Manufacturing, 2019, 32(8): 798-808. doi: 10.1080/0951192X.2019.1636409 [34] LI X G, ZHU J A, SHI H R, et al. Surface defect detection of seals based on K-means clustering algorithm and particle swarm optimization[J]. Scientific Programming, 2021(1): 3965247.1-3965247.12. [35] YANG H, CHEN Y F, SONG K Y, et al. Multiscale feature-clustering-based fully convolutional autoencoder for fast accurate visual inspection of texture surface defects[J]. IEEE Transactions on Automation Science and Engineering, 2019, 16(3): 1450-1467. doi: 10.1109/TASE.2018.2886031 [36] LI X K, GUO Y C, LI Y M. Particle swarm optimization-based SVM for classification of cable surface defects of the cable-stayed bridges[J]. IEEE Access, 2019, 8: 44485-44492. [37] 李鑫. 桥梁拉索护套表面缺陷视觉检测及智能识别研究[D]. 长沙:湖南大学,2019. [38] ZHANG K B, YAN Y D, LI P F, et al. Fabric defect detection using salience metric for color dissimilarity and positional aggregation[J]. IEEE Access, 2018, 6: 49170-49181. doi: 10.1109/ACCESS.2018.2868059 [39] CHANG Z Y, CAO J, ZHANG Y Z. A novel image segmentation approach for wood plate surface defect classification through convex optimization[J]. Journal of Forestry Research, 2018, 29(6): 1789-1795. doi: 10.1007/s11676-017-0572-7 [40] JAWAHAR M, CHANDRA BABU N K, VANI K, et al. Vision based inspection system for leather surface defect detection using fast convergence particle swarm optimization ensemble classifier approach[J]. Multimedia Tools and Applications, 2021, 80(3): 4203-4235. doi: 10.1007/s11042-020-09727-3 [41] 夏毅敏,李清友,邓朝辉,等. 基于轻量级模型的隧道岩性快速识别方法[J]. 西南交通大学学报,2021,56(2): 420-427.XIA Yimin, LI Qingyou, DENG Chaohui, et al. Rapid identification method for lithology of tunnel based on lightweight model[J]. Journal of Southwest Jiaotong University, 2021, 56(2): 420-427. [42] 范新南,汪杰,史朋飞,等. 基于头脑风暴优化的PCNN路面裂缝分割算法[J]. 西南交通大学学报,2021,56(3): 572-578.FAN Xinnan, WANG Jie, SHI Pengfei, et al. Pavement crack segmentation algorithm based on pulse coupled neural network with brainstorming optimization[J]. Journal of Southwest Jiaotong University, 2021, 56(3): 572-578. [43] THAKUR M, PILLAI S K. A review on various methods for classification of massive noisy image[C]//2019 International Conference on Intelligent Sustainable Systems (ICISS). Palladam: IEEE, 2019: 525-528. [44] HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016: 770-778. [45] 董斌. 斜拉桥拉索外套表观病害与索力时变识别方法研究[D]. 南京:东南大学,2020. [46] JIANG X Z, WANG X F, CHEN D F. Research on defect detection of castings based on deep residual network[C]//2018 11th International Congress on Image and Signal Processing, BioMedical Engineering and Informatics (CISP-BMEI). Beijing: IEEE, 2019: 1-6. [47] CHEN X Y, WANG D Y, SHAO J J, et al. Plastic gasket defect detection based on transfer learning[J]. Scientific Programming, 2021(1): 5990020.1-5990020.11. [48] 王耀东,朱力强,余祖俊,等. 基于样本自动标注的隧道裂缝病害智能识别研究[J]. 西南交通大学学报,2023,58(5):1-8.WANG Yaodong, ZHU Liqiang, YU Zhujun, et al. Research of tunnel cracks recognition based on automatic sample labeling[J]. Journal of Southwest Jiaotong University,2023,58(5):1-8. [49] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. doi: 10.1109/TPAMI.2016.2577031 [50] 余朝阳. 斜拉索检测机器人的智能表观检测研究[J]. 公路交通技术,2020,36(2): 86-92.YU Chaoyang. Research on intelligent apperance algorithm of stay cable detection robot[J]. Technology of Highway and Transport, 2020, 36(2): 86-92. [51] 晏班夫,徐观亚,栾健,等. 基于Faster R-CNN与形态法的路面病害识别[J]. 中国公路学报,2021,34(9): 181-193. doi: 10.3969/j.issn.1001-7372.2021.09.015YAN Banfu, XU Guanya, LUAN Jian, et al. Pavement distress detection based on faster R-CNN and morphological operations[J]. China Journal of Highway and Transport, 2021, 34(9): 181-193. doi: 10.3969/j.issn.1001-7372.2021.09.015 [52] 李东洁,李若昊. 基于改进Faster RCNN的马克杯缺陷检测方法[J]. 激光与光电子学进展,2020,57(4): 353-360.LI Dongjie, LI Ruohao. Mug defect detection method based on improved faster RCNN[J]. Laser & Optoelectronics Progress, 2020, 57(4): 353-360. [53] LI L, JIANG Z J, LI Y N. Surface defect detection algorithm of aluminum based on improved faster RCNN[C]//2021 IEEE 9th International Conference on Information, Communication and Networks (ICICN). Xi’an: IEEE, 2022: 527-531. [54] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016: 779-788. [55] 李运堂,谢梦鸣,王鹏峰,等. 基于改进YOLOV3算法的斜拉桥拉索表面缺陷检测方法[J]. 传感技术学报,2021,34(11): 1509-1517. doi: 10.3969/j.issn.1004-1699.2021.11.014LI Yuntang, XIE Mengming, WANG Pengfeng, et al. Defects inspection method for cable surface of cable-stayed bridge based on improved YOLOV3 algorithm[J]. Chinese Journal of Sensors and Actuators, 2021, 34(11): 1509-1517. doi: 10.3969/j.issn.1004-1699.2021.11.014 [56] 张可惠. 桥梁斜拉索表观缺陷视觉检测系统研究[D]. 长沙:湖南大学,2021. [57] 周朗明,万智,胡帅花,等. 一种斜拉桥缆索表面多类型病害智能检测和识别方法:CN113313107A[P]. 2021-08-27. [58] LI J Y, SU Z F, GENG J H, et al. Real-time detection of steel strip surface defects based on improved YOLO detection network[J]. IFAC-PapersOnLine, 2018, 51(21): 76-81. doi: 10.1016/j.ifacol.2018.09.412 [59] CHEN Y B, FU Q S, WANG G T. Surface defect detection of nonburr cylinder liner based on improved YOLOv4[J]. Mobile Information Systems, 2021, 2021: 1-13. [60] RONNEBERGER O, FISCHER P, BROX T. U-net: convolutional networks for biomedical image segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer, 2015: 234-241. [61] QIAN K. Automated detection of steel defects via machine learning based on real-time semantic segmentation[C]//Proceedings of the 3rd International Conference on Video and Image Processing. Shanghai: ACM, 2019: 42-46. [62] 李忠海,白秋阳,王富明,等. 基于语义分割的钢轨表面缺陷实时检测系统[J]. 计算机工程与应用,2021,57(12): 248-256. doi: 10.3778/j.issn.1002-8331.2004-0101LI Zhonghai, BAI Qiuyang, WANG Fuming, et al. Real-time detection system of rail surface defects based on semantic segmentation[J]. Computer Engineering and Applications, 2021, 57(12): 248-256. doi: 10.3778/j.issn.1002-8331.2004-0101 [63] LIANG Z C, ZHANG H, LIU L, et al. Defect detection of rail surface with deep convolutional neural networks[C]//2018 13th World Congress on Intelligent Control and Automation (WCICA). Changsha: IEEE, 2019: 1317-1322. [64] TANG C W, FENG X X, WEN H T, et al. Semantic segmentation network for surface defect detection of automobile wheel hub fusing high-resolution feature and multi-scale feature[J]. Applied Sciences, 2021, 11(22): 10508.1-10508.20. doi: 10.3390/app112210508 [65] HE K M, GKIOXARI G, DOLLÁR P, et al. Mask R-CNN[C]//2017 IEEE International Conference on Computer Vision (ICCV). Venice: IEEE, 2017: 2980-2988. [66] 王兴松,李杰,田梦倩. 基于深度学习的桥梁拉索表面缺陷实时识别系统及方法:CN112101138A[P]. 2020-12-18. [67] HOU S T, DONG B, WANG H C, et al. Inspection of surface defects on stay cables using a robot and transfer learning[J]. Automation in Construction, 2020, 119: 103382.1-103382.14. doi: 10.1016/j.autcon.2020.103382 [68] 余加勇,李锋,薛现凯,等. 基于无人机及Mask R-CNN的桥梁结构裂缝智能识别[J]. 中国公路学报,2021,34(12): 80-90. doi: 10.3969/j.issn.1001-7372.2021.12.007YU Jiayong, LI Feng, XUE Xiankai, et al. Intelligent identification of bridge structural cracks based on unmanned aerial vehicle and mask R-CNN[J]. China Journal of Highway and Transport, 2021, 34(12): 80-90. doi: 10.3969/j.issn.1001-7372.2021.12.007 [69] CHEN W Y, TSAO Y R, LAI J Y, et al. Real-time instance segmentation of metal screw defects based on deep learning approach[J]. Measurement Science Review, 2022, 22(3): 107-111. doi: 10.2478/msr-2022-0014 [70] ZHANG G W, PAN Y, ZHANG L M. Semi-supervised learning with GAN for automatic defect detection from images[J]. Automation in Construction, 2021, 128: 103764.1-103764.14. doi: 10.1016/j.autcon.2021.103764 [71] ZHAO Z X, LI B, DONG R, et al. A surface defect detection method based on positive samples[C]//Pacific Rim International Conference on Artificial Intelligence. Cham: Springer, 2018: 473-481. [72] PENG Z R, GONG X Y, WEI B G, et al. Automatic unsupervised fabric defect detection based on self-feature comparison[J]. Electronics, 2021, 10(21): 2652.1-2652.12. doi: 10.3390/electronics10212652 [73] MATUSZCZYK, D, TSCHORN N, WEICHERT F. Deep learning based synthetic image generation for defect detection in additive manufacturing industrial environments[C]//2022 7th International Conference on Mechanical Engineering and Robotics Research (ICMERR). Krakow: IEEE, 2022: 209-218. [74] YUN J P, SHIN W C, KOO G, et al. Automated defect inspection system for metal surfaces based on deep learning and data augmentation[J]. Journal of Manufacturing Systems, 2020, 55: 317-324. doi: 10.1016/j.jmsy.2020.03.009 -
下载:
下载:
点击查看大图
计量
- 文章访问数: 421
- HTML全文浏览量: 125
- PDF下载量: 99
- 被引次数: 0