中国癌症的发病率和死亡率位居世界第一，其中女性乳腺癌的发病率最高，死亡率位居第二^[1]. 临床医学中，尽早发现乳腺癌是降低患者死亡率的关键. 因此，早期的准确诊断至关重要. 由于乳腺超声检查具有便捷、无创、可重复等优势，既能在术前评估乳腺结节的良恶性，又能为愈后的判断提供参考，超声检查已成为乳腺肿瘤诊断的常用方法.

然而超声医师对乳腺超声图像判别严重依赖经验，易造成漏诊和误诊. 利用计算机辅助诊断系统能够为医生提供协助，使结果更具客观性^[2]. 乳腺超声肿瘤诊断的关键因素是特征提取，包括形状特征和纹理特征. 龚勋等^[3]总结了提取这些特征的多种方法，包括手工设计特征和深度学习方法.

手工设计特征主要包含形态特征和纹理特征，如粗糙度、圆形度、纵横比、紧密度等. Lo等^[4]通过提取乳腺结节的形态特征，如结节边缘距离的均值和标准差、结节周长、病灶区面积和纵横比等，并采用模糊C均值聚类方法对特征属性进行优化. Flores等^[5]使用互信息和统计学方式测试两类特征的不同组合方式对乳腺结节分类性能的影响. 任丽等^[6]提出一种新的边界特征提取方法，利用边界特征、形状特征和纹理特征构建线性支持向量机（support vector machine, SVM）分类器；为更准确地分类乳腺结节的良恶性，该方法分别设计了纹理特征和形态特征的分类器，并将2个分类器的分类分数进行加权融合，得到最后的分类结果.

深度学习在图像识别领域能够自动提取特征. Spanhol等^[7]采用AlexNet网络提取图像块的方式训练网络，并将这些块的组合用于分类，相较于传统机器学习算法，准确率提高了6%. Wei等^[8]提出基于深度卷积神经网络（convolutional neural network，CNN）的新型乳腺癌组织病理学图像分类方法，将类与子类的乳腺癌标签作为先验知识以构建乳腺图像的二分类模型. Xie等^[9]结合卷积网络和残差网络提出双采样CNN，有效缓解了梯度消失和退化问题. Cao等^[10]根据公开数据集，首先使用多种 CNN框架定位乳腺结节区域，再利用CNN模型对乳腺结节进行分类. 孔小函等^[11]提出基于CNN和多信息融合的三维乳腺超声分类方法，验证了多信息融合的模型效果更佳. 迟剑宁等^[12]结合深度学习与手工纹理特征，利用代价敏感随机森林实现了甲状腺超声图像的良恶性分类. 杜章锦等^[13]针对乳腺超声图像良、恶性结节表现不同，设计了易混淆困难样本分类方法. 由于乳腺超声图像类间差异小，获取更具分辨力的特征信息难度大，Du等^[14]在细粒度图像分类中提出渐进式训练策略，在每个训练步骤中添加新层，基于后阶段和前一阶段较小粒度的信息来寻找最具辨别力的粒度信息.

在实际临床诊断中，医生更重视肿瘤的形态及轮廓特征. 乳腺良性肿瘤通常具有规则的形态和清晰的边界，而恶性肿瘤结节往往呈不规则形状，边缘模糊（如毛刺状或蟹足样）^[15]. 尽管目前CNN主要使用高层特征进行良、恶性判别，但能够判断结节良、恶性的形状特征在网络底层更为显著. 鉴于乳腺超声图像具有类内差异大、类间差异小以及结节形状复杂多变等特点，本文提出一种形状特征重校准的乳腺超声图像算法.

1.   形态特征重校准方法

1.1   渐进训练

为使网络先学习图像分布的总体结构，再将注意力转移到更细粒度的尺度细节上，本文采用渐进式训练方法，如图1所示. 图中：N为块尺度大小，L_sj为模型第j阶段的损失函数，L_s为低尺度形状重校准损失函数，L_adv为对抗损失函数. 首先进行网络低阶段训练，然后逐渐添加新的训练阶段，算法描述如图2所示.

图  1  分区打乱和重校准网络结构

Figure  1.  Partition shuffle and recalibration network structure

下载: 全尺寸图片 幻灯片

图  2  渐进训练算法

Figure  2.  Progressive training algorithm

下载: 全尺寸图片 幻灯片

由于网络低阶段学习能力有限，主干网络被迫先学习图像局部细节（如边缘和纹理）的判别信息. 第$j$阶段分类器的损失值为

式中：${p}_{i}$为第$i$个样本预测为正的概率， ${x}_{i}$为第i个样本的正确标签.

1.2   跨粒度学习和分区打乱机制

由于乳腺超声图像类间差异小，类内差异大，一般的网络模型容易在对类内差异较大的样本进行分类时出现错误. Du等^[14]提出的跨粒度学习能够有效避免大的类内变化影响，使网络不仅能够识别图片的每个部分，还关注其中更具有辨别力的区域. 据此，本文引入跨粒度学习，限制每个训练阶段网络学习区域的粒度. 在每个训练阶段，将输入图像分成大小$n\times n$的小块，为确保图像块被等分，第$j$阶段的区域大小为

式中：$H$为输入图像的高.

虽然网络在每个训练阶段对输入图像进行了粒度划分，但全局结构并未改变，未有效提升网络的识别能力. 在自然语言处理中，Lample等^[16]使用打乱机制让神经网络专注于判别词. 然而，由于乳腺超声图像和自然图像存在较大差异，随机打乱会严重破坏乳腺结节区域. 因此，本文提出分区打乱机制，既能保留局部细节并迫使网络专注于有辨别力的区域，又最大程度降低对结节区域的影响. 首先，通过超声图像对应mask图像（如图3所示），确定乳腺病灶区位于图像的哪些块区域，区分含有病灶的区域块$L$与图像背景区域块$B$，如图4所示，每个阶段的图像被划分为$n\times n$个子区域，$L$区被划分为$r$块（$L=\{ {{l}_{1}},{{l}_{2}}, \cdots ,{{l}_{r-1}},{{l}_{r}} \}$）， $B$区被划分为$m$块（$B=\{{b}_{1}, {b}_{2}, \cdots , {b}_{m-1}, {b}_{m}\}$）. 将$L$和$B$集合中的块分别随机打乱，并重新进行组合.

图  3  乳腺超声图像和对应mask图像

Figure  3.  Breast ultrasound image and corresponding mask image

下载: 全尺寸图片 幻灯片

图  4  分区打乱机制过程

Figure  4.  Process of partition shuffle mechanism

下载: 全尺寸图片 幻灯片

1.3   低尺度重校准损失

在每个训练阶段，虽然通过特定方式对图像进行打乱有助于网络利用空间关系，但肿瘤结节的形状特征可能会受到破坏. 在特征提取过程中，网络低层能够提取图像的形状特征，而网络高层提取到的特征更为抽象，具有较强的语义信息. 图5为主干网络Layer1和Layer4特征的可视化结果. 尽管已经提出了许多表示肿瘤结节形状的特征，但这些手工提取的特征不一定适用于本文的网络结构. 经调研后，本文采用杜章锦等^[13]提出的形状描述符（凹凸性、纵横比、紧密度、圆形度、椭圆度）作为形状特征. 在训练的第1阶段，通过结节mask图像获取形状特征，引入低尺度形状重校准损失函数${L}_{{\rm{s}}}$，如式（3）所示，使用这些形状特征对模型提取特征进行约束，可部分弥补由于打乱输入图像而导致的形状特征损失.

图  5  高、低层特征可视化效果

Figure  5.  Visualization of high- and low-layer features

下载: 全尺寸图片 幻灯片

式中：${y}_{i}$为第$i$个样本的形状特征，${y}_{i,{\mathrm{f}}}$为样本的预测值.

乳腺超声图像打乱可能引入一定的噪声，这些噪声可能降低最终的分类效果. 考虑到原始图像和打乱后的图像属于2个不同的域，本文在网络训练的最后一个阶段引入Chen等^[17]提出的对抗损失函数${L}_{{\mathrm{adv}}}$，如式（4）所示. 该损失函数具有以下优点：1） 保持2种输入图像各自域的不变性；2） 防止网络最终只学习到2种图像域之间的特定模式.

式中：${I}_{1}$和${I}_{2}$分别为原始图像和打乱后图像；$d$表示图像是否被打乱的属性，$d$=1为图像已被打乱，d=0为图像未被打乱；D(·)为输入图像的最终特征.

1.4   特征融合

通过有效融合不同层次的特征，可以提高特征的多样性，从而获得更高的分类准确率. 在图1中第3阶段将各个层次的特征进行融合，融合后的特征为

式中：f₁～f₄分别为Layer1～Layer4的特征，$C$(•)为融合特征函数.

网络模型使用融合后的特征进行良、恶性分类，模型总体损失函数为

式中：${L}_{\mathrm{cla}}$=L_stage+L_adv，${L}_{{\mathrm{stage}}}$为每个训练阶段分类损失函数.

2.   实验及分析

2.1   实验数据

本文使用的数据共有1550个样本，其中包括1067例良性数据和483例恶性数据，为方便后续引用，将其命名为低尺度重校准数据集（low-scale recalibration database, LSRD）. LSRD中的样本均来自四川省某医院超声科，超声图像的病理标签（良性和恶性）以及结节位置均由专业医师标注，确保了实验样本的可靠性. 由于乳腺超声图像的特殊性，常规的数据增强方法（例如旋转、位移等）并不适用. 本文采用水平翻转和比例不变的缩放方法进行医学数据扩增，将图像缩放至224 × 224的维度，并作为网络的输入，然后按照7∶3的比例将训练数据和测试数据进行划分. 除了本文的私有数据集外，模型还在公开的乳腺超声图像 （breast ultrasound image）数据集BUSI^[18]上进行了实验.

本文设计了以下实验以验证所提模型的有效性. 首先，选择最适合于超声图像特征提取的主干网络；其次，验证分区打乱机制和重校准模块的有效性；最后，验证低尺度重校准损失函数和特征融合对模型分类准确率的影响.

在评估分类结果时，采用医学评价中常用的指标，包括准确率P_ACC、敏感性P_SENS、特异性P_SPEC、ROC （receiver operator characteristic curve）曲线下与坐标围成的面积 （area under curve，AUC）、F₁分数. 这些指标代表模型对正负样本的区分能力，分数越高，模型越稳健.

式中：N_TP、N_TN、N_FP和N_FN分别为分类得到的真阳性、真阴性、假阳性和假阴性的数目.

2.2   主干网络选择

选择合适的主干网络对于提取超声图像的形状、纹理等外观特征至关重要. 传统的预训练模型多使用ImageNet数据集，然而，自然图像与超声图像之间存在巨大差异， ImageNet数据并不适用于超声图像模型的预训练. 因此，本文使用LSRD数据集训练，选择经典的VGG （Oxford visual geometry group）网络^[19]与ResNet网络^[20]进行实验，以选取针对超声图像特征提取能力最强的网络.

每个实验模型共训练100个epoch，批大小为4，使用Adam优化器，初次学习率为0.01，每5个批次下降0.001，均在NVIDIA GeForce GTX 1070Ti显卡上完成. 采用分类精度和F₁分数作为衡量指标. 实验结果如表1所示，加粗字体为每列最优值，余表同.

表  1  不同主干网络分类精度对比

Table  1.  Comparison of classification accuracy for different backbone networks %

网络模型	训练集			测试集
	精度	F1 分数		精度	F1 分数
ResNet18	83.5	82.0		82.3	81.7
ResNet34	85.6	84.9		84.8	82.3
ResNet50	90.8	87.6		81.2	76.3
VGG-16	80.9	79.8		80.6	79.6
VGG-19	82.5	81.6		80.0	79.5

下载: 导出CSV 

| 显示表格

从表1可以发现，ResNet系列网络精度总体高于VGG网络，ResNet系列网络采用残差机制能够使网络加深的同时有效防止梯度消失. 虽然网络越深越能够获得更高的特征提取能力，但是过深可能导致网络参数过多，进而引发过拟合问题. ResNet网络虽然越深精度越高，ResNet50在训练集上甚至达到90.8%的准确率，但在测试集上准确率为81.2%，与训练集相差9.6%，显示出严重的过拟合现象. 综合考虑实验结果和实际情况，本文选用ResNet34网络作为主干网络，该网络在获得高特征提取能力的同时，有效避免了过拟合问题，且参数量相对较小，提高了网络的运行速度，进一步提升模型的效率.

2.3   分区打乱

为验证分区打乱机制中分块尺度对分类结果的影响，本文在第1训练阶段设置不同的块尺度大小进行实验，实验结果如表2所示.

表  2  分块尺度对比实验

Table  2.  Comparison experiments of partition scales %

块尺度 大小/块	训练集			训练集
	精度	F1 分数		精度	F1 分数
16	83.1	82.9		82.8	82.3
8	84.2	83.9		83.2	82.5
4	89.6	89.3		88.3	87.7
2	86.1	85.7		85.3	85.1

下载: 导出CSV 

| 显示表格

由表2可见：当块尺度较小时，超声图像结节破坏严重，导致分类结果不增反降；块尺度过大时，分类精度提升较小；当块尺度为4时，获取最佳结果.

图像打乱机制加强了空间上的关联性，鉴于乳腺超声图像的特殊性，本文提出分区打乱机制. 为验证其有效性，设计了对比实验，结果如表3所示.

表  3  图像打乱对比实验

Table  3.  Comparison experiments of shuffled images %

打乱方法	训练集			测试集
	精度	F1 分数		精度	F1 分数
未打乱	85.6	84.9		84.8	82.3
随机打乱	88.2	87.9		87.2	86.5
分区打乱	89.6	89.3		88.3	87.7

下载: 导出CSV 

| 显示表格

由表3可见，与未打乱情况下相比，图像在随机打乱的情况下测试集准确率提高2.4%，而分区打乱机制更适用于乳腺超声数据，其测试集精度最高，达到88.3%.

2.4   重校准损失函数

乳腺结节的良恶性表现存在明显差异，而主干网络的形状特征提取能力直接影响乳腺诊断的准确率. 鉴于主干网络能够提取结节的形状特征，并且在不同阶段提取的形状特征存在较大差异. 为验证低尺度重校准方法的有效性，本文在主干网络的各个层次进行形状特征重校准实验. 每个实验均采用均方误差（MSE）损失函数，实验结果如图6所示. 图中，Layer0表示不使用重校准方法. 从图中可以发现，选择主干网络中较高层次进行形状特征重校准，获得的准确率较低，在Layer1取得了最高的准确率，达到91.3%.

图  6  不同层次形状特征重校准对比

Figure  6.  Comparison of morphological feature recalibration at different layers

下载: 全尺寸图片 幻灯片

重校准本质是一个回归问题，让网络提取的特征更加接近真实特征，不同的回归损失函数对分类准确率有较大影响. 在主干网络Layer1重校准的基础上，本文对比了4种常用的回归损失函数，包括双曲余弦的对数（Log-Cosh）、平均绝对误差（MAE）、平滑平均绝对误差（SMAE）和MSE，实验结果如表4所示.

表  4  重校准损失函数对分类精度的影响

Table  4.  Influence of recalibration loss function on classification accuracy %

损失函数	训练集			测试集
	精度	F1 分数		精度	F1 分数
Log-Cosh	91.7	91.6		90.3	90.8
MAE	88.3	88.5		86.1	86.7
SMAE	89.3	89.1		90.6	90.2
MSE	93.8	92.5		91.3	91.7

下载: 导出CSV 

| 显示表格

由表4可见：在主干网络Layer1进行重校准时，使用MSE损失函数，测试集精度最高，为91.3%；MAE损失函数只对误差的平均模长进行预测，未将方向考虑在内；SMAE损失函数超参数的选择是影响其分类精度的主要原因之一；Log-Cosh损失函数对于出现预测值与目标值相差过大的情况，会影响整个网络的梯度. 所以，本文最终选择MSE损失函数作为式（6）中的重校准损失函数${L}_{{\mathrm{s}}}$.

如表5所示，重校准损失函数和分类损失函数的权重都为1.00时结果最佳；在损失函数权重都为0.50时，由于总体损失降低，网络反向传播进行优化时权重变化较小，无法得到最佳分类结果.

表  5  重校准损失函数和分类损失函数的权重对分类精度的影响

Table  5.  Influence of weights of recalibration loss function and classification loss function on classification accuracy %

损失函数权重			训练集			测试集
Ls	Lcla		精度	F1 分数		精度	F1 分数
1.00	1.00		93.8	92.5		91.3	91.7
0.25	0.75		90.3	89.7		89.3	88.3
0.50	0.50		91.5	90.8		90.6	90.2
0.75	0.25		92.3	91.2		90.8	90.5

下载: 导出CSV 

| 显示表格

2.5   特征融合

对式（5）中$C$(•)取不同方法的实验结果如表6所示. 表中，Max为最大值融合，Sum为和融合，Conv为卷积融合. 可以看出，Max和Sum融合效果相对较差，因为这2种方法只是在像素级别上对底层和高层特征进行取舍，没有考虑到他们之间的表现差异. 相比之下，Conv具有学习能力，因此在实验中取得了最佳结果.

表  6  不同融合方法对分类精度的影响

Table  6.  Influence of different fusion methods on classification accuracy %

融合方法	训练集			测试集
	精度	F1 分数		精度	F1 分数
Max	93.4	92.9		92.7	92.2
Sum	92.6	92.0		92.3	91.7
Conv	94.9	94.5		94.3	93.6

下载: 导出CSV 

| 显示表格

2.6   消融实验

为验证本文模型的有效性，将提出的分区打乱机制和重校准损失函数进行消融实验，实验结果如表7所示.

表  7  不同打乱方法和重校准损失函数下的消融实验

Table  7.  Ablation experiments with different shuffle methods and recalibration loss functions %

打乱方法	损失函数	训练集			测试集
		精度	F1 分数		精度	F1 分数
未打乱	Log-Cosh	86.2	85.3		84.8	83.3
	MAE	85.2	84.9		83.7	83.1
	SMAE	85.6	84.7		84.2	83.9
	MSE	86.8	86.2		85.9	85.7
随机打乱	Log-Cosh	87.2	86.9		87.2	86.3
	MAE	86.2	86.9		86.2	86.3
	SMAE	86.7	86.3		85.8	85.6
	MSE	87.9	87.3		87.1	86.5
分区打乱	Log-Cosh	91.7	91.6		90.3	90.8
	MAE	88.3	88.5		86.1	86.7
	SMAE	89.3	89.1		90.6	90.2
	MSE	93.8	92.5		91.3	91.7

下载: 导出CSV 

| 显示表格

从表中可以发现：无论是在未打乱、随机打乱还是分区打乱的情况下，使用MSE重校准损失函数都能取得更好的效果；当采用相同的重校准损失函数时，本文提出的分区打乱机制能够获得更高的准确率；图像在未打乱的情况下，使用重校准模块测试集准确率达到了85.9%，相较于单独使用主干网络进行实验，准确率提升1.1%，显示了重校准模块的有效性；在随机打乱和分区打乱时，分类准确率得到较大提升，进一步突显了重校准的作用.

实验结果证明了重校准模块和分区打乱机制结合使用能有效提高乳腺超声图像分类的准确率. 此外，对于其他图像在分类过程中，如果形状特征对结果影响较大，本文所提出的模型也适用. 然而，重校准模块使用的形状特征是针对乳腺超声图像设计的. 因此，对于不同的图像数据集，需要根据其自身特点设计相应的形状特征.

2.7   公开数据集实验结果

为进一步验证本文模型的泛化能力，使用BUSI数据集进行实验，将训练数据与测试数据按照7∶3的比例进行划分，结果如表8所示. 可以看出，在BUSI数据集上使用本文模型，分类准确率提升3.3%.

表  8  BUSI数据集实验结果

Table  8.  Experimental results of BUSI dataset %

融合方法	训练集			测试集
	精度	F1 分数		精度	F1 分数
Max	93.4	92.9		92.7	92.2
Sum	92.6	92.0		92.3	91.7
Conv	94.9	94.5		94.3	93.6

下载: 导出CSV 

| 显示表格

2.8   对比实验

基于乳腺超声图像的良、恶性分类，将本文模型和近几年相关研究进行实验对比，结果如表9所示，其中，文献[12-13]方法经模型复现，并使用数据集LSRD后进行对比，结果如图7所示. 尽管缺乏直接对比性，但这些结果仍然可以作为评估本文模型性能的参考. 从表9和图7中的数据来看，本文模型在准确率、敏感性和特异性方面均高于对比算法.

表  9  本文模型与主流方法性能比较

Table  9.  Performance comparison between proposed method and popular methods

方法	数据集（良性、恶性/幅）	准确 率/%	敏感 性/%	特异 性/%	AUC
文献[21]	184、264	91.1	94.3	86.4
文献[22]	112、72	82.0	79.4	84.7
文献[23]	400、400	84.5
文献[12]	LSRD	89.3	83.9	92.1	0.925
文献[13]	LSRD	92.3	90.2	92.4	0.937
本文模型	LSRD	94.3	91.2	93.6	0.941

下载: 导出CSV 

| 显示表格

图  7  本文方法与其他方法对比

Figure  7.  Comparison between proposed method and other methods

下载: 全尺寸图片 幻灯片

3.   结　论

本文提出一种新的乳腺超声图像良、恶性分类模型. 首先，在渐进训练的各个阶段，通过分区打乱机制使网络更关注具有更高辨别力的区域. 其次，通过神经网络提取图像特征，对底层特征和结节形状特征进行重校准，以获取更准确的形状信息. 为获取更丰富的特征信息，本文将各个训练阶段的特征进行融合并用于最终的分类. 实验分析表明，本文提出的模型能有效提高乳腺超声图像分类的准确率，降低良、恶性分类错误的概率.

目前，本文主要研究形状特征对深度学习网络底层特征提取的影响，如何进一步挖掘更多结节形态特征并将其与深度学习网络相融合，将成为下一步的研究工作.