合成孔径雷达（SAR）是一种全天时、全天候、具有一定穿透能力的主动式微波遥感技术，被广泛应用于军事目标侦察、海洋监测、地形测绘等领域. 其中，舰船检测是SAR图像分析处理中的一个研究热点，但SAR图像固有的相干斑噪声、散焦与几何畸变现象会对舰船检测与识别任务造成较大的阻碍，导致基于手工特征提取的传统检测方法更容易出现漏检错检等问题. 随着深度学习在计算机视觉领域的应用与发展，YOLO （you only look once）^[1]、SSD （single shot multibox detector）^[2]、Faster R-CNN （faster region-based convolutional neural network）^[3]等一系列“单阶段”和“二阶段”的深度学习算法被逐渐应用于SAR舰船检测领域，并取得了不错的检测效果. 然而，SAR舰船图像中目标检测标签的获取过程往往需耗费大量的时间、人力资源. 因此，如何利用有限的SAR数据生成高质量、多样性、有标签的SAR舰船数据成为一个重要研究方向.

传统的SAR图像数据生成方法可大致分为3类：第1类是光学图像中常用的平移、添加噪声、遮挡等操作^[4]，这类方法本质上只是把原有图像复制多份，并未真正增加数据的多样性；第2类方法提取SAR图像目标的散射特征等固有特征，然后利用特征重构SAR图像^[5-6]，但特征提取过程较为繁琐，难以满足大批量数据的要求；第3类是基于射线追踪的SAR仿真系统^[7-8]，但由于模拟图像的精度依赖于场景几何精度，而构建大批量的复杂场景在现阶段也不可行，导致出现模拟图像与真实图像差别较大、场景多样性不足等问题，因此，该类方法极少用于SAR数据生成. 由于SAR成像对观测参数敏感，传统方法难以提取较为统一的特征描述，大都仅被用于特定场景.

随着PixelCNN （pixel convolutional neural networks）^[9]、变分自编码器（VVAE）^[10]和生成对抗网络（GAN）^[11]等生成网络的出现，基于深度学习的数据生成网络最早并广泛应用于光学图像生成. 其中，基于GAN的数据生成网络的生成质量明显优于其他2种，但存在生成图像的视觉相似性差、可解释性弱、训练不稳定和模式崩溃等问题. 针对生成数据视觉相似性差的问题，DCGAN （deep convolutional GAN）^[12]通过引入卷积层有效利用图像的空间信息，大幅提高了生成图像的质量. ProGAN （progressive growing of GANs）^[13]认为，逐层增加图像细节的“草图-完善”方法更符合人类视觉工作原理，且能提高高分辨率图像的生成效果. 针对GAN可解释性弱的问题，CGAN （conditional GAN）^[14]在生成器和判别器中同时引入约束条件，进而生成可用于图像分类、目标检测等任务的数据，增强了GAN的实用性. 对于GAN训练不稳定的问题，文献[15]认为，主要原因是原始GAN使用了Jensen-Shannom（JS）散度作为目标函数，使其无法准确衡量真实数据与生成数据之间的距离. 为此，文献[16]提出使用Wasserstein距离（W距离）替换JS散度作为目标函数，构建WGAN （Wasserstein GAN），有效提升了训练的稳定性. 随着GAN在光学图像生成上不断地取得成功，其也逐渐被引入到SAR图像处理领域. 文献[17]不仅把DCGAN用于SAR图像生成，而且通过设计多生成器单判别器结构提高生成图像的质量. 类似于ProGAN，文献[18]提出基于分层GAN的高分辨率SAR图像生成网络，并把目标函数分为背景、条件、质量3部分. 文献[19]使用SAR图像的方位角作为CGAN的约束条件，提高生成图像的多样性. 文献[20]采用梯度惩罚方法来解决DCGAN的模式崩溃问题，并生成高质量的SAR数据. 此外，Gao等^[21]提出一种半监督的DCGAN，并用于SAR图像目标检测.

现有SAR图像数据生成网络仅能生成不带标签的数据，并使用半监督模型进行分类或检测，虽然半监督模型的引入能简化生成网络的设计，但效果和有监督模型仍存在一定差距. 此外，目标检测标签比分类标签更复杂，如何对生成的目标检测数据进行自动标注也是一个难点. 针对上述问题，本文结合CGAN和YOLOv3网络，提出一种面向舰船检测的SAR图像数据PCGAN生成方法，实现舰船数据生成和目标检测的协同学习. 本文的主要创新有以下2点：

1） 考虑到一般GAN网络在生成SAR数据时存在可解释性不强的问题，本文提出基于位置信息的条件生成对抗网络（position-based CGAN, PCGAN），将位置信息作为生成器的约束和生成图像的标签，并结合W距离，使生成数据更逼近真实分布，一定程度上解决舰船数据多样性不足的问题，获得面向海域舰船检测需求的数据.

2） 结合所提出的PCGAN与YOLOv3目标检测网络，构建一种面向舰船目标检测的SAR图像数据生成方法，通过PCGAN网络中SAR数据生成和YOLOv3网络中舰船检测的协同学习，使生成的图像同时具有多样性、高质量、能用于舰船检测的目标检测标签等特点.

1.   原始生成对抗网络

图1所示为原始生成对抗网络的结构框图，其核心结构包含生成器（简记为G）和判别器（简记为D）. 图中：FC 为全连接. 生成器根据隐变量z生成图像，判别器对图像的来源进行区分. 生成器越完善，判别器也需完善自身以区分真实和生成图像. 而判别器效果越好，生成器需生成更高质量的图像才能欺骗判别器. 生成器和判别器在对抗中共同进步，最后达到纳什均衡，使生成的伪样本“以假乱真”.

图  1  原始生成对抗网络结构

Figure  1.  Original GAN structure

下载: 全尺寸图片 幻灯片

在GAN理论中，图像是高维空间中的低维流形，可通过映射将其从低维流形投影到高维空间，无需在复杂的高维空间对图像采样. 故生成器对低维流形采样隐变量z，经过一系列FC层投影，得到生成图像G(z).

判别器的任务是将生成图像和真实图像进行区分，输入图像经过一系列FC层后输出一个0～1的标量，表示真实图像的概率，越接近1表示输入越有可能来自真实数据. 事实上，判别器执行的是二分类器的功能，把真实图像$x$分为真，生成图像$G({\boldsymbol{z}})$分为假. 对于二分类问题，最常用的目标函数是交叉熵损失函数，即

式中：$y$为真实概率，$\hat{y}$为预测概率.

将$\hat{y}=D(G({\boldsymbol{z}}))=D(\hat{x})$，$y=0$和$\hat{y}=D(x)$，$y=1$代入式（1）并求期望（D（·）为将图像G（z）输入判别器D得到的值），得到判别器的目标函数为

式中：$P_{\mathrm{g}}$为生成数据的分布，$E$为数学期望，$\hat x$为判别器的生成图像，$P_{\mathrm{r}}$为真实数据的分布.

同时，鉴于生成器与判别器间的对抗关系，其目标函数互为相反数，即$L_{{\mathrm{D}}}=-L_{{\mathrm{G}}}$，$L_{\mathrm{G}}$为判别器目标函数. 又因为$L_{\mathrm{D}}$的前半项和生成器无关，可以舍去，因此生成器的目标函数为

尽管GAN在光学、SAR数据生成上取得了不错的效果，但仍存在以下3个问题：1） 判别器区分2个分布比生成器拟合真实数据分布容易，导致目标函数难以有效指导梯度下降，造成训练不稳定甚至模式崩溃的问题；2） 设计生成器时没有考虑下游的分类或检测任务，生成图像如需应用于下游任务还需进行人工标注；3） 生成器是一个“黑盒子”，不能有效地对生成图像进行解释.

2.   SAR图像PCGAN生成方法

针对上述GAN网络存在的问题，本文提出一种SAR图像数据PCGAN生成方法，在生成鲁棒、多样的SAR舰船数据的同时，关联舰船检测任务，评估反馈生成数据的质量，完成舰船数据增强与目标检测的协同学习. 首先，为约束目标生成范围并提升目标生成质量，提出基于舰船目标位置信息的PCGAN网络，用目标框对目标所属子区域进行定位与表示，并作为约束条件输入网络，以此约束舰船目标仅在特定的区域内生成，提升生成的SAR舰船图像数据的鲁棒性和多样性. 其次，将约束条件作为生成舰船图像的标签，解决常规生成网络仅针对图像进行增强的缺陷，不仅能减少人工标注的人力和时间成本，还能在标签对图像高耦合的条件下保证准确性. 此外，考虑到原始的GAN网络易出现模式崩溃和训练不稳定等情况，本文引入W距离作为度量函数，能更好地衡量真实数据与生成数据间的距离，正确指导网络梯度下降的方向，增强生成数据的解析力. 最后，联合所提出的PCGAN与YOLOv3网络，通过舰船目标检测的性能反馈，实现对生成的SAR舰船数据及标签的质量评估，达到SAR舰船数据增强与目标检测的协同学习，进而获得更耦合目标检测实际应用的多样性数据.

SAR舰船图像生成方法整体框架如图2所示.

图  2  SAR图像数据PCGAN生成方法整体框架

Figure  2.  Framework of PCGAN based generation method for SAR images

下载: 全尺寸图片 幻灯片

2.1   约束条件

考虑到目标检测任务需位置信息作为训练数据，而一般GAN网络只生成图像，若将其用于目标检测，需人工标注，不仅费时费力，且易出错. 因此，本文基于舰船位置信息，用目标框对目标所属子区域进行定位与表示，并作为约束条件，提高感兴趣目标在网络中的权重占比. 处理过程如下：

考虑到舰船目标在整幅图像中占比较低，导致生成器更关注生成背景噪声而非感兴趣的舰船目标，对于输入的SAR图像，首先，提出使用以舰船区域为图像中心，大小为$S \times S$（根据实验结果，本文中$S$设置为64像素）的邻域窗口作为目标舰船的位置信息. 当原始输入图像中舰船的目标框尺寸小于等于64 × 64像素时，保持舰船区域不变；当舰船目标框较长边大于64时，对目标框进行等比例缩放使得最长边为64，并用零像素值将非舰船区域填充至64 × 64像素. 为获取图像中舰船的方向信息，本文计算舰船区域的主、副对角线之和，将较大值作为舰船的方向. 通过连接缩放后的目标框各边中点与舰船方向顶点，构建带方向的六边形舰船目标框，实现语义信息到图像形式的转换. 具体过程如图3所示.

图  3  舰船位置信息图像形式转换过程

Figure  3.  Conversion process of image form for ship position information

下载: 全尺寸图片 幻灯片

基于上述分析，表示舰船位置的语义信息被处理为图像形式，并将其作为限制与定位目标的约束条件，引入到PCGAN网络，以充分利用目标的空间信息，使得生成的舰船数据具有更明确的方向信息.

2.2   PCGAN网络

由于一般GAN网络中生成器的隐变量z通常在100维以上，而舰船位置信息往往以4维语义信息的形式表征，因此，舰船位置信息相比z占比过小，直接将二者级联作为输入无法对生成器形成强有力的约束. 为此，本文引入2.1节设计的约束条件，构建PCGAN网络，通过将位置信息转换为图像形式，提高舰船位置信息在输入中的比重，并作为辅助信息用于整个网络的训练和学习. PCGAN网络包含生成器结构设计、判别器结构设计、目标函数设计等3部分.

2.2.1   生成器结构设计

图4为PCGAN网络中生成器结构示意，包含2个输入：隐变量z和约束$c$. 图中：Conv为卷积层，TConv为转置卷积层，ResBlock为残差连接. 由于，z为向量形式，$c$为图像形式，两者难以直接融合. 因此，将隐变量z重构为图像形式，通过下采样卷积层与约束$c$级联，提取融合舰船位置信息的联合特征.

图  4  PCGAN的生成器结构

Figure  4.  Structure of PCGAN generator

下载: 全尺寸图片 幻灯片

首先，为提取隐变量z中舰船的属性信息，将高维隐变量z输入到2个FC层，提取4096维的特征向量；然后，为与约束$c$有效融合，将${\boldsymbol{z}}$处理后的特征向量重构为4 × 4 × 256大小的特征图；其次，将$c$输入到4层步长为2的卷积层，提取4 × 4 × 32的特征，并将2种特征级联，进而得到4 × 4 × 288的融合特征；最后，将上述融合特征输入到4层转置卷积层，逐层上采样提高特征分辨率，生成维度为64 × 64 × 1的新的SAR舰船图像. 其中，为有效利用特征信息，在每2层转置卷积层间还增加了一个残差连接.

2.2.2   判别器结构设计

对于判别器，为判断生成图像与约束信息是否匹配，判别器中也需要引入位置信息作为约束条件. 为此，本文在判别器原有的2个输入对$\{$（真实图像，对应约束），（生成图像，对应约束）$\}$的基础上，进一步引入（真实图像，非匹配约束）作为第3个输入对，进而形成更强有力的约束，加速网络收敛.

PCGAN网络中判别器结构如图5所示，包含输入对构建模块与判别器网络. 首先，将生成/真实图像和位置信息级联，构建64 × 64 × 2的输入图像；然后，为减少网络参数，采用堆叠4个3 × 3卷积层的方式进行特征信息提取，并经过2层全连接层；最终，根据输出的标量，鉴别图像是否属于训练样本，同时判断生成/真实图像与约束的匹配程度，进而实现对生成器生成结果的反馈调节，提高网络的生成质量.

图  5  PCGAN的判别器结构

Figure  5.  Structure of PCGAN discriminator

下载: 全尺寸图片 幻灯片

2.2.3   目标函数设计

一般GAN网络往往使用JS散度作为目标函数，但在真实数据分布和生成数据分布的支集没有重叠的情况下，JS散度恒为常数，无法指导梯度下降，导致训练出现较大的随机性，进而使网络出现训练不稳定和模式崩溃等问题. 而加入约束的CGAN网络尽管能实现对生成图像的精细控制，但一定程度上增加了整个网络的训练和收敛难度.

为解决上述问题，本文进一步引入W距离替换JS散度作为PCGAN的目标函数，并将其生成器和判别器目标函数定义为

式中：$c$、$\hat{c}$分别为真实图像和生成图像对应约束，$\tilde c$为真实图像的非匹配约束，$D(x \mid c)$和$D(x \mid \tilde c)$分别为在约束$c$和约束$\tilde c$下$x$为真实图像的概率，$D(\hat x \mid \hat c)$为在约束$\hat{c}$下$\hat { x }$是生成图像的概率，$\nabla D$为判别器关于输入的梯度，||•||为绝对值之和，$s$为真实数据与合成数据以一定比例混合（多为1∶1）的数据集，$\bar x$为从$s$中选取的数据样本，$k$和$p$均为超参数.

基于上述分析，新设计的目标函数能在2个分布的支集没有重叠的情况下，仍能有效衡量2个分布间的距离，同时指导梯度沿正确方向下降，保证网络稳定训练和收敛.

2.3   目标检测

基于PCGAN网络生成的舰船数据及标签，进一步结合YOLOv3目标检测网络，通过将生成的高质量舰船图像及对应标签输入到YOLOv3网络进行舰船检测训练. YOLOv3不仅能抛弃结构复杂、计算庞大的候选框提取阶段，同时还能通过训练集的约束条件直接聚类出先验框. 此外，本文依据舰船目标检测结果，对PCGAN网络生成的SAR舰船图像质量进行评估，并利用评估结果反馈调节生成网络，实现数据增强与舰船目标检测的协同学习.

综上，面向SAR舰船图像生成和检测需求，基于2.1～2.3节，提出面向SAR舰船检测的PCGAN生成方法. 将原始训练数据的目标框由语义信息转换为带方向的图像信息，作为约束条件输入PCGAN网络，辅助训练和生成舰船图像，提升网络对目标空间特征的挖掘能力，并增强生成图像的多样性，进而得到准确的样本标签；结合YOLOv3目标检测网络，通过检测结果反馈修正生成网络，实现SAR舰船数据增强和检测的协同学习，获得适用于SAR图像舰船检测的多样性数据.

3.   仿真实验与结果分析

3.1   实验环境与数据

实验环境：系统为Windows 10的台式机，CPU为Intel Core i7-10700K，主频为3.80 GHz，GPU为Nvidia GeForce RTX 3080 GPU，内存为32 GB. 所有程序均基于Pytorch框架设计，并由Python语言编程实现.

实验数据：本文实验使用电子科技大学在2020年发布的高分辨率SAR图像舰船检测和实例分割数据集（high resolution SAR images dataset, HRSID）^[22]. 数据集共包含6004张高分辨率舰船图像，大小为800 × 800像素，舰船目标共16 951艘. 其中，远海岸图像有4573张（含舰船目标8745艘），无舰船图像400张（含237张远海岸和163张近海岸）. 部分图像如图6所示.

图  6  HRSID数据集部分图像

Figure  6.  Partial images of HRSID

下载: 全尺寸图片 幻灯片

从远海岸图像中随机选取1000幅图像，并从中随机选择$I$幅图像作为训练集，剩余图像按1∶1划分为验证集和测试集.

3.2   评价指标

为有效评价PCGAN网络生成图像的质量，本文引入FID （Fréchet inception distance）^[23]和SWD（sliced Wasserstein distance）^[13] 2个指标. 对$N$幅生成图像和N幅真实图像，FID 指标使用inception网络分别提取图像的N×2048维特征向量，并计算特征均值和协方差矩阵来衡量增强前后图像间的相似性，定义为

式中：${\boldsymbol{\mu}}_{\hat x}$和${{\boldsymbol{\mu}}}_{x}$分别为生成图像和真实图像特征向量的均值，${\boldsymbol{\varSigma}}_{x}$和${\boldsymbol{\varSigma}}_{\hat x}$为对应的协方差矩阵.

SWD指标通过计算生成图像与真实图像中拉普拉斯金字塔各层描述子分布的W距离，进而衡量增强前后图像间的相似性. 特别的，2个指标的数值大小与生成图像的质量成反比.

在目标检测阶段，使用平均精度均值（MAP）作为检测性能的指标. 由于舰船检测任务中只有舰船为正类，MAP退化为平均精度（AP，M_AP），如式（6）.

式中：T_TP为正类被正确识别，F_FP为负类被错误识别为正类，F_FN为未被识别的正类.

3.3   数据预处理

如图6所示，近海岸图像存在大量陆地区域，而舰船在整幅图像中占比较低，导致生成器更关注生成陆地等背景而非感兴趣的舰船. 因此，本节使用远海岸图像作为数据集，降低陆地区域等背景信息对生成网络和目标检测网络的干扰，使数据增强效果更加明晰. 综上，实验中仅针对舰船目标进行增强，然后融合纯背景SAR图像，进而生成能直接用于后续舰船检测的SAR数据.

根据2.1节，提出使用以舰船位置为中心，大小为$S \times S$像素的邻域窗口作为舰船的位置信息. 表1为HRSID数据集中不同尺寸舰船目标在总数据集的比重. 考虑到直接将图像尺寸裁剪为128 × 128像素后，尺寸小于32 × 32像素的舰船在整幅图像中的占比不到1/16，尺寸在32 × 32像素和64 × 64像素间的舰船占比不到1/4，背景噪声权重大于舰船权重，导致生成图像中的舰船模糊，充分考虑到图像的多尺度因素，本文设置$S$为64以兼顾SAR图像中大、小尺度的舰船目标，进而获得更好的生成和检测性能.

表  1  不同尺寸内舰船目标比重

Table  1.  Proportion of ship targets in different sizes

尺寸/像素	32 × 32	64 × 64	128 × 128
比例/%	14.18	78.88	99.33

下载: 导出CSV 

| 显示表格

具体的数据预处理方法如2.1节所示，将原始数据集中舰船目标的位置信息转换为带方向信息的六边形舰船目标框，进而实现语义信息到图像形式的转换. 不同尺度/方向舰船目标的转换结果如图7所示.

图  7  不同尺度/方向舰船目标的转换结果

Figure  7.  Conversion results of ship targets with different scales or directions

下载: 全尺寸图片 幻灯片

3.4   参数分析及实验结果

3.4.1   训练参数设置

PCGAN网络：采用Adam优化器，固定参数$\;\beta _{1}$、$\;\beta _{2}$和学习率分别为0.9、0.99、0.0001. batchsize设为32个，epoch为1 000次，W距离的参数$k= 2$，$p=6$. 此外，对训练数据进行标准化，并采用水平、垂直翻转等操作对训练集进行简单的增强，用于PCGAN网络的训练.

YOLOv3网络：输入分辨率设置为416 × 416像素，batchsize为8个，使用预训练权重darknet53.conv.74，训练epoch为1000次. 此外，交并比（IoU）、目标置信度和非极大值抑制（NMS）阈值均设置为0.5. PCGAN网络按照增强倍数$T$生成SAR图像，所生成图像与PCGAN的训练集融合作为YOLOv3网络的训练集.

3.4.2   参数分析

为验证所提方法的SAR图像生成质量与舰船检测性能，表2列出不同训练集数量$I$和增强倍数$T$取值下的舰船检测结果. 其中，$I=\{100,200,300\}幅$和$T=\{1.0,1.5,2.0,3.0\}倍$.

表  2  不同训练集下的实验结果

Table  2.  Experimental results under different training sets %

条件	I/幅
	100	200	300
增强前	91.01	92.91	93.11
增强 1.0 倍	91.88	93.61	94.06
增强 1.5 倍	91.79	93.73	94.12
增强 2.0 倍	91.46	93.31	93.93
增强 3.0 倍	91.48	93.33	94.00

下载: 导出CSV 

| 显示表格

特别地，“增强前”为YOLOv3网络在不采用PCGAN网络的前提下不同训练集的实验结果. 由表2可知：当$I$固定为100幅时，随着$T$增大，所提出生成方法的检测准确度呈先上升后下降趋势，当$T$为1.0倍时，模型检测准确度达到最大值，且相比于未增强前，模型精度从91.01%提高至91.88%；当$I$固定为200幅，$T$取1.5倍时，所提出方法的准确度最高，且获得0.82%的性能增益；当$I$取300幅时结果类似，在$T$为1.5倍时检测准确度达到最高. 上述实验结果验证了所提方法在SAR舰船数据生成和检测上的有效性.

基于上述实验结果，本文所提生成方法中$I$和$T$分别设置为300幅和1.5倍时，SAR图像舰船检测准确度达到最优. 后续实验将沿用这些参数设置.

3.4.3   PCGAN网络生成质量及对比分析

基于上述数据预处理和参数设置，为验证本文提出的PCGAN网络在SAR图像舰船数据生成上的优势，表3给出了不同网络的生成图像质量的定量评价结果. 其中：“舰船图像”指使用生成网络直接生成的结果；“增强图像”指融合“舰船图像”和纯背景图像后的结果；“条件WGAN”表示引入传统图像位置信息（如图3（b））的WGAN网络；“条件WGAN + 方向”表示引入本文带方向信息的六边形舰船目标框（如图3（c））后的WGAN网络；FID、SWD越小越好.

表  3  不同GAN网络的生成图像质量

Table  3.  Image quality of different GANs

不同 生成网络	FID			SWD
	舰船 图像	增强 图像		舰船 图像	增强 图像
GAN	221.9	126.3		3665	2519
WGAN	66.06	96.92		181.7	1692
条件 WGAN	157.1	102.8		448.3	1699
条件 WGAN+方向	99.61	99.07		440.0	1620
PCGAN	86.94	95.62		434.2	1513

下载: 导出CSV 

| 显示表格

如表3所示：WGAN的生成图像质量总优于GAN，证明引入W距离能更好地衡量生成数据与真实数据间的距离，进而生成更拟合真实数据分布的SAR图像；对比表3中最后3行基于CGAN网络的实验结果，3个网络的指标FID和SWD均呈现逐渐下降趋势，说明本文设计的PCGAN网络更适合SAR图像舰船数据生成；此外，虽然PCGAN网络中“舰船图像”的生成质量不如WGAN，但其“增强图像”的生成质量却优于后者. 主要原因在于融合纯背景图像时，WGAN生成的“舰船图像”中背景噪声会与纯背景图像中原有噪声相互影响，导致“增强图像”质量下降；而PCGAN网络通过引入舰船位置信息作为条件，虽然增加了网络训练的复杂度，但能生成含背景噪声更少的“舰船图像”，一定程度上减少与纯背景图像噪声间的干扰. 特别地，PCGAN网络还能生成带目标检测标签的SAR舰船图像，进而能直接用于目标检测任务. 实验结果证明本文所提PCGAN网络在SAR图像舰船数据生成上的优势.

进一步，图8给出了不同生成网络生成的舰船图像及标签. 相对于传统GAN网络（图8（a）），WGAN网络（图8（d））所生成图像的多样性充足且质量有明显提升，但由于缺乏舰船检测标签，无法直接用于目标检测任务. 此外，尽管通过引入传统矩形形式的位置信息作为条件，条件WGAN （图8（e））能生成带检测标签的SAR数据，但其生成质量变差（图8（b））. 出现这一问题的主要原因是，传统矩形形式的位置信息无法标识舰船的方向，因此，条件WGAN网络会生成部分模糊的SAR舰船图像. 引入本文提出的带方向信息的六边形舰船目标框后（图8（f）），PCGAN能生成具有清晰方向的SAR舰船数据（图8（c）），提高生成图像的多样性. 综上，PCGAN网络能有效鉴别SAR图像中舰船的方向信息，进而生成带有明确方向的舰船目标，为提高舰船检测精度提供丰富的SAR数据.

图  8  不同GAN网络的生成结果

Figure  8.  Generation results of different GANs

下载: 全尺寸图片 幻灯片

3.5   消融实验

基于3.4节的实验设置，为进一步验证所提出方法中PCGAN网络的有效性，本节保持YOLOv3网络不变，选择“无生成网络”“条件WGAN”“条件WGAN+方向”代替PCGAN网络生成SAR数据，进行消融实验，舰船检测准确度如表4所示. 其中，“无生成网络”表示直接使用YOLOv3网络对原始数据进行舰船检测.

表  4  消融实验结果

Table  4.  Results of ablation experiments

不同生成网络	准确度/%
无生成网络	93.11
条件 WGAN	93.71
条件 WGAN+方向	93.88
PCGAN	94.12

下载: 导出CSV 

| 显示表格

根据表4，相比于直接使用原始SAR舰船数据的无生成网络，采用基于传统矩形框位置信息的条件WGAN对原始数据进行增强后，YOLOv3网络的检测准确度从93.11%提高到93.71%. 将位置信息换为本文提出的带方向信息的六边形目标框后，新生成的数据使得网络检测性能提升到了93.88%，说明引入六边形目标框的位置信息作为条件，生成网络能生成方向清晰的高质量SAR舰船数据，一定程度上有助于提升舰船检测性能. 在此基础上，结合残差学习，本文提出的PCGAN网络能生成散射点信息更丰富的SAR舰船数据，将检测性能提升至94.12%，进一步说明PCGAN网络生成的SAR数据更适合于舰船检测任务.

综上，参数分析、对比实验和消融实验均证明了本文面向舰船检测需求所提出PCGAN生成方法的有效性及其在生成SAR舰船数据上的优势. 实验结果也表明本文方法能在一定程度上缓解现有GAN网络无法准确生成SAR舰船图像及其检测标签、SAR图像舰船检测任务中样本受限等问题.

4.   结　论

针对SAR图像生成和舰船检测的实际应用需求，本文提出一种面向舰船目标检测的SAR图像数据PCGAN生成方法. 首先，将舰船位置信息作为约束和生成图像的标签以辅助训练，并结合W距离，设计一种新的PCGAN网络，获得适用于舰船检测实际应用的、更具可解释性的多样性SAR图像. 然后，结合YOLOv3网络，通过SAR数据增强网络和舰船检测网络的协同学习，所提出的生成方法能利用舰船检测结果反向优化SAR图像的生成质量. 在HRSID舰船数据集的实验结果证明所提出生成方法能生成有利于海域舰船目标检测实际应用的SAR图像，进而为标签样本受限情况下的舰船检测任务提供一种有效的SAR图像数据生成方法.