• ISSN 0258-2724
  • CN 51-1277/U
  • EI Compendex
  • Scopus 收录
  • 全国中文核心期刊
  • 中国科技论文统计源期刊
  • 中国科学引文数据库来源期刊

小样本条件下列车通信网络攻击样本生成方法

岳川 王立德 闫海鹏

岳川, 王立德, 闫海鹏. 小样本条件下列车通信网络攻击样本生成方法[J]. 西南交通大学学报, 2023, 58(6): 1277-1285. doi: 10.3969/j.issn.0258-2724.20210557
引用本文: 岳川, 王立德, 闫海鹏. 小样本条件下列车通信网络攻击样本生成方法[J]. 西南交通大学学报, 2023, 58(6): 1277-1285. doi: 10.3969/j.issn.0258-2724.20210557
YUE Chuan, WANG Lide, YAN Haipeng. Attack-Sample Generation Method for Train Communication Network Under Few-Shot Condition[J]. Journal of Southwest Jiaotong University, 2023, 58(6): 1277-1285. doi: 10.3969/j.issn.0258-2724.20210557
Citation: YUE Chuan, WANG Lide, YAN Haipeng. Attack-Sample Generation Method for Train Communication Network Under Few-Shot Condition[J]. Journal of Southwest Jiaotong University, 2023, 58(6): 1277-1285. doi: 10.3969/j.issn.0258-2724.20210557

小样本条件下列车通信网络攻击样本生成方法

doi: 10.3969/j.issn.0258-2724.20210557
基金项目: 中国国家铁路集团有限公司科技研究开发计划(N2020J007)
详细信息
    作者简介:

    岳川(1993—),男,博士研究生,研究方向为列车牵引控制与网络,E-mail:16117394@bjtu.edu.cn

    通讯作者:

    王立德(1960—),男,教授,研究方向为列车牵引控制与网络,E-mail:ldwang@bjtu.edu.cn

  • 中图分类号: U285.8

Attack-Sample Generation Method for Train Communication Network Under Few-Shot Condition

  • 摘要:

    基于深度学习的列车通信网络入侵检测需要充足的训练样本支撑,然而实际可获取的列车通信网络攻击样本非常少. 本文将生成对抗网络(GAN)应用于攻击样本生成任务中,对GAN的采样策略、约束条件与损失函数进行改进,设计了基于卷积神经网络的生成器与判别器,提出一种基于改进GAN的攻击样本生成方法. 基于此方法开展了样本生成实验与入侵检测实验. 结果表明,该方法能够生成有效的攻击样本,改进模型的训练效果,模型的F1分数平均增加了4.23%.

     

  • 随着列车通信网络(TCN)对通信速率及智能化需求的不断增加,基于以太网的列车通信网络(ETCN)因其带宽高、兼容性强及开放性好等优点,正逐步成为现今智能列车的首选网络架构[1]. 但ETCN的应用给列车带来通信便利之时,也引入了诸多网络安全隐患[2]. 作为基础性公共设施,列车的网络安全至关重要,应当采取有效的措施来提高其安全防护能力.

    入侵检测在网络安全领域扮演着重要的角色,可以发现网络入侵行为并发出告警[3]. 近年来,深度学习已成为入侵检测方法的主流选择,其优势发挥通常是以充足的数据样本为基础,但在入侵检测领域,小样本问题(模型训练时攻击样本数量过少)仍然阻挠深度学习方法发挥其应有的检测能力. 网络攻击多为偶发事件,攻击报文数量往往有限,对于列车通信网络,攻击者更加追求“悄无声息”地入侵,攻击样本往往数量更小,小样本问题更加凸显,使模型没有充足的信息可以学习. 同时,由于正常报文数量巨大,也会进一步导致类不平衡问题,即训练数据中各类别分布不均衡,导致深度学习模型倾向于学习正常样本的特征,而轻视关键的攻击样本.

    数据增广是解决小样本问题的主流方法,即利用特定方法扩充小样本数据的数量[4]. 传统的数据增广方法主要为过采样方法,例如:文献[5]使用合成少数过采样法(SMOTE)来扩充小样本数据,提升了入侵检测的准确率;文献[6]提出一种基于聚类簇结构特性的综合采样法,能够生成样本分布结构特性保持的均衡数据样本. 上述方法在面对入侵检测的小样本问题时取得了较好的效果,并且具有可解释性强、机制简单的优势,但也正因为其机制较为简单,生成样本的质量不够突出,容易导致有效信息的丢失及模型过拟合. 生成对抗网络(GAN)[7]是一种生成模型,因其强大的数据生成能力已被广泛应用于多个领域的数据增广任务中. 对于入侵检测的小样本问题,一种更为新颖的解决思路是使用GAN来生成高质量的网络攻击样本:文献[8]提出了一种基于GAN的攻击样本生成方法,将生成的样本应用在基于CNN的入侵检测模型中,能够有效地提升模型的准度;文献[9]对传统GAN进行了改进,提出了一种基于不平衡生成对抗网络(IGAN)的攻击样本生成方法并应用于点对点模式(ad-hoc)网络的入侵检测任务中,有效提升了入侵检测的检测准度. 上述方法虽取得了优异的表现,但皆有不同的适用场景. 如何将GAN有效地应用于ETCN场景仍是一项具有挑战性的任务,需要结合ETCN中攻击数据的实际特点对方法进行适应性的改进设计.

    针对ETCN入侵检测的小样本问题,在传统GAN框架基础上,本文提出一种改进的生成对抗网络(GMCW-GAN),用于生成高质量的ETCN网络攻击样本. 实验结果表明,本文提出的方法能够生成有效的ETCN网络攻击样本,可以在小样本条件下提高基于深度学习的ETCN入侵检测的检测准度,进而增强ETCN的安全防御能力.

    首先,分析将传统GAN应用于网络攻击样本生成任务时存在的主要缺点,在此基础上,介绍GMCW-GAN的主要改进内容;其次,设计GMCW-GAN中生成器与判别器的内部网络结构.

    GAN是Goodfellow等[7]于2014年提出的一种基于可微生成器的生成式建模方法. GAN由2部分组成:生成器G与判别器D,通过对抗训练的方式使生成器产生的样本服从真实数据分布. 该训练过程是一个0和博弈问题,即生成器与判别器各自的收益等于对方的损失,当训练接近纳什均衡时,模型达到最优. 其目标函数如式(1),GAN的整体优化目标可形式化表示为minGmaxDV(D,G).

    V(D,G)=Expr(x)logD(x;ϕ)+E˜xpg(˜x)log(1D(G(z;θ);ϕ)),
    (1)

    式中:θϕ分别为生成器与判别器的参数;z为输入生成器的随机变量;Expr(x)为从真实数据x的分布pr(x)中获取的期望,xS维连续向量;E˜xpg(˜x)为从生成数据˜x的分布pg(˜x)中获取的期望,˜x = G(z;θ).

    传统GAN存在3项缺点:1) 生成器的输入通常为符合高斯分布或均匀分布的随机变量,然而,在实际应用中,这2类分布的表达能力较为单一,会从模型的初始采样环节对生成样本的初始数据形态产生约束,最终影响生成样本的多样性;2) 生成过程中,生成样本的类别不受控,表现为将GAN应用在多类别的生成任务中时,无法按需指定其生成特定类别的样本;3) 生成器的优化目标等价于最小化pg(˜x)pr(x)之间的JS (Jensen-Shannon)散度[7],当分布之间没有重叠部分时,将导致生成器梯度消失,从而无法通过训练进一步优化生成器.

    对于ETCN入侵检测的攻击样本生成任务,缺点1会导致生成样本的多样性不足,从而限制其在入侵检测模型训练环节中的促进作用;缺点2会导致生成样本的类别难以控制,从而增加样本生成模型的训练难度与成本;缺点3会导致生成样本的真实性不足,不能够充分模拟真实的网络入侵数据.

    面向ETCN入侵检测的攻击样本生成需求,本文设计了一种样本生成方法GMCW-GAN,其整体结构见图1. 该方法在传统GAN的基础上从采样策略、约束条件、损失密度3个方面进行改进,以克服上述缺点.

    图  1  GMCW-GAN的整体结构
    Figure  1.  Overall structure of GMCW-GAN
    1.1.1   采样策略改进

    传统GAN从高斯分布或均匀分布中采样生成随机变量作为其潜在空间的先验分布,这种采样方式在一定程度上约束了生成样本的多样性. 为解决这一问题,GMCW-GAN采用具备多模态特性的高斯混合模型(GMM)[10]来替代传统的一元高斯分布,从而更好地契合真实训练样本的内生多模态特性,增加生成样本的多样性.

    GMM由N个高斯分量加权求和组成,每个分量为1个一元高斯分布,可将GMM形式化表述为

    p(x|λ)=Ni=1ωig(x|μi,Ci)=Ni=1ωi(2π)S/2|Ci|1/2×exp{(xμi)TC1i(xμi)2},
    (2)

    式中:g(x|μi,Ci)为单个随机潜变量依从的S元高斯分布的概率密度函数;μi为均值向量,μiRSCi为协方差矩阵;λ={ωi,μi,Ci}为GMM的参数,ωi为第i个高斯分量的权值,且Ni=1ωi=1.

    对于ETCN攻击样本生成任务,在没有先验知识时,可认为GMCW-GAN潜空间中的高斯分量具有均等权值,则可令ωi = 1/1NN,因此,潜空间需要计算的参数可约简为λ={μi,Ci}. 由于直接从GMM中采样得到随机变量的过程不可导,无法参与反向梯度传播来更新参数λ,因此,GMCW-GAN通过重参数化技巧解决该问题,即首先从正态分布N(0,1)中采样得到ε,并按式(3)计算得到随机变量z.

    z=μi+σiε,
    (3)

    式中:σi为方差,σiRS×S.

    该过程在保持潜在变量随机性的同时,将随机性与参与训练的参数分离,确保GMM的参数λ可以通过反向传播来动态更新.

    1.1.2   约束条件改进

    传统GAN的生成过程自由度过高,其生成的样本不可控. 为解决该问题,GMCW-GAN引入样本条件约束技巧,通过给定相应的样本类别标签约束增强生成过程的可控性.

    在GMCW-GAN中,令真实目标样本的类别标签y为样本条件约束,通过给生成器和判别器的输入分别增加约束x|yz|y来实现. 增加了样本条件约束后的优化目标改写为

    minGmaxDV(D,G) = Expr(x)logD(x|y;ϕ)+E˜xpg(˜x)log(1D(G(z|y;θ);ϕ)).
    (4)

    改进后,可以通过改变输入样本的类别标签y来控制模型生成所需的网络攻击样本.

    1.1.3   损失函数改进

    传统GAN通过JS散度来衡量pg(˜x)pr(x)之间的距离,当两分布之间不存在重叠时会导致梯度消失等问题. 为克服该缺陷,GMCW-GAN引入沃瑟斯坦距离[11]来替代基于JS散度的损失函数,使得改进后的损失函数拥有更加合理的优化目标.

    沃瑟斯坦距离可度量高维空间中的数据推动距离. 面对高维的网络攻击样本,将数据从pr(x)推向pg(˜x)的过程存在多种移动路径,每种路径下,将数据全部推至目的分布的总代价B(γ),如式(5)所示.

    B(γ)=xr˜xgγ(xr,˜xg)|xr˜xg|,
    (5)

    式中:γ为一条特定的移动路径,γ(xr,˜xg)为具体的推动数据量,xr˜xg分别为推动前、后的样本映射,|xr˜xg|为移动距离.

    所有移动路径总代价中的最小值即pr(x)pg(˜x)的沃瑟斯坦距离W(pr,pg),即

    W(pr,pg)=minPB(γ),
    (6)

    式中:P为两分布间所有可能的移动路径.

    将式(5)代入式(6),可以等价地将W(pr,pg)表示为

    W(pr,pg) = infγΠ(pr,pg)E(xr,˜xg)γ[||xr˜xg||],
    (7)

    式中:Π(pr,pg)pr(x)pg(˜x)构成的联合分布集合,inf表示取下确界.

    求解式(7)的过程等同于求解一个线性规划问题,面对现实中复杂的网络攻击数据分布,直接对其求解是难以实现的,因此,通过求解其对偶问题[12],等价地得到新的函数表达式为

    W1(pr,pg)=sup||D||L1{Expr[D(x)]Expg[D(G(z))]},
    (8)

    式中:sup表示取上确界,L1表示函数应服从1-Lipschitz约束.

    GMCW-GAN引入梯度惩罚(gradient penalty)来保证函数服从1-Lipschitz约束,即在判别器的优化目标中加入梯度惩罚项GP(ˆx),其表达式为

    GP(ˆx)=λEˆxPGP(ˆx)max{0,||ˆxD(ˆx)||1},
    (9)

    式中:PGP(ˆx)为由pg(˜x)的采样点与pr(x)的采样点连线组成的分布,ˆx为分布中的变量.

    联立式(4)、(8)、(9),即可得到GMCW-GAN最终的目标函数为

    V(D,G)=maxD{Expr(x)D(x|y;ϕ)E˜xpg(˜x)(D(G(z|y;θ);ϕ)λEˆxPGP(ˆx)max{0,||ˆxD(ˆx)||1}}.
    (10)

    本节基于具有强表示能力的卷积神经网络来设计生成器与判别器的内部网络结构.

    1.2.1   生成器

    生成器主要作用是将输入的随机变量转变为攻击样本,GMCW-GAN中生成器的网络结构包括全连接层(FC1)、重塑层(R2)、2层转置卷积层(TC3、TC4)与卷积层(C5),如图2所示.

    图  2  生成器网络结构
    Figure  2.  Network structure of generator

    从高斯混合模型中采样得到的随机分布z与样本标签约束y的联合嵌入表示生成器的输入;通过FC1将输入进一步表示为多神经元隐层的输出;通过R2将FC1的输出重塑为三维结构;通过TC3与TC4执行转置卷积;通过C5,以same padding(保持卷积前后张量的高与宽不变)的方式执行卷积,得到与真实攻击样本同形状的生成攻击样本.

    为避免引入稀疏梯度,FC1、TC3与TC4中的非线性激活函数采用LeakyRelu[13],同时因为C5的输出为生成的攻击样本,为保证与输入至判别器的真实样本具备同样的特征尺度(0~1),采用Sigmoid函数作为其非线性激活函数.

    1.2.2   判别器

    判别器主要用于判断其输入样本是否真实,其本质上是一个二分类器,GMCW-GAN中判别器的网络结构包括2层卷积层(C1、C2)、展平层(F3)与2层全连接层(FC4、FC5),如图3所示.

    图  3  判别器网络结构
    Figure  3.  Network structure of discriminator

    判别器的输入用真实攻击样本或生成器生成的攻击样本与样本标签约束的联合嵌入表示;通过C1与C2提取样本特征;利用F3将C2的输出展平为向量;进一步用FC4与FC5提取特征,同时缩减向量长度,最终得到单个元素的输出. C1、C2与FC4中的非线性激活函数采用LeakyRelu,应用沃瑟斯坦距离作为优化目标,因此,FC5的输出无须进行非线性激活.

    为验证GMCW-GAN的性能,首先,介绍ETCN半实物实验平台,给出攻击数据的获取方式;其次,给出相应评价指标,并介绍实验测试环境与相关超参数配置;最后,通过多角度的实验,验证GMCW-GAN的攻击样本生成能力.

    本文对照某型ETCN列车的实车网络拓扑,搭建ETCN半实物实验平台,根据相关资料在平台中模拟配置了车辆正常通信进程,在此基础上将安装了攻击模拟软件的攻击节点接入至交换机,从而开展模拟攻击实验. 实验环境如图4所示.

    图  4  ETCN半实物实验平台
    Figure  4.  Hardware-in-the-loop experimental platform of ETCN

    本文提出的GMCW-GAN生成样本类型主要取决于输入的真实样本类型. 为了验证其生成能力,本节采取的思路为:总结ETCN可能面临的典型攻击,开展模拟攻击实验,从而获取相应的数据,用于验证GMCW-GAN的生成能力.

    作者的前期研究中总结了ETCN可能面临的3大类主要攻击有探测类攻击、拒绝服务类攻击、中间人类攻击[14],因此,本文向实验平台注入3大类攻击中的8种典型攻击来构造训练数据集,包括属于探测类攻击的IP扫描、端口扫描与漏洞扫描,属于拒绝服务类攻击的UDP(user datagram protocol)泛洪,TCP(transmission control protocol)泛洪,属于中间人类攻击的ARP(address resolution protocol)欺骗、篡改与重放.

    为便于比较GMCW-GAN生成的样本与真实样本的质量,通过2个步骤构建2个ETCN攻击数据集.

    步骤1 通过攻击模拟实验构造1个样本充足的基准ETCN攻击数据集,称为TADS (train attack dataset),其数据分布见表1.

    表  1  TADS的样本分布
    Table  1.  Sample distribution of TADS
    攻击类别样本数量/个比例/%
    IP 扫描 10648 44.89
    端口扫描 9562
    漏洞扫描 11257
    篡改 9301
    重放 8872
    ARP 欺骗 9525
    正常报文 72643 55.11
    下载: 导出CSV 
    | 显示表格

    步骤2 维持TADS中正常报文数量不变,在其各类攻击样本中随机抽取500个样本,构造小样本的ETCN攻击数据集,称为TADS-F,其数据分布见表2.

    表  2  TADS-F的样本分布
    Table  2.  Sample distribution of TADS-F
    攻击类别样本数量/个比例/%
    IP 扫描5003.97
    端口扫描500
    漏洞扫描500
    篡改500
    重放500
    ARP欺骗500
    正常报文72643 96.03
    下载: 导出CSV 
    | 显示表格

    TADS中,正常报文与攻击报文均有上万个样本,数量充足,同时其数量比约为5.5∶4.5,分布平衡. TADS-F中,正常报文数量充足,但攻击报文数量稀少,其数量比约为9.6∶0.4,分布不平衡.

    生成样本的目的是给入侵检测模型的训练提供更多有效信息,因此,本节通过入侵检测性能来评价GMCW-GAN的攻击样本生成能力. 小样本条件下主要关注正类样本(攻击)是否能被正确检测. 查准率P是指所有检测为攻击的样本中真正为攻击的比例,反映了对攻击样本的检测精准度;查全率R是指所有攻击样本中被正确检测为攻击的比例,反映了对攻击样本的检测完整度;F1分数是PR的调和平均,如式(11)所示,可综合反映对攻击样本的检测能力.

    F1=2PRP+R×100%.
    (11)

    虚警率(FPR)是指被错误检测为攻击的正常样本占所有正常样本的比例,虚警率越低,模型对正样本的预测纯度越高,性能越好,如式(12).

    FPR=FPFP+TN×100%,
    (12)

    式中:FP为被误检的正常样本数量,TN为被正确检测的正常样本数量.

    攻击样本生成实验与入侵检测实验在以下配置环境中实施:1) 硬件,AMD Ryzen 5 1600X CPU@3.60 GHz,32 GB RAM,NVIDIA GeForce GTX 1060 6 GB GPU;2) 软件,Windows 10 操作系统,Keras 2.5.0,CUDA 10.2.95.

    GMCW-GAN采用RMSProp作为优化器,学习率设置为0.001,小批量大小为32个,随机变量设置为128维向量,梯度惩罚项为10,μiσi赋以随机初值(由于共有8类攻击样本,因此i样本标签为1~8的整数.

    深度神经网络(DNN)是一种具有代表性的深度学习方法,在入侵检测领域取得了良好的应用效果[15],其网络结构如图5所示. 该模型的主要原理为:将入侵检测任务转化为深度学习中的分类任务,将模型视为实现函数关系拟合的分类器,通过从隐含层到输出层的逐层拟合,建立输入 (样本的特征表示)与输出 (预测的类别)之间的映射关系,通过该映射关系即可实现对输入样本的类别预测,从而实现入侵检测. 所构建的模型具有3层隐含层,其神经元数分别为512、256、128个,激活函数为ReLU,损失函数为交叉熵损失,优化器采用SGD,学习率为0.002,小批量大小为64,遍历次数epoch为30次,检测的总类别数C=9(包含正常类).

    图  5  入侵检测模型的结构
    Figure  5.  Network structure of intrusion detection model

    开展实验之前,首先对原始数据进行预处理:提取TADS中网络报文的主要报头信息作为样本特征,包括以太网头、IP头、UDP头、TCP头、ICMP头、ARP头以及TRDP头的各关键字段;用−1填充样本中的缺失值;使用独热码(one-hot)将类别型特征转换为数值型;使用最大最小归一化对全部特征值进行标准化处理. 基于预处理后的TADS,通过2.1节中的方式构造TADS-F.

    为多角度验证GMCW-GAN的性能,共开展了下述4类实验.

    2.4.1   样本生成实验

    训练GMCW-GAN模型,按需生成少数类攻击样本从而构造大样本平衡攻击数据集.

    步骤1 从高斯混合模型中生成128维的随机向量z,从TADS-F中获取真实攻击样本x,将zx分别与样本标签y进行联合嵌入,得到带条件约束的输入向量z|y与真实样本x|y.

    步骤2 将z|y输入生成器,得到一批生成的攻击样本G(z|y).

    步骤3 固定生成器参数,将x|yG(z|y)输入判别器,训练判别器.

    步骤4 固定判别器参数,将z|y输入生成器,训练生成器,得到新的G(z|y).

    步骤5 循环步骤3与步骤4,对整体模型进行对抗训练,直至收敛,从而完成训练.

    步骤6 按照y从1~8的顺序,将z|y输入训练好的生成器,对每类攻击各生成9500个样本,得到大样本数据集(TADS-L),其分布见表3.

    表  3  TADS-L的样本分布
    Table  3.  Sample distribution of TADS-L
    攻击类别样本数量/个比例/%
    IP 扫描1000045.23
    端口扫描10000
    漏洞扫描10000
    篡改10000
    重放10000
    ARP 欺骗10000
    正常报文7264354.77
    下载: 导出CSV 
    | 显示表格

    数据集中的网络报文为高维样本,无法直观地观察,使用t分布随机邻域嵌入(t-SNE)[16],将真实样本与生成样本映射为三维空间中的点以观察其分布,如图6所示.

    图  6  真实样本与生成样本的三维空间表示
    Figure  6.  3D representation of real and generated samples

    图6中红色散点与蓝色散点分别代表真实攻击样本与生成样本的三维表示,可以看到:GMCW-GAN生成样本与真实样本高度相似,这初步证明了GMCW-GAN的生成能力. 当然,该结果是由初步的视觉观察得到的,由于t-SNE实现的是对空间特征的维度映射,并不完全反映数据在高维空间的真实情况,因此,仍需通过下述实验进一步验证生成样本的质量.

    2.4.2   验证生成样本对入侵检测性能影响的实验

    通过比较用TADS、TADS-F与TADS-L分别训练的DNN入侵检测模型在相同测试集上的性能差异,来验证GMCW-GAN生成的攻击样本对入侵检测性能的影响. 从TADS中对各类别均匀分层抽样获取测试集,每类1000个,共计7000个测试数据. 用TADS、TADS-F与TADS-L分别训练DNN入侵检测模型,3个模型在测试集上测试得到的F1分数见图7,虚警率分别为12.7%、11.2%、12.4%.

    图  7  TADS、TADS-F、TADS-L数据集分别训练的DNN入侵检测模型的F1分数
    Figure  7.  F1 score of DNN intrusion detection models trained by TADS, TADS-F, and TADS-L

    对于TADS-DNN在测试集上的测试结果,在其样本分布均衡且数据量充足的情况下,不同类别攻击的F1分数是由其自身特性决定的,不在本文的讨论范围内. 可将这一结果作为基准参考,从而排除攻击本身的检测难度对比较结果的影响.

    TADS-DNN与TADS-F-DNN对比发现:后者各类攻击的F1分数相较于前者有明显下降,这是由攻击样本数量减少而导致的模型拟合能力下降引起的;与之相反的是,TADS-F-DNN对正常样本的检测能力略有提升,分析其原因可知,正常样本数量没有减少,模型可提取信息仍然充足,同时,由于攻击样本数量减少导致了类不平衡,模型会将其自身学习至擅于识别样本量大的类别,因此导致了对正常样本检测能力的小幅上升;TADS-F-DNN的虚警率略低于TADS-DNN,这同样说明训练时攻击样本的减少几乎不会影响正常样本的检测,反而因为引发的类不平衡现象,略微提高了对正常样本的识别能力.

    根据图7可知:TADS-L-DNN对攻击样本的检测能力相较于TADS-F-DNN有明显提升,对8类攻击样本的F1分数均有促进作用,使其平均提升了4.23%,这证明GMCW-GAN生成的攻击样本对入侵检测的检测准度有明显的促进作用;TADS-L-DNN的F1分数与虚警率均非常接近于TADS-DNN,由于TADS-L与TADS的数据分布相同,其唯一区别在于样本真实性不同,这证明了生成的攻击样本与真实样本非常相似;尽管两者的检测结果差距很小,但最好的检测效果仍由TADS-DNN取得,这表明生成样本本质上仍是对真实样本的模拟,只能尽可能地向其逼近.

    综上可知,GMCW-GAN可以生成非常接近真实攻击样本的高质量样本,可用于扩充小样本的攻击数据,从而提高入侵检测的检测能力.

    2.4.3   与其他生成方法的性能比较实验

    为进一步验证GMCW-GAN的生成能力,开展与其他经典方法及前沿方法的对比实验,其中,经典方法包括随机过采样(ROS)、SMOTE与传统GAN;前沿方法包括文献[8]与文献[9]所提出的方法. 利用上述多种方法从TADS-F中生成新的网络攻击样本,分别构造多个大样本数据集,其数据分布与TADS-L相同. 以TADS-L与这多个数据集训练的DNN入侵检测模型的测试结果见图8表4.

    图  8  不同生成方法对入侵检测F1分数的影响对比
    Figure  8.  Comparison of data generation methods affecting F1 score in intrusion detection

    图8可知:机制最为简单的ROS所生成的攻击样本对入侵检测的促进最少;SMOTE优于ROS,这是由于其应用了K近邻方法,使其比随机采样更具备信息提取能力;在IP扫描、端口扫描、漏洞扫描、ARP欺骗、UDP泛洪与TCP泛洪上,传统GAN表现出比ROS与SMOTE更好的生成能力,这证明了传统GAN具备更强的样本生成能力;但其篡改与重放样本的生成效果劣于SMOTE,导致这一结果的可能原因是传统GAN训练中出现了模式崩塌,使得模型对篡改与重放的拟合能力较低;相比之下,GMCW-GAN对篡改与重放样本的生成效果最好,但与其他方法的差距并不突出,导致这一结果的可能原因是篡改与重放样本同正常样本在特征上非常相似,因此,入侵检测模型对这2类生成样本并不敏感,表现为F1分数的变化较小.

    表  4  不同生成方法对入侵检测模型虚警率的影响对比
    Table  4.  Comparison of data generation methods affecting FPR of intrusion detection models %
    方法ROSSMOTEGAN文献[8]文献[9]本文方法
    虚警率12.512.112.212.412.212.4
    下载: 导出CSV 
    | 显示表格

    参与对比的2个前沿方法表现出了比经典方法更好的效果. GMCW-GAN取得了全局最优的表现,其生成的攻击样本所训练的模型在所有攻击类别上均取得了最佳F1分数,相较于其他方法,GMCW-GAN拥有最佳的攻击样本生成能力,将传统GAN的几种改进方法、生成器与判别器的优化设计综合在一起后,取得了明显的优化效果.

    表4可知,不同生成模型生成的样本对入侵检测模型的虚警率影响很小,这一结果再一次验证了2.4.3节中的结论,即生成的攻击样本主要用于促进入侵检测模型对攻击样本的检测能力,在正常样本数量较大的前提下,生成的攻击样本对正常样本的检测几乎没有影响.

    2.4.4   类内实验

    上述实验从整体视角评估并验证了本文方法的有效性,本节则开展类内实验,具体对比所提出的不同改进对生成样本的影响,从而验证各项改进的有效性.

    本文共对传统GAN进行了3项改进,其中第2项改进为约束条件改进,其效果体现在增强实验人员在样本生成实验中的控制力,即能够通过该改进来控制模型按需生成特定类型的攻击样本,因此,该改进对样本的质量无影响,不参与量化的评估. 为评估其他2项改进,即采样策略与损失函数的改进,首先,在GMCW-GAN中去除这2项改进,其次,去除一项、保留另一项,从而共建立3个模型,利用这3个模型,按照2.4.3节的方式开展对比实验,在入侵检测实验中,F1分数结果如图9所示. 由于不同生成模型对虚警率的影响已在上文实验中进行了验证,因此不再进行对比.

    图  9  2项类内改进方法对入侵检测的影响对比
    Figure  9.  Comparison of two in-class improvements affecting intrusion detection

    通过图9可知:采样策略改进与损失函数改进对各项攻击的F1分数均有促进作用,验证了对生成样本的多样性与真实性的提升效果;对于除篡改与重放外的其他攻击样本,损失函数改进对F1分数的促进比采样策略改进更明显,样本真实性的提升能够比多样性的提升在入侵检测中带来更明显的促进作用;对于篡改与重放,2项改进对F1分数的提升较为接近,这2类攻击与正常样本的相似度很高,因此,样本真实性在其检测过程中带来的收益相对受限,表现为多样性与真实性的促进效果接近. 整体而言,包含了2项改进的完整模型对各类攻击样本均具有最佳的F1分数,2项改进能够共同促进入侵检测的检测准度提升,进一步验证了2项改进的有效性.

    针对基于深度学习的ETCN入侵检测领域面临的网络攻击小样本问题,对传统生成对抗网络进行改进,提出了一种攻击样本生成方法GMCW-GAN. 该方法使用高斯混合模型、样本条件约束与沃瑟斯坦距离改进了GAN的采样策略、约束条件及损失函数,基于卷积神经网络构建了生成器与判别器. 在ETCN半实物实验平台中进行了模拟攻击实验以获取攻击样本,利用GMCW-GAN生成了新的攻击样本,通过多角度的实验证明了GMCW-GAN可以生成有效的网络攻击样本,可用其扩充模型训练数据,进而缓解ETCN入侵检测的小样本问题.

  • 图 1  GMCW-GAN的整体结构

    Figure 1.  Overall structure of GMCW-GAN

    图 2  生成器网络结构

    Figure 2.  Network structure of generator

    图 3  判别器网络结构

    Figure 3.  Network structure of discriminator

    图 4  ETCN半实物实验平台

    Figure 4.  Hardware-in-the-loop experimental platform of ETCN

    图 5  入侵检测模型的结构

    Figure 5.  Network structure of intrusion detection model

    图 6  真实样本与生成样本的三维空间表示

    Figure 6.  3D representation of real and generated samples

    图 7  TADS、TADS-F、TADS-L数据集分别训练的DNN入侵检测模型的F1分数

    Figure 7.  F1 score of DNN intrusion detection models trained by TADS, TADS-F, and TADS-L

    图 8  不同生成方法对入侵检测F1分数的影响对比

    Figure 8.  Comparison of data generation methods affecting F1 score in intrusion detection

    图 9  2项类内改进方法对入侵检测的影响对比

    Figure 9.  Comparison of two in-class improvements affecting intrusion detection

    表  1  TADS的样本分布

    Table  1.   Sample distribution of TADS

    攻击类别样本数量/个比例/%
    IP 扫描 10648 44.89
    端口扫描 9562
    漏洞扫描 11257
    篡改 9301
    重放 8872
    ARP 欺骗 9525
    正常报文 72643 55.11
    下载: 导出CSV

    表  2  TADS-F的样本分布

    Table  2.   Sample distribution of TADS-F

    攻击类别样本数量/个比例/%
    IP 扫描5003.97
    端口扫描500
    漏洞扫描500
    篡改500
    重放500
    ARP欺骗500
    正常报文72643 96.03
    下载: 导出CSV

    表  3  TADS-L的样本分布

    Table  3.   Sample distribution of TADS-L

    攻击类别样本数量/个比例/%
    IP 扫描1000045.23
    端口扫描10000
    漏洞扫描10000
    篡改10000
    重放10000
    ARP 欺骗10000
    正常报文7264354.77
    下载: 导出CSV

    表  4  不同生成方法对入侵检测模型虚警率的影响对比

    Table  4.   Comparison of data generation methods affecting FPR of intrusion detection models %

    方法ROSSMOTEGAN文献[8]文献[9]本文方法
    虚警率12.512.112.212.412.212.4
    下载: 导出CSV
  • [1] 简捷. 基于以太网的列车通信网络多业务调度优化策略研究[D]. 北京: 北京交通大学, 2020.
    [2] FENG J, LU X, YANG W, et al. Survey of development and application of train communication network[C]//Proceedings of the 2015 International Conference on Electrical and Information Technologies for Rail Transportation. Berlin: Springer, 2016: 843-854.
    [3] KUROSE J F, ROSS K W. Computer networking: a top-down approach. 7th edition[M]. [S.l.]: Cenveo Publishing Services, 2017.
    [4] 赵凯琳,靳小龙,王元卓. 小样本学习研究综述[J]. 软件学报,2021,32(2): 349-369.

    ZHAO Kailin, JIN Xiaolong, WANG Yuanzhuo. Survey on few-shot learning[J]. Journal of Software, 2021, 32(2): 349-369.
    [5] TAN X, SU S, HUANG Z, et al. Wireless sensor networks intrusion detection based on SMOTE and the random forest algorithm[J]. Sensors, 2019, 19(203): S19010203.1-S19010203.15. doi: 10.3390/s19010203
    [6] 刘金平,周嘉铭,刘先锋,等. 基于聚类簇结构特性的自适应综合采样法在入侵检测中的应用[J]. 控制与决策,2021,36(8): 1920-1928.

    LIU Jinping, ZHOU Jiaming, LIU Xianfeng, et al. Toward intrusion detection via cluster structure-based adaptive synthetic sampling approach[J]. Control and Decision, 2021, 36(8): 1920-1928.
    [7] GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[J]. Advances in Neural Information Processing Systems, 2014, 27: 2672-2680.
    [8] ANDRESINI G, APPICE A, DE ROSE L, et al. GAN augmentation to deal with imbalance in imaging-based intrusion detection[J]. Future Generation Computer Systems, 2021, 123: 108-127. doi: 10.1016/j.future.2021.04.017
    [9] HUANG S, LEI K. IGAN-IDS: an imbalanced generative adversarial network towards intrusion detection system in ad-hoc networks[J]. Ad Hoc Networks, 2020, 105: 102177.1-102177.11. doi: 10.1016/j.adhoc.2020.102177
    [10] REYNOLDS D A. Gaussian mixture models[J]. EncycLopedia of Biometrics, 2009, 741: 659-663.
    [11] ARJOVSKY M, CHINTALA S, BOTTOU L. Wasserstein generative adversarial networks[C]// Proceedings of the 3th International Conference on Machine Learning. Sydney: [s.n.], 2017: 214-223.
    [12] VILLANI C. Optimal transport: old and new[M]. Berlin: Springer, 2009.
    [13] MAAS A L, HANNUN A Y, NG A Y. Rectifier nonlinearities improve neural network acoustic models[C]// Proceedings of the 30th International Conference on Machine Learning. Atlauta: ICML, 2013: 3-9.
    [14] YUE C, WANG L, WANG D, et al. An ensemble intrusion detection method for train ethernet consist network based on CNN and RNN[J]. IEEE Access, 2021, 9: 59527-59539. doi: 10.1109/ACCESS.2021.3073413
    [15] GIBERT D, MATEU C, PLANES J. The rise of machine learning for detection and classification of malware: research developments, trends and challenges[J]. Journal of Network and Computer Applications, 2020, 153: 102526.1-102526.22. doi: 10.1016/j.jnca.2019.102526
    [16] VAN DER MAATEN L, HINTON G. Visualizing data using t-SNE[J]. Journal of Machine Learning Research, 2009, 9(11): 2579-2605.
  • 加载中
图(9) / 表(4)
计量
  • 文章访问数:  356
  • HTML全文浏览量:  163
  • PDF下载量:  52
  • 被引次数: 0
出版历程
  • 收稿日期:  2021-07-14
  • 修回日期:  2021-12-31
  • 网络出版日期:  2023-08-25
  • 刊出日期:  2022-04-01

目录

/

返回文章
返回