• ISSN 0258-2724
  • CN 51-1277/U
  • EI Compendex
  • Scopus 收录
  • 全国中文核心期刊
  • 中国科技论文统计源期刊
  • 中国科学引文数据库来源期刊

基于多尺度感知的密集人群计数网络

李恒超 刘香莲 刘鹏 冯斌

陈维荣, 燕雨, 李奇. 基于状态机的燃料电池混合动力系统控制策略[J]. 西南交通大学学报, 2019, 54(4): 663-670. doi: 10.3969/j.issn.0258-2724.20170279
引用本文: 李恒超, 刘香莲, 刘鹏, 冯斌. 基于多尺度感知的密集人群计数网络[J]. 西南交通大学学报, 2024, 59(5): 1176-1183, 1214. doi: 10.3969/j.issn.0258-2724.20220823
CHENG Weirong, YAN Yu, LI Qi. Control Strategy Based on State Machine for Fuel Cell Hybrid Power System[J]. Journal of Southwest Jiaotong University, 2019, 54(4): 663-670. doi: 10.3969/j.issn.0258-2724.20170279
Citation: LI Hengchao, LIU Xianglian, LIU Peng, FENG Bin. Dense Crowd Counting Network Based on Multi-scale Perception[J]. Journal of Southwest Jiaotong University, 2024, 59(5): 1176-1183, 1214. doi: 10.3969/j.issn.0258-2724.20220823

基于多尺度感知的密集人群计数网络

doi: 10.3969/j.issn.0258-2724.20220823
基金项目: 国家自然科学基金项目(62271418);四川省自然科学基金项目(23NSFSC0058)
详细信息
    作者简介:

    李恒超(1978—),男,教授,博士,研究方向为智能遥感图像处理,E-mail:hcli@home.swjtu.edu.cn

    通讯作者:

    冯斌(1979—),男,讲师,硕士,研究方向为体育场景人群计数,E-mail:feng197947@163.com

  • 中图分类号: TP391.41

Dense Crowd Counting Network Based on Multi-scale Perception

  • 摘要:

    针对密集人群场景存在的目标尺度多样、人群大尺度变化等问题,提出一种基于多尺度感知的密集人群计数网络. 首先,考虑到小尺度目标在图像中占比较大,以VGG-16 (visual geometry group 2016)网络为基础,引入空洞卷积模块,以挖掘图像细节信息;其次,为充分利用目标多尺度信息,构建新的上下文感知模块,以提取不同尺度之间的对比特征;最后,考虑到目标尺度连续变化的特点,设计多尺度特征聚合模块,提高密集尺度采样范围与多尺度信息交互,从而提升网络性能. 实验结果显示:在ShangHai Tech (Part_A/Part_B)和UCF_CC_50数据集上,本文方法的平均绝对误差(mean absolute error,MAE)分别为62.5、6.9、156.5,均方根误差(root mean square error,RMSE)分别为95.7、11.0、223.3;相较于最优对比方法,在UCF_QNRF数据集上的MAE和RMSE分别降低1.1%和4.3%,在NWPU数据集上分别降低8.7%和13.9%.

     

  • 随着中速磁悬浮列车的广泛商业化应用[1],作为其关键核心技术的电磁悬浮控制技术已经成熟稳定[2]. 商业化运营过程中随着规模和复杂性的迅速增加,对中速磁悬浮列车悬浮系统的安全性和可靠性的需求不断增长. 在过去几十年中,对磁浮列车悬浮系统的性能监测尤其是异常检测的研究引起了极大的兴趣[3-4].

    磁浮列车悬浮系统的异常指在列车实际运行中,悬浮系统出现工作状态与期望状态不匹配,但没有导致故障或失效的情况. 悬浮系统的异常具有出现时刻未知,持续时间短,通过控制器调节可以恢复稳定的特点. 对悬浮系统异常的精确检测可以提前获取系统的运行情况,有利于提前安排预防性维护计划,降低工程事故率[5].

    针对磁悬浮列车的异常检测研究通常可以分为针对轨道的检测和针对悬浮系统的检测. 针对磁浮列车轨道的异常检测问题,Zhang等[6]提出基于小波与分形相结合的高速磁悬浮列车长轨道磁异常检测方法,以发现高速磁悬浮列车长定子铁芯的局部短路故障;Deng等[7]对高温超导磁悬浮列车运行时永磁导轨的不规则性进行测量和表征,并设计了一种不规则性检测设备;罗茹丹[8]提出了“2+1”的检测方法实现对长定子行波主漏磁场异常情况的动态检测;林国斌等[9]提出一种基于车轨状态监测的悬浮冗余控制系统,用于在控制列车稳定悬浮的同时对车轨状态进行检测,并通过对悬浮间隙和电磁铁振动情况的分类和学习确定状态类型,具有实时性好、容错性高等优点;杨杰等[10]提出一种基于悬挂式磁悬浮轨道交通系统的轨道维护设备,在对轨道状态进行取样和检测后对轨道异常实现诊断. 文献[11]收集了振动条件下高温超导钉扎系统的水平和垂直加速度数据.

    针对磁浮列车悬浮系统的异常检测问题,朱跃欧等[12]提出一种磁浮列车悬浮控制器的异常预警方法与检测系统,通过分析悬浮间隙值所在区间,实现了车辆异常状况的在线检测与预警;王平等[13]提出了一种基于改进典型相关分析的中低速悬浮系统异常检测方法;通过运营线数据验证了该方法能获得更高的检测率;王平等[14]提出了一种基于超球体高斯分布的悬浮系统异常检测方法,该方法对系统异常检测的结果较为精确. 以新型悬挂式永磁磁浮列车研究对象,马政[15]设计并实现了一套基于物联网的永磁磁浮列车远程监控系统,实现了对列车悬浮状态的异常监控;Wang等[16]引入了支持向量机方法,利用悬浮传感器采集的实时信号来检测磁悬浮列车悬浮系统的异常状态;Ma等[17]将磁悬浮列车悬浮控制系统收集的数据用于训练机器学习模型,并根据数据确定磁悬浮列车的实际运行状态,以达到实时监控的目的.

    然而,上述方法存在2个问题:1) 大部分方法是基于单变量的异常检测,没有充分利用系统的运行数据. 磁浮列车悬浮系统的异常检测大多都是只基于悬浮间隙,而实际运行中电流、加速度数据同样包含系统的异常信息. 因此,如何应用列车悬浮系统运行时产生的多变量数据进行异常检测是一个关键问题. 2) 需要有异常的先验信息,而实际系统的异常先验信息是不完全可知的,这无疑会降低异常检测的准确率;此外,面向实际工程系统的异常检测模块或系统在设计时需考虑异常漏检率和异常误检率的折中,这需要从数理的角度进行分析.

    基于上述分析,本文将基于参数化残差的异常检测方法引入悬浮系统的异常检测问题,以最低异常漏检率为设计目标,提出了磁悬浮列车悬浮系统基于最低漏检率的残差生成器设计方法及异常检测方法. 结合磁悬浮列车悬浮系统的运行数据,验证了该残差生成器能够在满足期望误报率的情况下,实现异常漏检率的最小化.

    系统出现异常时的状态空间模型[18]

    {x(k+1)=Ax(k)+Bu(k)+Bff(k)+w(k),y(k)=Cx(k)+Du(k)+Dff(k)+v(k),
    (1)

    式中:x(k)为时刻k的系统状态;u(k)为时刻k的系统输入;y(k)为时刻k的系统输出;ABCD为一定维数的系统参数矩阵;BfDf为异常参数矩阵;f(k)为异常向量;w(k)为系统的过程噪声;v(k)为系统的输出噪声.

    则状态检测量z(k)

    {z(k)=Ψs[us(k)ys(k)],us(k)=[uT(ks)uT(ks+1)uT(k)]T,ys(k)=[yT(ks)yT(ksH)yT(k)]T,
    (2)

    式中:s为正整数,表示截断数据的长度;us(k)ys(k)为长度为s+1的输入、输出数据矩阵;Ψs为基于数据驱动的系统信息矩阵[19]ΨsΨs的正交补矩阵.

    当系统出现异常时的状态检测量为

    z(k)=Ψs[us(k)ys(k)]=[0Hw,sWk,s+Vk,s+Hf,sFs],
    (3)

    式中:Hw,s为过程噪声的Hankel矩阵;Wk,s为数据驱动的过程噪声矩阵;Vk,s为数据驱动的过程噪声矩阵;Hf,s为异常向量f(k)的Hankel矩阵;Fs为基于数据驱动的异常矩阵.

    从式(3)可以看出,当系统出现异常时,z(k)不仅包含噪声信息,同时也包含了异常信息[20].

    在基于模型的异常检测或故障检测领域,残差是通过比较实际系统的输出y(k)与估计输出ˆy(k)得到的,即定义r(k)=y(k)ˆy(k). 残差数据中包含了系统扰动和系统异常的全部信息,残差产生器设计的主要目标是设法让异常检测系统对异常敏感,同时对其他信号具有鲁棒性.

    结合Youla参数化和基于输入输出数据的状态检测量,残差生成器参数化形式为

    r(k)=gTz(k)=gTΨs[us(k)ys(k)],
    (4)

    式中:g为参数向量,是残差生成器和异常检测的核心[21].

    出于实际工程运营需要,通常在系统运行前就需要完成gΨs的设计,并且在一段时间内都不能改变其参数.

    由于残差数据中包含了系统扰动和系统异常的全部信息,因此,在系统运行时,可以通过对残差进行分析、处理,以及基于某种准则或阈值,来进一步掌握系统的运行状态信息,判断系统的运行状态.

    当系统运行时,残差生成器实时获得残差数据r(k),并将残差数据送入残差评估单元,计算残差评估函数J(r)=Jk(r). 在设置评估函数阈值Jth后,根据式(5)判断系统是否发生异常

    {Jk(r)>Jth,,Jk(r)Jth,.
    (5)

    传统的异常检测方案通常采用基于假设检验的方法进行残差评估,即假设残差的分布知识是准确已知的,或者可以从历史数据中估计出来[22]. 然而,对于磁浮列车悬浮系统而言,使用历史过程数据获得高度可信的概率分布估计比较繁琐,经验估计与真实概率分布的偏差可能会导致异常检测结果不可靠[23].

    尽管难以获得悬浮系统的高度可信概率分布,但在无异常时的z(k)可以视为属于同一个集合. 考虑到悬浮系统运行数据的统计特性,可以依据数据的均值和协方差矩阵对其进行建模.

    设无异常情况下,z(k)满足

    Sh={Szζz|E=ˉzh,V=Σh},
    (6)

    式中:Sh为无异常数据的置信集;ζz为所有z(k)的分布集合;ˉzhΣh为无异常时状态检测变量的均值和方差,ˉzhΣh是通过对健康运行数据进行计算得来的,通常可以选择刚投入运行时无异常的运行数据,也可以是某一次无异常运行时的数据;Ez(k)的均值;Vz(k)的方差.

    在悬浮系统运行初期,由于缺乏异常数据,难以分析出异常的数据分布特性. 因此,通常会依据正常运行时的数据特点预先设计一个异常检测系统,以实现对大部分潜在异常的检测. 假设系统运行时会出现M个典型异常,且发生第i个异常时的异常信号设为fi(k)i=1,2,,M. 为不失一般性,假设每个异常发生的概率相同. 采用均值和协方差矩阵对异常进行建模. 设异常情况时的z(k)满足

    Sfi={Szζz|E=ˉzfi,V=Σfi},
    (7)

    式中:Sfi为异常数据的置信集;ˉzfizfi(k)的均值,zfi(k)为第i个异常时的状态检测变量;Sfizfi(k)的方差.

    当有可用的异常数据时,可以直接使用该数据建立置信集. 若无异常数据或异常数据少时,则可以自定义M个异常情况下的均值和协方差,进而构建置信集,当有新可用的异常数据时,记录数据并离线更新置信集.

    针对第 i个异常,基于异常检测的残差信号为

    ri(k)=gTiz(k),
    (8)

    式中:gi为第i个异常时的参数向量.

    因此,第i个异常时的残差评估函数J(r)与阈值Jth

    {J(r)=(ri(k)ri,h)2,ri,h=gTiˉzh,Jth=1,
    (9)

    式中:ri,h为第i个无异常场景的残差.

    定义异常误检率PF=Pr{J(r)>1|fi(k)=0},定义异常漏检率为PM=Pr{J(r)1|fi(k)0}. 理想情况下,异常检测系统应该对所有潜在的异常检测且不存在异常的误报,即PF=PM=0,在实际中却难以实现. 当设计的PM越小时,往往会导致PF较高,反之亦然. 因此,异常检测系统通常会采取PFPM的折中.

    本文研究的悬浮系统的最低异常漏检率可被表述为PF固定时的最小化PM,即考虑当PF固定且可接受时,如何使得PM最小化[24]. 根据式(8)可知,giri(k)生成的关键,gi的取值会影响异常检测的PFPM. 因此,基于最低漏检率的残差生成器的设计最终转化为求得参数向量gi(gi0),使得

    minαi,s.t.{supPr{(gTi(z(k)ˉzh))21}αi,supPr{(gTi(z(k)ˉzh))2>1}βi,
    (10)

    式中:αi(0,1)βi(0,1),分别为PMPF的上界, βi在设计时应预先给出[25].

    进一步,异常检测式(10)可以被重构为

    maxa(gi),s.t.{kβigTiΣhgi1,a(gi)=gTi˜zfi˜zTfigikβigTiΣhgigTiΣfigi>0,
    (11)

    式中:kβi=1/βi˜zfi=ˉzfiˉzh.

    当获得最优gi后,只需将gi乘以一个非零常数,即可满足kβigTiΣhgi1. 因此,先分析a(gi)>0a(gi)的最大值.

    {b(gi)=gTizfizTfigigTiΣfigi,c(gi)=kβigTiΣhgigTiΣfigi,
    (12)

    式中:Σfi0b(gi)>c(gi)>0.

    d(gi)=c(gi)/b(gi)<1,因此,可以得到式(13)的关系.

    {a(gi)=b(gi)c(gi)=(1d(gi))b(gi),e(gi)=b2(gi)c2(gi)=1+d(gi)1d(gi)a2(gi).
    (13)

    e(gi)求关于a(gi)的导数,得

    e(gi)a(gi)=2a(gi)1+d(gi)1d(gi)>0.
    (14)

    因此,e(gi)关于a(gi)是单调增加的,所以式(11)可以变为求gi=argmaxgi0e(gi)的问题[26],即

    maxgi0e(gi)=maxgi0gTi(˜zfi˜zTfik2βiΣh)gigTiΣfigi.
    (15)

    通过上述分析,基于最低漏检率的残差生成器的设计问题最终转换为求解式(15)的广义特征值和特征向量[27],具体求解步骤如算法1所示.

    1) 算法 1:最优参数向量的求解

    步骤 1 对Σfi做 SVD 分解,Σfi=Ui[Si0]VTi,其中,λmax为最大奇异值;UiSiVi均为SVD分解后得出的矩阵;viVi中的元素向量.

    步骤 2 通过求解方程组

    {vTi(λm,iIS1iUTiΞiUiS1i)vi=0,Ξi=˜zfizTfik2βiΣh,λm,i=λmax{S1iUTiΞiUiS1i},vTivi=1,

    得出vi.

    步骤 3 依据 gi=UiS1ivi计算gi.

    步骤 4 依据 ˆgi=gikβigTiΣhgi计算出满足式(10)的最优参数向量ˆgi.

    在得出最优参数向量后,第i个异常的参数化残差生成器可以通过式(16)构建.

    ri(k)=ˆgiTΨs[us(k)ys(k)].
    (16)

    ˆri,h=ˆgiTˉzh,异常检测器的残差评估函数和异常检测阈值为

    {J(ri)=(ri(k)ˆri,h)2,Jth=1.
    (17)

    完整的异常检测见算法 2

    2) 算法 2:磁悬浮列车悬浮系统异常检测算法

    ① 离线辨识

    步骤 1 采集无异常情况下的输入输出数据,基于子空间辨识法离线辨识出矩阵Ψs.

    步骤 2 利用无异常的输入输出数据,计算得到ˉzhΣh,构建健康状况下的置信集Sh.

    步骤 3 建立M个异常的置信集Sfi. 当有M个异常时的输入输出数据,计算每个异常的ˉzfiΣfi,建立Sfi. 如果无异常数据,预设每个异常的ˉzfiΣfi,依此建立Sfi.

    步骤 4 确定每个异常下的βi,根据算法1计算出ˆgiˆri,h.

    ② 在线异常检测

    步骤 5 在线收集时间间隔为[ks,k]的输入输出数据,并构造数据矩阵[us(k)ys(k)]T.

    步骤 6 依据式(16)计算ri(k),依据式(17)执行异常检测并输出异常检测的结果.

    步骤 7 令k=k+1,重复步骤5和步骤6,直到中止时刻.

    本节结合长沙磁浮快线某辆磁浮列车的悬浮系统的健康数据和异常数据,验证所提出的基于最低漏检率的残差生成器在悬浮系统异常检测中的有效性.

    以长沙磁浮快线的运营磁浮列车为例,如图1所示,作为典型的常导电磁型磁浮列车[28],通常选用间隙作为其悬浮系统异常检测的检测变量,通过比较间隙值和异常阈值的大小来判断是否出现异常. 磁浮列车悬浮系统的工程异常阈值设置为标准间隙值 ±4 mm. 该线路的标准悬浮工作间隙为9 mm,工程异常阈值分别设为5 mm和13 mm.

    图  1  长沙磁浮快线
    Figure  1.  Changsha Maglev Express

    磁浮列车悬浮系统经常会遭受到3类异常:间隙突变异常、砸轨异常和加速度传感器异常. 间隙突变异常的现象是指在运行中间隙有明显的波动,但没有超过工程异常阈值,此时加速度、电流也对应有一定的波动,出现两个尖峰,但电压几乎没有波动. 该异常通常是由于磁浮列车经过轨道接缝引起的,如图2所示.

    图  2  间隙突变异常时间隙、电流、加速度和电压
    Figure  2.  Gap, current, acceleration, and voltage at gap mutation anomaly

    砸轨异常的现象是间隙有剧烈波动,在一段时间内间隙值超过工程异常阈值并且需要经历5 s左右的恢复期,此时加速度、电流、电压均在一段时间内出现剧烈波动,如图3所示.

    图  3  砸轨异常时的间隙、电流、加速度和电压
    Figure  3.  Gap, current, acceleration, and voltage at rail smashing anomaly

    加速度计异常的现象为间隙没有超过工程异常阈值,也没有较为明显的波动,但加速度的波动十分明显且变为负值,电压也出现两个极小值尖峰. 由于实际加速度计存在着1g的偏置,当加速度计输出信号为负时,表明此刻的加速度已经低于10m/s2,如图4所示.

    图  4  加速度计异常时的间隙、电流、加速度和电压
    Figure  4.  Gap, current, acceleration, and voltage at accelerometer anomaly

    以磁浮列车悬浮系统的第13个悬浮点的运行数据作为检测对象,如图5所示.

    图  5  第13个悬浮点的运行数据
    Figure  5.  Operational data of the 13th suspension point

    列车正线行驶时存在着站内悬浮和站间行驶两个运行工况,考虑到上述3类异常均出现在站间行驶运行工况,因此,以速度为划分基准,分段提取站间行驶工况的运行数据. 本节选择一个无异常站间行驶数据段、3个包含间隙异常的数据段、2个包含砸轨异常的运行数据段和包含3个加速度传感器异常的数据段作为检测数据.

    选择悬浮系统的电流数据作为输入数据,间隙数据和加速度数据作为输出数据,如图6所示. 依据正常运行时的输入输出数据建立Sh并离线辨识出Ψs.

    图  6  辨识所用的输入输出数据
    Figure  6.  Input and output data used for identification

    依据3种异常的输入输出数据建立异常置信集Sfi. 出于工程运营需求,设期望的故障误报率PF=5%,执行算法1可得

    ˆgi=(0.2575,0.2575,,0.2575)1×9.
    (18)

    基于最低漏检率的残差生成器为

    ri(k)=0.2575Ψs[us(k)ys(k)].
    (19)

    依据式(17)算出9个检测数据段的J(ri)并送入检测单元. 图7为无异常数据段的检测结果. 从图中可以看出,当系统无异常时,J(ri)小于0.4,均在异常检测阈值Jth之下,不存在异常误检.

    图  7  正常运行数据段的检测结果
    Figure  7.  Detection results of normal operational data segment

    含间隙突变异常的3个数据段的检测结果如图8所示. 在每个数据段,大部分数据都低于异常检测阈值Jth,但是在出现异常的时刻,存在着J(ri)大于Jth的情况,个数分别为8、6和5,说明该方案能够实现对间隙异常的检测. 此外,间隙突变异常的J(ri)的峰值略高于检测阈值Jth,一般在2以下,且不存在第二个大于Jth的次尖峰. 表1为间隙突变异常的检测位置与异常实际发生位置的对比,从表中可以看出,间隙突变异常1的检测时刻落后实际异常发生时刻 0.2 s,其他两个数据段可以及时检测出异常.

    图  8  间隙突变异常的检测结果
    Figure  8.  Detection results of gap mutation anomalies
    表  1  间隙突变异常的检测位置与异常实际发生位置
    Table  1.  Detection position and actual occurrence position of gap mutation anomalies
    异常检测位置/s实际位置/s
    间隙异常 15.95.7
    间隙异常 2568.7568.5
    间隙异常 321.121.1
    下载: 导出CSV 
    | 显示表格

    含砸轨异常的两个数据段的检测结果如图9所示. 从图中可以看出,该方法能够实现对砸轨异常的检测. 图9(a)中有20个样本的J(ri)>Jth图9(b)中有20个样本的J(ri)>Jth,此外,砸轨异常位置的J(ri)存在着两个高于Jth的峰值. 表2为砸轨异常的检测位置与异常实际发生位置对比. 从表2可以看出,砸轨异常的检测时刻落后于实际异常的发生时刻,落后约0.2 s. 结合图3可以发现,造成这一现象的主要原因是砸轨异常发生时刻数据变化不明显,间隙和加速度都有一个缓慢减小的阶段,没有大范围变化.

    图  9  砸轨异常的检测结果
    Figure  9.  Detection results of rail smashing anomalies
    表  2  砸轨异常的检测位置与异常实际发生位置
    Table  2.  Detection position and actual occurrence position of rail smashing anomalies
    异常检测位置/s实际位置/s
    砸轨异常 17.17.0
    砸轨异常 220.220.0
    下载: 导出CSV 
    | 显示表格

    含加速度计异常的3个数据段的检测结果如图10所示. 在每个数据段,大部分数据都低于异常检测阈值Jth,但是在出现加速度计异常的时刻,存在着J(ri)>Jth的情况,个数分别为5、7和4,且J(ri)的值较大,说明该方案能够实现对加速度计异常的检测. 表3为加速度计异常的检测位置与异常实际发生位置对比. 从表3中可以看出,一旦出现加速度计异常,本文所提出的方法可以立即检测出该异常,及时性较好.

    图  10  加速度计异常的检测结果
    Figure  10.  Detection results of accelerometer anomalies
    表  3  加速度计异常的检测位置与异常实际发生位置
    Table  3.  Detection position and actual occurrence position of accelerometer anomalies
    异常检测位置/s实际位置/s
    加速度计异常 152.252.2
    加速度计异常 252.152.1
    加速度计异常 340.540.5
    下载: 导出CSV 
    | 显示表格

    经过上述分析,基于残差生成器的异常检测方法可以用于磁悬浮列车悬浮系统的异常检测. 基于最低漏检率的异常检测方法能够实现磁悬浮列车悬浮系统3类典型异常的完全检测,不存在漏检的情况且不存在误检.

    本文针对电磁悬浮系统的异常检测问题开展了研究,以基于参数化残差的异常检测为核心,依据数据的均值和方差建立置信集,设计了基于最低异常漏检率的残差生成器,依据生成的残差数据在线进行异常检测. 最后,以长沙磁浮快线的运行数据为例,对悬浮系统常见的3类异常进行检测,实验结果表明,在给定异常误报率为5%时,本文所提出的方法能够实现对3类典型异常的全部检测,没有异常的漏检和误检. 检测时间对比结果进一步说明,本文提出的方法检测实时性较好.

  • 图 1  基于多尺度感知的密集人群计数网络结构

    Figure 1.  Structure of dense crowd counting network based on multi-scale perception

    图 2  特征增强块结构

    Figure 2.  Structure of feature enhancement block

    图 3  部分可视化结果

    Figure 3.  Partial visualization results

    表  1  不同方法在Shanghai Tech、UCF_CC_50、UCF_QNRF、NWPU数据集上的对比结果

    Table  1.   Comparison results of different methods on Shanghai Tech, UCF_CC_50, UCF_QNRF, and NWPU datasets

    模型Shanghai Tech Part_AShanghai Tech Part_BUCF_ CC_50UCF_ QNRFNWPU
    MAERMSEMAERMSEMAERMSEMAERMSEMAERMSE
    MCNN[7]110.2173.226.441.3377.6509.1277.0426.0218.5700.6
    CSRNet[10]68.2115.010.616.0266.1397.5120.3208.5104.8433.4
    PDD-CNN[29]64.799.18.814.3205.4311.7115.3190.2
    TEDNet[18]64.2109.18.212.8249.4354.5113.0188.0
    KDMG[30]63.899.27.812.799.5173.0100.5415.5
    BL[31]62.8101.87.712.7229.3308.288.7154.893.6470.3
    CAN[20]62.3100.07.812.2212.2243.7107.0183.093.5489.9
    MCANet[32]60.1100.26.811.0181.3258.6100.8185.9
    SC2Net[33]58.997.76.911.4209.4286.398.5174.589.7348.9
    MSPNet62.595.76.911.0156.5223.387.7148.281.9300.3
    下载: 导出CSV

    表  2  CAM结构的消融实验结果

    Table  2.   Ablation experiments of CAM structure

    方法 MAE RMSE
    本文+PPM 63.6 105.4
    本文+CAM 62.5 95.7
    下载: 导出CSV

    表  3  模块结构的消融实验结果

    Table  3.   Ablation experiments of different module structures

    方法 MAE RMSE
    CAM 68.2 118.8
    DCM 66.2 113.0
    DCM+CAM 64.9 109.8
    CAM+MSAM 65.5 111.4
    DCM+MSAM 64.0 111.5
    DCM+CAM+MSAM 62.5 95.7
    下载: 导出CSV

    表  4  FEB层选择消融实验结果

    Table  4.   Ablation experiments of number selection for FEB

    FEB 层数/层 MAE RMSE
    0 64.9 109.8
    2 63.5 103.4
    4 62.5 95.7
    6 67.1 115.8
    下载: 导出CSV
  • [1] FAN Z Z, ZHANG H, ZHANG Z, et al. A survey of crowd counting and density estimation based on convolutional neural network[J]. Neurocomputing, 2022, 472: 224-251. doi: 10.1016/j.neucom.2021.02.103
    [2] 余鹰,朱慧琳,钱进,等. 基于深度学习的人群计数研究综述[J]. 计算机研究与发展,2021,58(12): 2724-2747. doi: 10.7544/issn1000-1239.2021.20200699

    YU Ying, ZHU Huilin, QIAN Jin, et al. Survey on deep learning based crowd counting[J]. Journal of Computer Research and Development, 2021, 58(12): 2724-2747. doi: 10.7544/issn1000-1239.2021.20200699
    [3] TOPKAYA I S, ERDOGAN H, PORIKLI F. Counting people by clustering person detector outputs[C]//2014 11th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). Seoul: IEEE, 2014: 313-318.
    [4] RYAN D, DENMAN S, SRIDHARAN S, et al. An evaluation of crowd counting methods, features and regression models[J]. Computer Vision and Image Understanding, 2015, 130: 1-17. doi: 10.1016/j.cviu.2014.07.008
    [5] LEMPITSKY V, ZISSERMAN A. Learning to count objects in images[C]//Proceedings of the 23rd International Conference on Neural Information Processing Systems. New York: ACM, 2010: 1324-1332.
    [6] WANG C, ZHANG H, YANG L, et al. Deep people counting in extremely dense crowds[C]//Proceedings of the 23rd ACM international conference on Multimedia. Brisbane: ACM, 2015: 1299-1302.
    [7] ZHANG Y Y, ZHOU D S, CHEN S Q, et al. Single-image crowd counting via multi-column convolutional neural network[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016: 589-597.
    [8] SINDAGI V A, PATEL V M. Generating high-quality crowd density maps using contextual pyramid CNNs[C]//2017 IEEE International Conference on Computer Vision (ICCV). Venice: IEEE, 2017: 1879-1888.
    [9] CAO X K, WANG Z P, ZHAO Y Y, et al. Scale aggregation network for accurate and efficient crowd counting[C]//European Conference on Computer Vision. Cham: Springer, 2018: 757-773.
    [10] LI Y H, ZHANG X F, CHEN D M. CSRNet: dilated convolutional neural networks for understanding the highly congested scenes[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 1091-1100.
    [11] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[C]//3rd International Conference on Learning Representations. San Diego: [s.n.], 2015: 1-14.
    [12] YU F, KOLTUN V. Multi-scale context aggregation by dilated convolutions[C]//Proceedings of the 4th International Conference on Learning Representations. Puerto Rico: ICLR, 2016: 1-13.
    [13] 田晟,张剑锋,张裕天,等. 基于扩张卷积金字塔网络的车道线检测算法[J]. 西南交通大学学报,2020,55(2): 386-392,416. doi: 10.3969/j.issn.0258-2724.20181026

    TIAN Sheng, ZHANG Jianfeng, ZHANG Yutian, et al. Lane detection algorithm based on dilated convolution pyramid network[J]. Journal of Southwest Jiaotong University, 2020, 55(2): 386-392,416. doi: 10.3969/j.issn.0258-2724.20181026
    [14] 左静,巴玉林. 基于多尺度融合的深度人群计数算法[J]. 激光与光电子学进展,2020,57(24): 315-323.

    ZUO Jing, BA Yulin. Population-depth counting algorithm based on multiscale fusion[J]. Laser & Optoelectronics Progress, 2020, 57(24): 315-323.
    [15] CHEN X Y, BIN Y R, SANG N, et al. Scale pyramid network for crowd counting[C]//2019 IEEE Winter Conference on Applications of Computer Vision (WACV). Waikoloa: IEEE, 2019: 1941-1950.
    [16] SINDAGI V, PATEL V. Multi-level bottom-top and top-bottom feature fusion for crowd counting[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul: IEEE, 2019: 1002-1012.
    [17] ZHOU Y, YANG J X, LI H R, et al. Adversarial learning for multiscale crowd counting under complex scenes[J]. IEEE Transactions on Cybernetics, 2021, 51(11): 5423-5432. doi: 10.1109/TCYB.2019.2956091
    [18] JIANG X L, XIAO Z H, ZHANG B C, et al. Crowd counting and density estimation by trellis encoder-decoder networks[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach: IEEE, 2019: 6126-6135.
    [19] TIAN Y K, LEI Y M, ZHANG J P, et al. PaDNet: pan-density crowd counting[J]. IEEE Transactions on Image Processing, 2020, 29: 2714-2727. doi: 10.1109/TIP.2019.2952083
    [20] LIU W Z, SALZMANN M, FUA P. Context-aware crowd counting[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach: IEEE, 2019: 5094-5103.
    [21] LI H, KONG W H, ZHANG S H. Effective crowd counting using multi-resolution context and image quality assessment-guided training[J]. Computer Vision and Image Understanding,2020,201:103065.1-103065.10.
    [22] IDREES H, SALEEMI I, SEIBERT C, et al. Multi-source multi-scale counting in extremely dense crowd images[C]//2013 IEEE Conference on Computer Vision and Pattern Recognition. Portland: IEEE, 2013: 2547-2554.
    [23] IDREES H, TAYYAB M, ATHREY K, et al. Composition loss for counting, density map estimation and localization in dense crowds[C]//European Conference on Computer Vision. Cham: Springer, 2018: 544-559.
    [24] WANG Q, GAO J Y, LIN W, et al. NWPU-crowd: a large-scale benchmark for crowd counting and localization[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(6): 2141-2149. doi: 10.1109/TPAMI.2020.3013269
    [25] ZHAO H S, SHI J P, QI X J, et al. Pyramid scene parsing network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu: IEEE, 2017: 6230-6239.
    [26] ZHANG Z L, ZHANG X Y, PENG C, et al. ExFuse: enhancing feature fusion for semantic segmentation[C]//European Conference on Computer Vision. Cham: Springer, 2018: 273-288.
    [27] 王银,王立德,邱霁. 基于DenseNet结构的轨道暗光环境实时增强算法[J]. 西南交通大学学报,2022,57(6): 1349-1357. doi: 10.3969/j.issn.0258-2724.20210199

    WANG Yin, WANG Lide, QIU Ji. Real-time enhancement algorithm based on DenseNet structure for railroad low-light environment[J]. Journal of Southwest Jiaotong University, 2022, 57(6): 1349-1357. doi: 10.3969/j.issn.0258-2724.20210199
    [28] DAI F, LIU H, MA Y K, et al. Dense scale network for crowd counting[C]//Proceedings of the 2021 International Conference on Multimedia Retrieval. Taipei: ACM, 2021: 64-72.
    [29] WANG W X, LIU Q L, WANG W. Pyramid-dilated deep convolutional neural network for crowd counting[J]. Applied Intelligence, 2022, 52(2): 1825-1837. doi: 10.1007/s10489-021-02537-6
    [30] WAN J, WANG Q Z, CHAN A B. Kernel-based density map generation for dense object counting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(3): 1357-1370. doi: 10.1109/TPAMI.2020.3022878
    [31] MA Z H, WEI X, HONG X P, et al. Bayesian loss for crowd count estimation with point supervision[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul: IEEE, 2019: 6141-6150.
    [32] WANG X, LV R R, ZHAO Y, et al. Multi-scale context aggregation network with attention-guided for crowd counting[C]//2020 15th IEEE International Conference on Signal Processing (ICSP). Beijing: IEEE, 2020: 240-245.
    [33] LIANG L J, ZHAO H L, ZHOU F B, et al. SC2Net: scale-aware crowd counting network with pyramid dilated convolution[J]. Applied Intelligence, 2023, 53(5): 5146-5159.
  • 加载中
图(3) / 表(4)
计量
  • 文章访问数:  326
  • HTML全文浏览量:  104
  • PDF下载量:  71
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-11-29
  • 修回日期:  2023-03-08
  • 网络出版日期:  2024-07-04
  • 刊出日期:  2023-03-17

目录

/

返回文章
返回