Infrared and Visible Image Fusion Based on Attention Mechanism and Illumination-Aware Network
-
摘要:
部分图像融合方法未充分考虑图像环境的光照状况，导致融合图像中出现红外目标亮度不足以及整体画面亮度较低，从而影响纹理细节的清晰度. 为解决上述问题，提出一种基于注意力机制与光照感知网络相结合的红外与可见光图像融合算法. 首先，在训练融合网络之前利用光照感知网络计算当前场景是日间或夜间的概率，将其运用至融合网络损失函数中，用以指导融合网络训练；然后，在网络的特征提取部分采用空间注意力机制和深度可分离卷积对源图像进行特征提取，得到空间显著信息后，输入卷积神经网络（CNN）以提取深度特征；最后，将深度特征信息进行拼接用于图像重建，进而得到最终的融合图像. 实验结果表明：本文方法的互信息（MI）、视觉保真度（VIF）、平均梯度（AG）、融合质量（Qabf）与空间频率（SF）较对比方法分别平均提高39.33%、11.29%、26.27%、47.11%和39.01%；融合后的图像能够有效保留红外目标亮度，且包含丰富的纹理细节信息.
Abstract:Some image fusion methods do not fully consider the illumination conditions in the image environment, resulting in insufficient brightness of infrared targets and overall low brightness of the image in the fused image, thereby affecting the clarity of texture details. To address these issues, an infrared and visible image fusion algorithm based on attention mechanism and illumination-aware network was proposed. Firstly, before training the fusion network, the illumination-aware network was used to calculate the probability that the current scene was daytime or nighttime and apply it to the loss function of the fusion network, so as to guide the training of the fusion network. Then, in the feature extraction part of the network, spatial attention mechanism and depthwise separable convolution were used to extract features from the source image. After obtaining spatial salient information, it was input into a convolutional neural network (CNN) to extract deep features. Finally, the deep feature information was concatenated for image reconstruction to obtain the final fused image. The experimental results show that the method proposed in this paper improves mutual information (MI), visual fidelity (VIF), average gradient (AG), fusion quality (Qabf), and spatial frequency (SF) by an average of 39.33%, 11.29%, 26.27%, 47.11%, and 39.01%, respectively. At the same time, it can effectively preserve the brightness of infrared targets in the fused images, including rich texture detail information.
-
我国现行电气化铁路需在牵引变电所出口处和分区所处均设置电分相[1-3]. 电分相为无电区，若机车通过电分相时速度较低，可能造成机车闯分相失败，造成停车事故；司机操作一旦失误，可能造成供电系统短路，引起跳闸断电，严重时可能损坏供电系统和车载设备，对重载机车安全可靠运行造成重大影响，成为限制重载铁路运输能力的瓶颈[4-6].
在单所同相供电的基础上，相邻2个牵引变电所之间采用双边供电方式可构成电气化铁路贯通式同相供电系统. 对于单所同相供电，组合式同相供电技术以最小变流器容量实现了单个牵引变电所的同相供电[1]，被温州市域铁路S1线、广州地铁18号和22号线等采用. 根据外部电源的不同，文献[7]将双边供电分为平行双边供电和树形双边供电. 目前，平行双边供电被韩国和俄罗斯等国采用，但存在均衡电流、三相电压不平衡等问题[8-9]. 对于树形双边供电系统，文献[10]建立了牵引网阻抗模型和潮流计算模型；文献[11]研究了负序补偿方案，包括集中式补偿和分布式补偿方案. 此外，文献[12]还对双边供电中谐波的传输模型及谐振发生机理进行了研究.
已有的贯通供电系统研究侧重于牵引供电系统侧建模，对考虑外部电源结构的系统整体运行研究相对较少. 本文从空载、负载和故障三方面对树形贯通式同相供电系统的运行状态进行研究. 对于空载工况，建立双边供电系统均衡电流评估模型；对于负载工况，以某实际重载线路为例，借助于负荷过程仿真，评估系统的供电能力，分析系统对外部电网的负序影响；对于系统故障工况，分析该系统可能出现的各类系统故障，提出不同故障时系统的运行策略和保护配置方案.
1. 均衡电流
根据牵引供电系统外部电源供电方式的不同，牵引变电所TS1、TS2可形成2类双边供电系统，即平行双边供电和树形双边供电，如图1所示[7]. 双边供电方式下，牵引网与电力系统输电线并联形成环网，产生附加的均衡电流，会对铁路电量计费等造成影响[13-14]. 因此，有必要构建均衡电流评估模型分析2类双边供电系统.
2类双边供电形式都可以用图2所示的等值电路表示. 图中：$\dot {U}_{{\rm{1N}}} $、$\dot {U}_{{\rm{2N}}} $分别为牵引变电所TS1、TS2进线对应的公共连接点（PCC）处的电压；${Z_{{\text{J}}1}}$、${Z_{{\text{J2}}}}$分别为牵引变电所TS1、TS2进线对应的总阻抗；${Z_{{\text{T}}1}}$、${Z_{{\text{T2}}}}$分别为TS1、TS2中牵引变压器T1、T2归算至牵引侧的阻抗；${Z_{\text{q}}}$为牵引网的等值阻抗；$ {\dot {I}_{\text{q}}} $为空载时的牵引网电流，即均衡电流；牵引变压器T1、T2原（次）边电压分别为$\dot {U}_1 $、$\dot {U}_2 $ （$ {\dot {u}_1} $、$ {\dot {u}_2} $），对应的变比分别为k1、k2.
对图2中回路1～3列写方程，得
{˙u1−˙u2=˙Iq(ZT1+ZT2+Zq),˙U1N=˙U1+˙Iqk1ZJ1,˙U2N=˙U2−˙Iqk2ZJ2, (1) 式中：${Z_{{\text{T}}i}} = \dfrac{{{P_{{\text{T}}i}}}}{{1\;000}} \dfrac{{U_{{\text{T}}i}^2}}{{S_{{\text{T}}i}^2}} + {\text{j}}\dfrac{{{U_{{\text{Td}}i}} }}{{100}} \dfrac{{U_{{\text{T}}i}^2}}{{S_{{\text{T}}i}^2}}$ （i=1，2），其中，STi、UTi、UTdi和PTi分别为牵引变压器的额定容量、额定电压、短路电压百分比和短路损耗.
由式（1）求得
˙Iq=k1k22˙U1N−k21k2˙U2NZS, (2) 式中：${Z_{\rm{S}} } = k_2^2{Z_{{\text{J}}1}} + k_1^2{Z_{{\text{J2}}}} + k_1^2k_2^2\left( {{Z_{{\text{T}}1}} + {Z_{{\text{T2}}}} + {Z_{\text{q}}}} \right)$.
将${\dot{U}_{{\text{1N}}}} = {U_{{\text{1N}}}} $∠${\theta _1} $和${\dot{U}_{2{\text{N}}}} = {U_{2{\text{N}}}}$∠${\theta _2} $代入式（2）中，U1N、θ1 （U2N、θ2）分别为$\dot{U}_{1{\rm{N}}} $（$\dot{U}_{2{\rm{N}}} $）的模值、相角，得到${\dot{I}_{\text{q}}}$的模值为
Iq=|k1k2ZS|√γ21+γ22, (3) 式中：${\gamma _1} = {k_2}{U_{{\text{1N}}}}\cos\; {\theta _1} - {k_1}{U_{{\text{2N}}}}\cos\; {\theta _2}$；${\gamma _2} = {k_2}{U_{{\text{1N}}}}\sin\; {\theta _1} - {k_1}{U_{{\text{2N}}}}\sin \;{\theta _2}$.
1） 平行双边供电
平行双边供电方式下，式（2）中$\dot{U}_{1{\rm{N}}} $和$\dot{U}_{2{\rm{N}}} $的幅值和相角不会完全一致，即${\dot{U}_{{\text{1N}}}} \ne {\dot{U}_{{\text{2N}}}}$，则${\dot{I}_{\text{q}}} \ne 0$，存在均衡电流. 设定k1、k2为定值，${\dot{U}_{{\text{1N}}}} = $${U_{{\text{1N}}}}$∠${\theta _1} = $110∠0° kV也为定值，改变$ {\dot{U}_{2{\text{N}}}} $的幅值和相角，分析电压幅值和相角差异对均衡电流的影响. 根据式（3）计算得到对应的${{I_{\text{q}}}}$如图3（a）所示，$\dot{U}_{1{\rm{N}}} $和$\dot{U}_{2{\rm{N}}} $的幅值和相角差异越大，对应的${{I_{\text{q}}}}$也越大. 此外，设定$\dot{U}_{1{\rm{N}}} $和$\dot{U}_{2{\rm{N}}} $为定值，改变k1和k2，分析牵引变压器变比差异对均衡电流的影响. 根据式（3）得到对应的${{I_{\text{q}}}}$如图3（b）所示，牵引变压器的变比差异越大，对应的${{I_{\text{q}}}}$也越大.
图 3 均衡电流变化规律（平行双边供电）Figure 3. Equalizing current variation （parallel bilateral power supply）2） 树形双边供电
树形双边供电方式下，式（2）中$ \dot{U}_{1{\rm{N}}}$和$\dot{U}_{2{\rm{N}}} $相等. 设定$\dot{U}_{1{\rm{N}}} $和$\dot{U}_{2{\rm{N}}} $为定值，改变k1和k2，分析牵引变压器变比差异对均衡电流的影响. 根据式（3）得到对应的$ {{I_{\text{q}}}}$如图4所示，牵引变压器的变比差异越大，对应的$ {{I_{\text{q}}}} $也越大，当$ {k_1} = {k_2} $时，均衡电流为0. 进一步，由式（3）可知，当$\dot{U}_{1{\rm{N}}} $、$\dot{U}_{2{\rm{N}}} $、k1和k2取值确定后，$ {{I_{\text{q}}}} $的取值仅与$ \left| {{Z_{\rm{S}} }} \right| $有关，$ \left| {{Z_{\rm{S}} }} \right| $取决于Zq、ZJi和ZTi的取值.
图 4 均衡电流变化规律（树形双边供电）Figure 4. Equalizing current variation （tree bilateral power supply）为最大限度降低均衡电流影响，在满足经济条件的前提下，重载铁路贯通式同相供电系统外部电源可选择树形供电方式；对于机车负荷造成的三相电压不平衡，可在牵引变电所设置组合式同相供电装置进行治理，同时为新能源的消纳预留接口；为提高系统供电可靠性，接触网可采用分段供电与状态测控技术保障牵引网安全运行. 结合上述技术措施构成重载铁路树形贯通式同相供电系统，如图5所示. 此时，牵引变电所TS1、TS2出口处及TS1、TS2之间的供电区段不需再设置电分相，能够实现对重载铁路机车的不间断供电，避免机车过电分相时存在的失速、过电压和过电流等风险.
2. 供电能力
重载铁路贯通式同相供电系统的供电能力与外部电源的电压等级、系统短路容量、进线阻抗、牵引供电系统的供电方式、牵引变压器容量、牵引网导线选型、机车负荷和运量水平等因素均有关系，当设备容量、导线载流量均满足要求时，牵引网的电压水平则成为系统供电能力良好发挥的主要制约因素. 外部电源的电压等级越大、系统的短路容量越大、进线阻抗越小、牵引变压器容量越大、牵引网阻抗越小，则输送至牵引变电所处的电压损失越小，对应的牵引网电压水平则越高.
通过负荷过程仿真、现场数据实测等技术手段，可以评估牵引网的电压水平，校验方案的设计是否合理. 以某实际重载线路树形贯通式同相供电改造方案为例，分别从正常供电和牵引变电所解列2类工况对树形贯通式同相供电系统的供电能力进行分析与评估. 该线路全长约130 km，如图6所示，改造前，全线共设置4座牵引变电所，分别为牵引变电所TS3、TS4、TS5和TS6，采用Vv接线方式，共设置7处电分相，全线异相供电.
如图7所示，利用既有牵引变电所和分区所作为分段，采用牵引网分段保护与状态测控技术对既有牵引变电所和分区所进行改造. 改造后，全线存在2种运行方式. 当变电站5正常供电时，TS4、TS5同时由变电站5进行供电，构成树形贯通式同相供电系统，为全线供电，全线电分相由7处变为0处；当TS4、TS5分别由变电站4、6供电时，开闭所4处开关断开，TS4、TS5分别构成单所同相供电，全线电分相由7处变为1处. 正常情况下，该系统优先工作于双边供电模式，故本节通过构建双边供电系统的链式电路模型，并采用连续线性潮流算法求解[15]，分析其供电能力.
图 7 采用树形贯通式同相供电系统的改造方案Figure 7. Transformation schemes with tree continuous co-phase power supply system2.1 正常供电
正常供电情况下牵引变电所TS4、TS5均投入运行，如图7（a）所示，牵引网贯通供电，短路容量按照1000 MV·A考虑. 对年运量3500万、5000万吨的情形进行负荷过程仿真，机车为HXD4D，牵引网采用直供带回流线的供电方式. 典型值统计结果如表1所示，在年运量3500万吨时，牵引网上、下行最低网压为24.37 kV，年运量5000万吨时，最低网压为25.28 kV，满足牵引网电压要求.
表 1 正常供电情况下典型值统计结果Table 1. Statistical results of simulation values under normal power supply年运量/
万吨牵引网最低电压/kV 钢轨对地最高电压/V 上行 下行 上行 下行 3500 24.37 24.44 41.81 42.33 5000 25.28 25.46 15.32 14.52 2.2 牵引变电所解列
牵引变电所TS4、TS5均有2路电源和2台主变，解列的概率极低，但一旦解列，将对系统供电能力造成影响. 牵引变电所解列包括以下2种情况：
1） 牵引变电所TS5解列
牵引变电所TS5解列时，由牵引变电所TS4为全线供电，如图7（b）所示，进行负荷过程仿真，典型值统计结果如表2所示，上、下行牵引网最低网压为22.74 kV，满足牵引网电压要求.
表 2 牵引变电所TS5故障时，TS4典型值统计结果Table 2. Statistical results of simulation values of TS4 with traction substation TS5 fault方向 牵引网最低电压/kV 钢轨对地最高电压/V 上行 22.74 50.44 下行 22.87 16.34 2） 牵引变电所TS4解列
牵引变电所TS4解列时，由牵引变电所TS5为全线供电，如图7（c）所示，进行负荷过程仿真，典型值统计结果如表3所示，上、下行牵引网最低网压为22.78 kV，满足牵引网电压要求.
表 3 牵引变电所TS4故障时，TS5典型值统计结果Table 3. Statistical results of simulation values of TS5 with traction substation TS4 fault方向 牵引网最低电压/kV 钢轨对地最高电压/V 上行 22.78 59.81 下行 23.10 19.76 机车牵引工况和再生制动工况下的额定功率发挥均受接触网电压的影响. 以牵引工况为例，当接触网电压低于22.50 kV或高于29.00 kV时，机车将不能发挥额定功率，为确保机车安全运行，需要校验接触网电压是否在机车功率发挥曲线要求的范围内[16]. 对于接触网电压偏低，影响机车额定功率发挥的情形，可通过增加无功补偿装置（例如静止无功发生器）和调节牵引变压器抽头等措施提升牵引网的电压. 经校验，牵引变电所解列时，本文方案能够满足列车功率需求.
此外，对于钢轨电位较高的情形，可通过增加贯通地线等措施降低钢轨电位[17-18].
3. 对外部电网的负序影响
电气化铁路为单相负荷，会对外部电网产生负序影响，对电力系统造成危害，如电动机效率下降、局部过热、继电保护装置误动作等[19-20]. 因此，准确地评估负序有利于保证重载铁路贯通式同相供电系统以及其外部电源的安全运营. 针对线路的不同阶段可采用不同的评估方法. 对于处在规划设计阶段的线路，可收集数据资料，建立系统模型，通过仿真计算对系统进行负序评估；对于已投入运行的线路，可通过电能质量测试仪等专业设备直接测量系统负序，并进行评估.
《电能质量——三相电压不平衡》（GB/T 15543—2008）[21]给出一种电压不平衡度$ {\varepsilon _{{\text{U2}}}} $的近似计算方法，如式（4）所示.
εU2=√3I2ULSd, (4) 式中：I2为负序电流值；Sd为PCC处的三相短路容量；UL为三相电力系统线电压.
在改造方案设计阶段可结合仿真数据，利用式（4）对树形贯通式同相供电系统进行负序评估，若PCC处的三相电压不平衡度符合规定要求，牵引变压器采用单相接线变压器即可；若PCC处的三相电压不平衡度超过规定范围，可投入同相补偿装置来治理负序问题.
由仿真结果可知，采用单相接线变压器构成的树形贯通式同相供电系统的三相电压不平衡度95%概率大值和最大值分别为2.59%和3.41%，不满足《电能质量——三相电压不平衡》对于三相电压不平衡度限值的要求；采用组合式同相供电装置后，三相电压不平衡度95%概率大值和最大值分别为1.20%和1.65%，满足《电能质量——三相电压不平衡》对于三相电压不平衡度限值的要求.
4. 系统故障和保护配置
电气化铁路作为一级负荷，当系统发生故障时，保护装置应及时采取措施，使系统故障范围尽可能的小. 对于重载铁路而言，尽可能小的故障范围能够降低其对于运输能力的影响. 树形贯通式同相供电系统可能会发生的故障有高压进线故障、同相供电装置故障、接触网故障等，各类故障及相应保护装置如图8所示，DL表示短路器，K1～K4为典型故障位置.
1） 高压侧进线短路故障
当高压侧进线发生短路故障时，电网侧保护动作使DL101跳闸，反向保护装置动作使DL103跳闸，从而切除故障，断开电源进线，备用进线投入运行.
2） 同相供电装置故障
贯通供电工程改造完成后，除了既有继电保护外，同相供电装置设置继电保护. 当同相供电装置故障时，继电保护动作使DL203和DL205跳闸，将故障的同相供电装置支路切除，备用同相供电装置投入运行；同相供电装置因故障全部退出运行后，主牵引变压器单独供电.
3） 接触网短路故障
对重载铁路树形贯通式同相供电系统，接触网上增设分段保护与状态测控装置，可在分区所处自然分段，每个分段相当于原单边供电的一个供电臂. 分段两端设置开闭所，在每个开闭所内设置电压互感器、电流互感器、分段器及断路器，如图8所示. 通过分段两端电流互感器测得的电流大小，可判断分段内机车的运行情况；通过分段两端电压互感器测得的电压，结合潮流符号法，可判断分段内是否发生接地短路或断路故障. 当接触网发生故障时，保护装置可及时分辨故障类型并切除故障区间，达到尽可能保证非故障区间正常运行的目的.
图8中，K1和K3、K2和K4分别属于同一种故障位置类型，故以K1、K2故障为例进行分析. 接触网2种不同位置发生故障时，传统牵引供电系统和树形贯通式同相供电系统各保护装置的动作情况对比如表4所示. 由表4可知，当传统牵引供电系统发生接触网故障时，保护装置会将整个供电臂甚至非故障区间的供电臂切除，影响范围扩大；当重载铁路树形贯通式同相供电系统发生接触网故障时，采用由分段保护及测控装置准确识别故障分段并切除，既有保护作为后备的运行策略，只将故障区段切除，其余区段正常供电.
表 4 接触网不同位置发生故障时的保护装置动作分析Table 4. Analysis of protection device action when faults occurred in different locations of overhead contact line system故障位置 传统牵引供电系统保护装置动作情况 树形贯通式同相供电系统保护装置动作情况 K1 既有保护使断路器 DL31 动作切除故障供电臂 分段保护与测控装置识别故障区间并切除；如果不满足分段故障切除条件或分段保护装置故障，则既有保护使断路器 DL31 动作，切除故障供电臂，其余分段正常运行 K2 DL32 闭合，不越区，开闭所 不闭合；既有保护使断路器 DL32 动作，切除 DL32 至 DL33间接触网；
DL32闭合，越区，开闭所闭合；既有保护使断路器 DL32动作，切除 DL32至 DL35间接触网；
DL35 闭合，越区，开闭所闭合；既有保护使断路器 DL35 动作，切除 DL35 至 DL 32 间接触网分段保护及测控装置识别故障区间并切除；如不满足分段故障切除条件或分段保护装置故障，则既有保护使断路器 DL32和 DL35 动作，切除故障接触网区间 进一步得到重载铁路传统牵引供电系统和树形贯通式同相供电系统各类故障分析及措施对比，如表5所示.
表 5 系统各类故障分析及措施对比Table 5. Analysis of various types of system faults and comparison of measures故障原因 传统牵引供电系统 树形贯通式同相供电系统 接触网短路 既有保护切除牵引变电所接触网上网馈线断路器 快速保护：分段测控装置故障将该段接触网切除 既有保护（后备）：切除牵引变电所接触网上网馈线断路器，此时与未改造前情况一致 牵引变压器短路 牵引变压器保护将变压器切除，备用牵引变压器投入运行 牵引变压器保护将变压器切除，备用牵引变压器投入运行 同相供电装置短路 同相供电装置继电保护将同相供电支路切除，备用装置投入运行 高压进线短路 牵引变电所反向保护断开电源进线，备用进线投入运行 牵引变电所反向保护断开电源进线，备用进线投入运行 5. 结 论
1） 对于采用树形双边供电构成的贯通式同相供电系统，当两相邻牵引变电所变压器变比相同时，不会产生均衡电流.
2） 以某实际重载线路为例，结合负荷过程仿真，对树形贯通式同相供电系统的运输能力进行分析，结果说明系统在正常供电和牵引变电所解列越区供电情况下的供电能力均满足要求，说明该系统具有良好的供电能力.
3） 对系统进行负序评估，结果说明投入同相补偿装置可使负序问题得到治理.
4） 通过系统故障及保护装置动作的分析，说明系统的可靠性得到保障；当发生接触网故障时，提出的运行策略可准确识别故障区段并切除，缩小影响范围.
-
表 1 特征提取部分卷积核大小与输出通道数
Table 1. Convolution kernel size and output channels in feature extraction part
卷积层 卷积核大小 输出通道数/个 Conv1-1 1 × 1 16 Conv1-2 3 × 3 16 Conv1-3 3 × 3 32 Conv1-4 3 × 3 64 Conv1-5 3 × 3 128 
下载: 导出CSV
表 2 图像重建部分卷积核大小与输出通道数
Table 2. Convolution kernel size and output channels in image reconstruction part
卷积层 卷积核大小 输出通道数/个 Conv2-1 3 × 3 256 Conv2-2 3 × 3 128 Conv2-3 3 × 3 64 Conv2-4 3 × 3 32 Conv2-5 1 × 1 1
下载: 导出CSV
表 5 客观评价指标对比
Table 5. Comparison of objective evaluation indicators
融合方法 MI VIF AG Qabf EN SF DenseFuse 2.3019 0.8175 3.5600 0.4457 6.8912 0.0352 FusionGAN 2.3352 0.6541 2.4211 0.2341 6.5580 0.0246 PMGI 2.3521 0.8692 3.5981 0.4117 7.0180 0.0344 RFN-Nest 2.1184 0.8183 2.6693 0.3341 6.9632 0.0230 SDNet 2.2606 0.7592 4.6117 0.4294 6.6948 0.0457 U2Fusion 2.0102 0.8197 5.0233 0.4263 6.9967 0.0465 DIVFusion 2.2226 0.9005 5.5595 0.3117 7.5932 0.0465 PSFusion 2.3082 0.9000 5.5979 0.5223 7.2529 0.0478 本文方法 3.1231 0.9008 4.7888 0.5578 6.8794 0.0489
下载: 导出CSV
-
[1] LIU X W, WANG R H, HUO H T, et al. An attention-guided and wavelet-constrained generative adversarial network for infrared and visible image fusion[J]. Infrared Physics and Technology, 2023, 129: 104570.1-104570.16. [2] 唐霖峰,张浩,徐涵,等. 基于深度学习的图像融合方法综述[J]. 中国图象图形学报,2023,28(1): 3-36. doi: 10.11834/jig.220422TANG Linfeng, ZHANG Hao, XU Han, et al. Deep learning-based image fusion: a survey[J]. Journal of Image and Graphics, 2023, 28(1): 3-36. doi: 10.11834/jig.220422 [3] 程博阳,李婷,王喻林. 基于视觉显著性加权与梯度奇异值最大的红外与可见光图像融合[J]. 中国光学(中英文),2022,15(4): 675-688. doi: 10.37188/CO.2022-0124CHENG Boyang, LI Ting, WANG Yulin. Fusion of infrared and visible light images based on visual saliency weighting and maximum gradient singular value[J]. Chinese Optics, 2022, 15(4): 675-688. doi: 10.37188/CO.2022-0124 [4] 杨莘,田立凡,梁佳明,等. 改进双路径生成对抗网络的红外与可见光图像融合[J]. 电子与信息学报,2023,45(8): 3012-3021. doi: 10.11999/JEIT220819YANG Shen, TIAN Lifan, LIANG Jiaming, et al. Infrared and visible image fusion based on improved dual path generation adversarial network[J]. Journal of Electronics & Information Technology, 2023, 45(8): 3012-3021. doi: 10.11999/JEIT220819 [5] 沈英,黄春红,黄峰,等. 红外与可见光图像融合技术的研究进展[J]. 红外与激光工程,2021,50(9): 152-169.SHEN Ying, HUANG Chunhong, HUANG Feng, et al. Research progress of infrared and visible image fusion technology[J]. Infrared and Laser Engineering, 2021, 50(9): 152-169. [6] 胡建平,郝梦云,杜影,等. 结构和纹理感知的Retinex融合红外与可见光图像[J]. 光学 精密工程,2022,30(24): 3225-3238. doi: 10.37188/OPE.20223024.3225HU Jianping, HAO Mengyun, DU Ying, et al. Fusion of infrared and visible images via structure and texture-aware retinex[J]. Optics and Precision Engineering, 2022, 30(24): 3225-3238. doi: 10.37188/OPE.20223024.3225 [7] 李霖,王红梅,李辰凯. 红外与可见光图像深度学习融合方法综述[J]. 红外与激光工程,2022,51(12): 337-356.LI Lin, WANG Hongmei, LI Chenkai. A review of deep learning fusion methods for infrared and visible images[J]. Infrared and Laser Engineering, 2022, 51(12): 337-356. [8] 王银,王立德,邱霁. 基于DenseNet结构的轨道暗光环境实时增强算法[J]. 西南交通大学学报,2022,57(6): 1349-1357. doi: 10.3969/j.issn.0258-2724.20210199WANG Yin, WANG Lide, QIU Ji. Real-time enhancement algorithm based on DenseNet structure for railroad low-light environment[J]. Journal of Southwest Jiaotong University, 2022, 57(6): 1349-1357. doi: 10.3969/j.issn.0258-2724.20210199 [9] 朱雯青,汤心溢,张瑞,等. 基于边缘保持和注意力生成对抗网络的红外与可见光图像融合[J]. 红外与毫米波学报,2021,40(5): 696-708. doi: 10.11972/j.issn.1001-9014.2021.05.017ZHU Wenqing, TANG Xinyi, ZHANG Rui, et al. Infrared and visible image fusion based on edge-preserving and attention generative adversarial network[J]. Journal of Infrared and Millimeter Waves, 2021, 40(5): 696-708. doi: 10.11972/j.issn.1001-9014.2021.05.017 [10] TANG L F, XIANG X Y, ZHANG H, et al. DIVFusion: darkness-free infrared and visible image fusion[J]. Information Fusion, 2023, 91: 477-493. doi: 10.1016/j.inffus.2022.10.034 [11] 李泽琛,李恒超,胡文帅,等. 多尺度注意力学习的Faster R-CNN口罩人脸检测模型[J]. 西南交通大学学报,2021,56(5): 1002-1010. doi: 10.3969/j.issn.0258-2724.20210017LI Zechen, LI Hengchao, HU Wenshuai, et al. Masked face detection model based on multi-scale attention-driven faster R-CNN[J]. Journal of Southwest Jiaotong University, 2021, 56(5): 1002-1010. doi: 10.3969/j.issn.0258-2724.20210017 [12] 王满利,王晓龙,张长森. 基于动态范围压缩增强和NSST的红外与可见光图像融合算法[J]. 光子学报,2022,51(9): 277-291.WANG Manli, WANG Xiaolong, ZHANG Changsen. Infrared and visible image fusion algorithm based on dynamic range compression enhancement and NSST[J]. Acta Photonica Sinica, 2022, 51(9): 277-291. [13] 朱文鹏,陈莉,张永新. 基于引导滤波和快速共现滤波的红外和可见光图像融合[J]. 计算机应用研究,2021,38(2): 600-604,610.ZHU Wenpeng, CHEN Li, ZHANG Yongxin. Infrared and visible image fusion based on guided filter and fast co-occurrence filter[J]. Application Research of Computers, 2021, 38(2): 600-604,610. [14] MA J L, ZHOU Z Q, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics and Technology, 2017, 82: 8-17. doi: 10.1016/j.infrared.2017.02.005 [15] MA J Y, YU W, LIANG P W, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. doi: 10.1016/j.inffus.2018.09.004 [16] ZHANG H, MA J Y. SDNet: a versatile squeeze-and-decomposition network for real-time image fusion[J]. International Journal of Computer Vision, 2021, 129(10): 2761-2785. doi: 10.1007/s11263-021-01501-8 [17] LI H, WU X J, KITTLER J. RFN-Nest: an end-to-end residual fusion network for infrared and visible images[J]. Information Fusion, 2021, 73(10): 72-86. [18] XU H, MA J Y, JIANG J J, et al. U2Fusion: a unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(1): 502-518. doi: 10.1109/TPAMI.2020.3012548 [19] LI H, WU X J. DenseFuse: a fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2019, 28(5): 2614-2623. doi: 10.1109/TIP.2018.2887342 [20] JIAN L H, YANG X M, LIU Z, et al. SEDRFuse: a symmetric encoder–decoder with residual block network for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 5002215.1-5002215.15. [21] WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module[C]//European Conference on Computer Vision. Cham: Springer, 2018: 3-19. [22] CHOLLET F. Xception: deep learning with depthwise separable convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu: IEEE, 2017: 1800-1807. [23] TANG L F, YUAN J T, ZHANG H, et al. PIAFusion: a progressive infrared and visible image fusion network based on illumination aware[J]. Information Fusion, 2022, 83/84: 79-92. doi: 10.1016/j.inffus.2022.03.007 [24] ZHANG H, XU H, XIAO Y, et al. Rethinking the image fusion: a fast unified image fusion network based on proportional maintenance of gradient and intensity[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 12797-12804. doi: 10.1609/aaai.v34i07.6975 [25] TANG L F, ZHANG H, XU H, et al. Rethinking the necessity of image fusion in high-level vision tasks: a practical infrared and visible image fusion network based on progressive semantic injection and scene fidelity[J]. Information Fusion, 2023, 99: 101870.1-101870.16. -
下载:
下载:
点击查看大图
计量
- 文章访问数: 234
- HTML全文浏览量: 72
- PDF下载量: 44
- 被引次数: 0