基于注意力机制与光照感知网络的红外与可见光图像融合

杨艳春; 闫岩; 王可

doi:10.3969/j.issn.0258-2724.20230529

基于注意力机制与光照感知网络的红外与可见光图像融合

doi: 10.3969/j.issn.0258-2724.20230529

兰州交通大学电子与信息工程学院，甘肃兰州 730070

基金项目: 长江学者和创新团队发展计划（IRT_16R36）；国家自然科学基金项目（62067006）；甘肃省科技计划（18JR3RA104）；甘肃省高等学校产业支撑计划（2020C-19）；甘肃省教育厅青年博士基金项目（2022QB-067）；甘肃省自然科学基金项目（23JRRA847，21JR7RA300）

详细信息

作者简介:
杨艳春（1979—），女，副教授，博士，研究方向为图像处理、智能信息处理、机器学习，E-mail：yangyanchun102@sina.com

中图分类号: TP391
计量
- 文章访问数: 226
- HTML全文浏览量: 60
- PDF下载量: 43
- 被引次数: 6
出版历程
- 收稿日期: 2023-10-16
- 修回日期: 2024-01-19
- 网络出版日期: 2024-10-22
- 刊出日期: 2024-01-30

Infrared and Visible Image Fusion Based on Attention Mechanism and Illumination-Aware Network

School of Electronic and Information Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China

摘要

摘要:
部分图像融合方法未充分考虑图像环境的光照状况，导致融合图像中出现红外目标亮度不足以及整体画面亮度较低，从而影响纹理细节的清晰度. 为解决上述问题，提出一种基于注意力机制与光照感知网络相结合的红外与可见光图像融合算法. 首先，在训练融合网络之前利用光照感知网络计算当前场景是日间或夜间的概率，将其运用至融合网络损失函数中，用以指导融合网络训练；然后，在网络的特征提取部分采用空间注意力机制和深度可分离卷积对源图像进行特征提取，得到空间显著信息后，输入卷积神经网络（CNN）以提取深度特征；最后，将深度特征信息进行拼接用于图像重建，进而得到最终的融合图像. 实验结果表明：本文方法的互信息（MI）、视觉保真度（VIF）、平均梯度（AG）、融合质量（Qabf）与空间频率（SF）较对比方法分别平均提高39.33%、11.29%、26.27%、47.11%和39.01%；融合后的图像能够有效保留红外目标亮度，且包含丰富的纹理细节信息.
- 图像融合 /
- 注意力机制 /
- 卷积神经网络 /
- 红外特征提取 /
- 深度学习
Abstract:
Some image fusion methods do not fully consider the illumination conditions in the image environment, resulting in insufficient brightness of infrared targets and overall low brightness of the image in the fused image, thereby affecting the clarity of texture details. To address these issues, an infrared and visible image fusion algorithm based on attention mechanism and illumination-aware network was proposed. Firstly, before training the fusion network, the illumination-aware network was used to calculate the probability that the current scene was daytime or nighttime and apply it to the loss function of the fusion network, so as to guide the training of the fusion network. Then, in the feature extraction part of the network, spatial attention mechanism and depthwise separable convolution were used to extract features from the source image. After obtaining spatial salient information, it was input into a convolutional neural network (CNN) to extract deep features. Finally, the deep feature information was concatenated for image reconstruction to obtain the final fused image. The experimental results show that the method proposed in this paper improves mutual information (MI), visual fidelity (VIF), average gradient (AG), fusion quality (Qabf), and spatial frequency (SF) by an average of 39.33%, 11.29%, 26.27%, 47.11%, and 39.01%, respectively. At the same time, it can effectively preserve the brightness of infrared targets in the fused images, including rich texture detail information.
- Image fusion /
- attention mechanism /
- convolutional neural network /
- infrared feature extraction /
- deep learning

HTML全文

场地效应被广泛定义为特定的近地表地质特征对地震波的影响，可以显著改变地震运动的峰值、持续时间和频谱幅度^[1]. 由于软土沉积物的各向异性或不均匀性、局部地形、沉积盆地深度和近地表衰减等多维效应的影响，量化场地效应具有挑战性.

地震危险性评估旨在预测特定区域或场地的地面运动强度，其核心手段是采用经验记录数据后进行回归分析以构建地震动预测方程（GMPEs）. 在GMPEs中，场地效应通常由场地卓越频率和地下30 m的平均剪切波速（V_s30）表征. V_s30参数可以反映一些场地特性，但不足以描述考虑场地下方土壤特性引起地面运动频率相关的场地放大^[2]. 随着概率地震危险性分析的不断深入，对场地效应进行更为精细的定量评估以改进地震危险性分析正逐渐成为研究焦点^[3-4].

近年来，基于地表观测记录与土层底部输入运动之比为场地放大的认识，提出了用不同的经验方法来获取频率相关的场地放大系数，如井上井下谱比法、传统谱比法^[5]、水平垂直谱比法（HVSR）^[6]等. 由于钻孔技术在世界各地并未完全得到发展，井上井下谱比法被限制. 传统谱比法假设地表基岩场地的记录相当于土层底部输入值，但在土层场地紧靠地表基岩场地时才有效^[5]，地震动广义反演技术（GIT）的提出克服了这一局限性^[7]. 广义反演技术又称线性反演法，通过对强震记录的联合反演，可以高效地分离强震记录中震源、路径、场地的3种贡献^[8-9]. HVSR假设地下基岩的各向是同性的^[6]，使用单台记录H/V即可得到场地效应^[10]. GIT需要大量的强震数据作为支持，而HVSR的适用性至今备受争议^[11].

该研究选取由 17 个强震动台站获取的21个汶川地震余震中的 233 组强震动记录，采用广义线性反演法、HVSR法对比研究该区域内的局部场地效应，讨论了地震波传播的方向性对HVSR的影响，同时使用线性反演法对HVSR进行经验修正. 本文结果可对该区域的地震危险性分析提供重要的参考.

1. 强震数据

1.1 数据选取

基于汶川余震强震动波形记录展开研究，HVSR方法只需要单个台站强震波形即可获取场地效应值，因此，采用线性反演法的数据选取原则：

1）选取地表岩石台站作为参考台站，同时不考虑未被参考台站记录到的地震事件.

2）选取10 km≤震源距≤150 km，考虑对区域内的衰减路径的影响^[12].

3）选择2 cm/s²≤PGA<150 cm/s²的记录，PGA为地面运动的峰值加速度. 考虑到一组强震记录包括3个不同方向的PGA值，采取各组中PGA的最大值作为评估标准，目的是一定程度地消除背景噪声与场地土层非线性效应的影响.

4）保证选取的每个台站记录到5次以上的事件，且每个事件被5个及以上台站记录到.

基于以上原则，该研究共选取了17个台站在21次地震中记录到的233组三分量强震记录，台站51MXT是线性反演的参考站，该台站布设于稳定的露头岩石^[13]. 强震动波形记录的PGA与震源距的关系如图1所示. 可以发现：大部分记录都小于50 cm/s²，大于100 cm/s²的记录只有7条，尽可能在保留地震动数据的同时，排除非线性反应的影响. 震中与台站的方位地形如图2.

图 1 PGA与震源距的关系

Figure 1. Relationships between PGA and hypocentral distance

下载: 全尺寸图片幻灯片

图 2 震中与台站的位置

Figure 2. Location of epicenter and stations

下载: 全尺寸图片幻灯片

1.2 数据处理

1）强震动观测记录的三分量方向（EW、NS、UD方向）与SH波、SV波及P波的实际振动方向并不完全一致. 以接收台站为参考点，采用反向方位角方法，将观测记录转换为与SH波和SV波方向对应的波形记录.

2）利用STA/LAT-AIC方法从每条强震动波形中识别P波到时，截取P波前与S波时间窗等长的部分确定噪声水平. 对于S波时间窗，使用Husid图识别S波到时，使用累积均方根函数S波结束的时间^[14]，保证S波的时间窗至少为4 s，以确保频谱分辨率. 图3（a）为该识别过程的示例.

图 3 强震动观测记录的处理示例

Figure 3. Processing of strong motion observation records

下载: 全尺寸图片幻灯片

3）截取S波时间窗后，首先，对于时域S波波形进行基线校正处理；接着，采用四阶Butterworth非因果滤波器进行双向滤波处理，设置滤波频率范围为0.4～20.0 Hz. 为了避免信号泄露，滤波完成后，在波形信号前后添加5%的汉宁窗函数^[15].

4）经上述处理后，对S波波形快速傅里叶变换，并使用带宽为20的Konno-Ohmachi滤波器进行平滑处理^[16]，以消除毛刺的影响. 最后，对0.4～20.0 Hz频域之间40个均匀对数间隔内的数据进行插值采样，处理效果如图3（b）所示.

2. 研究方法

2.1 线性反演

远场地震动S波的加速度记录O_ij在频域内可以表示为震源S_i、传播路径P_ij、场地G_i的乘积，如式（1）.

${O_{ij}}(f) = {S_i}(f) {P_{ij}}(f) {G_i}(f) \text{，}$

(1)

式中：i、j分别代表事件与台站，f为频率.

传播路径项P常仅考虑几何衰减 $\gamma ({R_{ij}})$ 和地震波经过地壳介质的非弹性衰减（通常表现为品质因子Q_s(f)的函数），如式（2）.

${P_{ij}} = \exp ( - {\text{π}} {R_{ij}}f/{Q_{\text{s}}}(f){V_{\text{s}}}) \gamma ({R_{ij}}) \text{，}$

(2)

式中： $R_{ij}$ 为震中距，V_s为3.6 km/s区域的地壳平均S波波速.

采用铰链三段式模型来表示几何衰减 $\gamma ({R_{ij}})$ ^[12]，该模型解释了地壳与地幔的边界对地震波传播的影响^[17]，如式（3）.

$\gamma ({R_{ij}})=\left\{ {\begin{array}{*{20}{l}} {R_{ij}^{ - {b_1}}},\quad {R \leqslant {R_{01}}}, \\ {R_{01}^{ - {b_1}} R_{01}^{ - {b_2}} R_{ij}^{ - b_2}},\quad{{R_{01}} < R \leqslant {R_{02}}}, \\ {R_{01}^{ - {b_1}} R_{01}^{{b_2}} R_{02}^{ - {b_2}} R_{02}^{{b_3}} R_{ij}^{ - b_3}},\quad{R > {R_{02}}} , \end{array}} \right.$

(3)

式中： R₀₁=1.5D，R₀₂=2.5D，b₁=1.0，b₂=0，b₃=0.5，D为地壳厚度，R为震中距离.

在确定传播路径P_ij之后，选取记录同一地震事件的露头岩石场地的观测数据作为约束. 通过土层台站与基岩台站的频谱比，直接消除同一地震事件的震源项S_i. 随后，对等式两侧同时取对数，最终表示为

${g_j} + {a_{ij}}Q_{\mathrm{s}}^{ - 1} = {d_{ij}} \text{，}$

(4)

式中： ${g_j} = \ln \dfrac{{{G_j}}}{{{G_{\mathrm{r}}}}}$ ； ${a_{ij}} = \dfrac{{{\text{π}} f({R_{i{\mathrm{r}}}} - {R_{ij}})}}{{{V_{\mathrm{s}}}}}$ ； ${d_{ij}} = \ln \dfrac{{{O_{ij}}\gamma ({R_{ij}})}}{{{O_{i{\mathrm{r}}}}\gamma ({R_{i{\mathrm{r}}}})}}$ ，下标r为参考台站.

将式（4）用矩阵的形式表示为

${\boldsymbol{Ax}} = {\boldsymbol{b}}\text{，}$

(5)

式中：x为模型参数矩阵，由式（4）中的场地效应g_j和Q_s组成.

线性反演的过程就是寻找式（5）中x的解，可通过最小二乘QR分解法一步求解^[18].

2.2 强震记录的HVSR法

HVSR求解场地效应可以直接表示^[6]为

${G_{{\mathrm{HVSR}}}}(f) = \frac{1}{N}\sum\limits_{{i} = 1}^N {\frac{{{{(|S_{\mathrm{H}}(f)||S_{\mathrm{V}}(f)|)}^{\frac{1}{2}}}}}{{U_{\mathrm{D}}(f)}}},$

(6)

式中： ${G_{{\mathrm{HVSR}}}}(f)$ 为强震记录HVSR的场地效应结果，N为记录地震事件的数量，S_H（f）、S_V（f）、U_D（f）分别为强震记录SH波、SV波以及UD分量的傅里叶幅值谱.

3. 几何扩散函数与Q_s值

线性反演法中，衰减模型的合理性对反演的可靠程度具有重要影响. 四川西部地区地壳结构复杂，区域平均地壳厚度在川西北地区的64 km逐渐减少到四川盆地的43 km，而在龙门山断裂带附近，地壳厚度从西北侧的52.5 km减少到东南侧的41.5 km^{[ 19]}. 为了构建区域几何衰减模型，该研究选取龙门山断裂两侧平均地壳厚度47 km，以此确定R₀₁为70 km、R₀₂为120 km（根据式（3）），进而得到式（7），该公式描述了考虑莫霍反射影响的龙门山区域三段式几何衰减模型.

$\gamma(R_{ij})=\left\{\begin{array}{*{20}{l}}R^{-1},\quad R\leqslant70\; \mathrm{km}， \\ 1/70,\quad70\; \mathrm{km} < R\leqslant120\; \mathrm{km}， \\ \left(1/70\right)\times(120/R)^{0.5},\quad R > 120\; \mathrm{km}.\end{array}\right.$

(7)

根据三段式几何衰减函数，反演了区域内S波的品质因子Q_s，随后使用正交最小二乘回归得到Q_s与频率的相关性，如式（8）.

${O_{\mathrm{s}}}(f) = 199.2{f^{0.8}}.$

(8)

常用Q_s(f)和Q_s(f)⁻¹来讨论地震波的衰减，此处采用与衰减成正比的Q_s（f）⁻¹进行讨论. 附近区域的其他研究结果与本研究的对比见图4^[20-22]，可以发现：不同区域内差异性显著. 表征品质因子的参数方程Q_s（f）=Q₀f ⁿ中，n值（频率相关程度）越大，区域内介质衰减速率越快. Q₀ （频率为1 Hz的Q_s值）大小可能与研究区域的震源距有关，震源距越大，地震波更容易在相对较深的介质中传播，通常地壳深部介质的Q_s值较大^[20].

图 4 品质因子Q_s值的对比

Figure 4. Comparison of quality factor Q_s values

下载: 全尺寸图片幻灯片

4. 场地效应分析

4.1 HVSR的理论基础

强震记录HVSR方法比地脉动的H/V谱比方法更为复杂，震源机制、震中距（以及场地各向异性、非线性等因素）都可能会对场地效应谱比结果造成影响^[23].

从机理的角度分析，对于HVSR结果近似为水平向S波场地效应的结论，Nakamura^[6]提出了2个重要的假设：1）首先，假设在坚硬的基底，地震波的传播方式具有各向同性的特点，地震基岩处地震波的水平和垂直分量大致相等. 该假设已通过Nakamura进行的井下微震测量实验得到验证；同时，对于强震动记录，Rong等^[24]也证实了地下基岩处水平分量与竖向分量的比值近似等于常数1. 2）假设垂直分量不受局部场地效应影响，即土层对地震波的垂直分量没有放大作用. 因此HVSR理论可以通过式（9）进行描述.

${G_{{\mathrm{HVSR}}}}(f) = \frac{{H(f)}}{{{H_{\mathrm{b}}}(f)}} \frac{{{H_{\mathrm{b}}}(f)}}{{{V_{\mathrm{b}}}(f)}} \frac{{{V_{\mathrm{b}}}(f)}}{{V(f)}}\text{，}$

(9)

式中： $H(f)$ 与 $V(f)$ 分别为地表强震记录的水平与垂直分量， ${H_{\mathrm{b}}}(f)$ 与 ${V_{\mathrm{b}}}(f)$ 分别为地下基岩强震记录的水平与垂直分量.

当 ${H_{\mathrm{b}}}(f) = {V_{{\mathrm{b}}} }(f)$ , ${V_{\mathrm{b}}}(f) = V(f)$ 时， ${G_{{\mathrm{HVSR}}}}$ 等于地表水平分量傅里叶谱与地下水平分量傅里叶谱的比值，即为场地效应.

4.2 方位角对HVSR的影响

HVSR理论简化了地震波的传播过程. 该方法基于基岩地震动的各向同性（根据Nakamura的假设1）消除了控制地震地面运动三要素的震源特性与传播路径因素. 然而，大小地震的破裂过程通常具有复杂的方向性效应. HVSR方法中，这种不确定的方向性作用均被归为场地效应. 一些研究发现，将强震记录旋转至地震与台站的大圆弧方向（SH波与SV波振动方向）进行H/V谱比似乎更有效^[23]，该研究数据处理阶段已经考虑到了这一点. 为了深入研究方向性效应对HVSR结果的影响，该研究展开了以下讨论：

1）对SH波、SV波以及水平分量的幅值差异进行了检验，以台站51HSD记录的地震事件为例，通过傅里叶谱比方法进行分析，如图5. 分析表明，水平分量的傅里叶幅值大于SH波和SV波. 此外，SH波、SV波的幅值同样具有差异，尤其是在低频部分，而中高频较为稳定. 低频长周期信号的异常通常由记录质量或背景噪声引起，导致SH、SV波在低频段展现出固有的差异. 该差异与方位角的影响较小，在后续的讨论中应进行区分.

图 5 SH、SV波、H分量的对比

Figure 5. Comparison of SH, SV wave, and H component

下载: 全尺寸图片幻灯片

2）该研究对来自不同方向的多次地震事件进行HVSR场地效应分析（多向HVSR），揭示了场地效应具有明显的优势方向. 以51HSD台站为例进行的多向HVSR显示，在震中相对于台站的SE方向（约135°）时，HVSR的场地放大系数最大，随方位角的增减而减小（图6（a））. 此外，水平分量的谱比结果最为显著，而SV波的谱比结果相对最小. 值得注意的是，不同方位角对场地卓越频率估计的影响较小（图6（b）），解释了使用HVSR方法估计场地卓越频率显示出稳定性的原因.

图 6 多向HVSR的结果

Figure 6. Results of multidirectional HVSR

下载: 全尺寸图片幻灯片

3）使用旋转HVSR的方法，进一步讨论方位角的影响. 以51HSD台站为例，以震中至台站的大圆弧方向作为0° 基准，对一次强震动波形数据在0～180° 的范围内，以5° 为间隔进行旋转，并计算了每个旋转间隔下的HVSR场地效应. 如图7所示，不同旋转方位角对HVSR结果有显著影响，并且在特定的旋转角度，HVSR的场地放大结果出现显著的“突变”，该现象验证了HVSR结果具有优势方向的观点. SH波与SV波的旋转HVSR结果存在差异，尽管“突变”位置有角度差异，场地放大值的差异却相对较小. 这种现象初步被认为是由于SH波和SV波固有的方向性以及其在低频的差异所导致的. 需要指出的是，采用单台单次记录进行旋转分析，结果可能具有一定的随机性，但多次强震记录求平均值的方式从机理上混淆了方位角，因此排除了使用该方案.

图 7 旋转HVSR的结果

Figure 7. Results of rotational HVSR

下载: 全尺寸图片幻灯片

4.3 线性反演与HVSR对比

为了确保安全性，主要基于幅值较大的水平分量记录进行场地效应评估. 比较基于S波水平分量的HVSR和线性反演法得出的场地效应值发现，这2种方法的结果存在显著差异（图8）.

图 8 HVSR与线性反演法场地效应的对比

Figure 8. Comparison of site effects between HVSR and linear inversion

下载: 全尺寸图片幻灯片

基于HVSR的2个关键理论基础，本文首先考察了地震波在基岩中传播的理论差异，如方位角的影响. 在场地效应评估中，通过采用多次记录的平均值，可以有效减轻方位角的影响. 其次，土层的竖向放大作用可能是导致HVSR与线性反演法在场地效应评估中存在差异的一个关键因素. 因此，部分研究重点强调竖向场地放大的作用^[25].

本文重新对汶川垂直分量波形记录进行了线性反演分析，以评估区域内土层的竖向放大效应. 如图9所示，大部分观测台站中，土层的竖向放大效应显著. 该现象将对HVSR的场地效应结果产生重要影响. 此时，式（9）中竖向放大被低估（高估），竖向放大与P波的传播相关，P波主要来自SV波的转换，而非P波的特定时间窗口部分. SV波将能量传递至垂直方向，进而导致了HVSR失效^[25]. 因此，为了补偿垂直放大对HVSR评估的影响，HVSR场地效应的修正方法可以表示为

图 9 线性反演计算的17个台站竖向场地效应的结果

Figure 9. Results of vertical site effects calculated by linear inversion for 17 stations

下载: 全尺寸图片幻灯片

${G_{{{\mathrm{RHVSR}}} }}(f) = {G_{{\mathrm{HVSR}}}}(f) {G_{\mathrm{V}}}(f),$

(10)

式中： ${G_{{{\mathrm{RHVSR}}} }}(f)$ 为竖向校正后的HVSR场地效应结果， ${G_{\mathrm{V}}}(f)$ 为线性反演法计算的土层竖向放大.

${G_{{{\mathrm{RHVSR}}} }}$ 与线性反演的水平向的对比结果如所示. 结果表明：大多数台站都存在着场地放大现象，且能清楚识别出卓越频率； ${G_{{{\mathrm{RHVSR}}} }}$ 的结果大于线性反演法，与HVSR结果偏小的普遍认识相悖. 该现象一方面表现出场地竖向校正产生了效果，使HVSR的结果接近于真实值；另一方面说明线性反演法的结果也存在着误差，具体原因可能是露头岩石台站51MXT存在场地效应. 参考台站场地效应的低估导致了线性反演结果偏小.

图 10 修正后的HVSR与线性反演法对比

Figure 10. Comparison of modified HVSR and linear inversion

下载: 全尺寸图片幻灯片

通过Delaunay三角测量方法将17个台站的线性反演结果以地理分布图的形式展示（图11，三角形标记是台站位置），场地效应与场地卓越频率呈现出一定的‘反比’关系，即场地效应随着卓越频率的增大而减小. 等值线地理图为研究区域内的场地效应、场地卓越频率提供参考价值.

图 11 区域场地放大系数及场地卓越频率的空间分布

Figure 11. Spatial distribution of regional site amplification factors and site predominant frequencies

下载: 全尺寸图片幻灯片

5. 结　论

本研究选取由17个强震动台站获取的21个汶川地震余震中233组强震动记录，通过线性反演法、强震记录HVSR法对比研究余震涉及区域内场地效应，主要工作及结论为

1）衰减因子Q_s值的估计. 结合龙门山地区实际情况，建立三段式衰减模型，本研究得到区域内地球介质衰减过程中S波的品质因子Q_s（f）=199.2f ^0.8.

2）方位角对HVSR的影响. 使用旋转HVSR、多向HVSR方案，研究了HVSR结果存在的方向性. 随着角度的变化，HVSR的放大值可能会出现突然放大的现象，但不同方向角对卓越频率的影响不大，该现象需要进一步的研究.

3） HVSR方法的经验修正. 竖向地震动的放大，即场地土层、工程基岩或中深部硬岩层耦合形成的竖向场地效应是HVSR与广义线性反演法产生差异的主要原因.

致谢：感谢中国地震局工程力学研究所强震动观测中心为本研究提供的数据支持；感谢研究所专项基金（DQJB24Z01、DQJB24R31、DQJB22Z03、DQJB21Z15）为本研究提供联合资助.

图 1 空间注意力

Figure 1. Spatial attention

下载: 全尺寸图片幻灯片

图 2 深度可分离卷积

Figure 2. Depthwise separable convolution

下载: 全尺寸图片幻灯片

图 3 光照感知网络

Figure 3. Illumination-aware network

下载: 全尺寸图片幻灯片

图 4 融合网络结构

Figure 4. Fusion network structure

下载: 全尺寸图片幻灯片

图 5 指标对比折线图

Figure 5. Indicator comparison line chart

下载: 全尺寸图片幻灯片

表 1 特征提取部分卷积核大小与输出通道数

Table 1. Convolution kernel size and output channels in feature extraction part

卷积层	卷积核大小	输出通道数/个
Conv1-1	1 × 1	16
Conv1-2	3 × 3	16
Conv1-3	3 × 3	32
Conv1-4	3 × 3	64
Conv1-5	3 × 3	128

下载: 导出CSV

表 2 图像重建部分卷积核大小与输出通道数

Table 2. Convolution kernel size and output channels in image reconstruction part

卷积层	卷积核大小	输出通道数/个
Conv2-1	3 × 3	256
Conv2-2	3 × 3	128
Conv2-3	3 × 3	64
Conv2-4	3 × 3	32
Conv2-5	1 × 1	1

下载: 导出CSV

表 3 实验结果

Table 3. Experimental results

下载: 导出CSV

表 4 红外目标分析

Table 4. Infrared target analysis

下载: 导出CSV

表 5 客观评价指标对比

Table 5. Comparison of objective evaluation indicators

融合方法	MI	VIF	AG	Qabf	EN	SF
DenseFuse	2.3019	0.8175	3.5600	0.4457	6.8912	0.0352
FusionGAN	2.3352	0.6541	2.4211	0.2341	6.5580	0.0246
PMGI	2.3521	0.8692	3.5981	0.4117	7.0180	0.0344
RFN-Nest	2.1184	0.8183	2.6693	0.3341	6.9632	0.0230
SDNet	2.2606	0.7592	4.6117	0.4294	6.6948	0.0457
U2Fusion	2.0102	0.8197	5.0233	0.4263	6.9967	0.0465
DIVFusion	2.2226	0.9005	5.5595	0.3117	7.5932	0.0465
PSFusion	2.3082	0.9000	5.5979	0.5223	7.2529	0.0478
本文方法	3.1231	0.9008	4.7888	0.5578	6.8794	0.0489

下载: 导出CSV

表 6 消融实验对比

Table 6. Comparison of ablation experiments

下载: 导出CSV

参考文献(25)

[1]	LIU X W, WANG R H, HUO H T, et al. An attention-guided and wavelet-constrained generative adversarial network for infrared and visible image fusion[J]. Infrared Physics and Technology, 2023, 129: 104570.1-104570.16.
[2]	唐霖峰,张浩,徐涵,等. 基于深度学习的图像融合方法综述[J]. 中国图象图形学报,2023,28(1): 3-36. doi: 10.11834/jig.220422 TANG Linfeng, ZHANG Hao, XU Han, et al. Deep learning-based image fusion: a survey[J]. Journal of Image and Graphics, 2023, 28(1): 3-36. doi: 10.11834/jig.220422
[3]	程博阳,李婷,王喻林. 基于视觉显著性加权与梯度奇异值最大的红外与可见光图像融合[J]. 中国光学(中英文),2022,15(4): 675-688. doi: 10.37188/CO.2022-0124 CHENG Boyang, LI Ting, WANG Yulin. Fusion of infrared and visible light images based on visual saliency weighting and maximum gradient singular value[J]. Chinese Optics, 2022, 15(4): 675-688. doi: 10.37188/CO.2022-0124
[4]	杨莘,田立凡,梁佳明,等. 改进双路径生成对抗网络的红外与可见光图像融合[J]. 电子与信息学报,2023,45(8): 3012-3021. doi: 10.11999/JEIT220819 YANG Shen, TIAN Lifan, LIANG Jiaming, et al. Infrared and visible image fusion based on improved dual path generation adversarial network[J]. Journal of Electronics & Information Technology, 2023, 45(8): 3012-3021. doi: 10.11999/JEIT220819
[5]	沈英,黄春红,黄峰,等. 红外与可见光图像融合技术的研究进展[J]. 红外与激光工程,2021,50(9): 152-169. SHEN Ying, HUANG Chunhong, HUANG Feng, et al. Research progress of infrared and visible image fusion technology[J]. Infrared and Laser Engineering, 2021, 50(9): 152-169.
[6]	胡建平,郝梦云,杜影,等. 结构和纹理感知的Retinex融合红外与可见光图像[J]. 光学精密工程,2022,30(24): 3225-3238. doi: 10.37188/OPE.20223024.3225 HU Jianping, HAO Mengyun, DU Ying, et al. Fusion of infrared and visible images via structure and texture-aware retinex[J]. Optics and Precision Engineering, 2022, 30(24): 3225-3238. doi: 10.37188/OPE.20223024.3225
[7]	李霖,王红梅,李辰凯. 红外与可见光图像深度学习融合方法综述[J]. 红外与激光工程,2022,51(12): 337-356. LI Lin, WANG Hongmei, LI Chenkai. A review of deep learning fusion methods for infrared and visible images[J]. Infrared and Laser Engineering, 2022, 51(12): 337-356.
[8]	王银,王立德,邱霁. 基于DenseNet结构的轨道暗光环境实时增强算法[J]. 西南交通大学学报,2022,57(6): 1349-1357. doi: 10.3969/j.issn.0258-2724.20210199 WANG Yin, WANG Lide, QIU Ji. Real-time enhancement algorithm based on DenseNet structure for railroad low-light environment[J]. Journal of Southwest Jiaotong University, 2022, 57(6): 1349-1357. doi: 10.3969/j.issn.0258-2724.20210199
[9]	朱雯青,汤心溢,张瑞,等. 基于边缘保持和注意力生成对抗网络的红外与可见光图像融合[J]. 红外与毫米波学报,2021,40(5): 696-708. doi: 10.11972/j.issn.1001-9014.2021.05.017 ZHU Wenqing, TANG Xinyi, ZHANG Rui, et al. Infrared and visible image fusion based on edge-preserving and attention generative adversarial network[J]. Journal of Infrared and Millimeter Waves, 2021, 40(5): 696-708. doi: 10.11972/j.issn.1001-9014.2021.05.017
[10]	TANG L F, XIANG X Y, ZHANG H, et al. DIVFusion: darkness-free infrared and visible image fusion[J]. Information Fusion, 2023, 91: 477-493. doi: 10.1016/j.inffus.2022.10.034
[11]	李泽琛,李恒超,胡文帅,等. 多尺度注意力学习的Faster R-CNN口罩人脸检测模型[J]. 西南交通大学学报,2021,56(5): 1002-1010. doi: 10.3969/j.issn.0258-2724.20210017 LI Zechen, LI Hengchao, HU Wenshuai, et al. Masked face detection model based on multi-scale attention-driven faster R-CNN[J]. Journal of Southwest Jiaotong University, 2021, 56(5): 1002-1010. doi: 10.3969/j.issn.0258-2724.20210017
[12]	王满利,王晓龙,张长森. 基于动态范围压缩增强和NSST的红外与可见光图像融合算法[J]. 光子学报,2022,51(9): 277-291. WANG Manli, WANG Xiaolong, ZHANG Changsen. Infrared and visible image fusion algorithm based on dynamic range compression enhancement and NSST[J]. Acta Photonica Sinica, 2022, 51(9): 277-291.
[13]	朱文鹏,陈莉,张永新. 基于引导滤波和快速共现滤波的红外和可见光图像融合[J]. 计算机应用研究,2021,38(2): 600-604,610. ZHU Wenpeng, CHEN Li, ZHANG Yongxin. Infrared and visible image fusion based on guided filter and fast co-occurrence filter[J]. Application Research of Computers, 2021, 38(2): 600-604,610.
[14]	MA J L, ZHOU Z Q, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics and Technology, 2017, 82: 8-17. doi: 10.1016/j.infrared.2017.02.005
[15]	MA J Y, YU W, LIANG P W, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. doi: 10.1016/j.inffus.2018.09.004
[16]	ZHANG H, MA J Y. SDNet: a versatile squeeze-and-decomposition network for real-time image fusion[J]. International Journal of Computer Vision, 2021, 129(10): 2761-2785. doi: 10.1007/s11263-021-01501-8
[17]	LI H, WU X J, KITTLER J. RFN-Nest: an end-to-end residual fusion network for infrared and visible images[J]. Information Fusion, 2021, 73(10): 72-86.
[18]	XU H, MA J Y, JIANG J J, et al. U2Fusion: a unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(1): 502-518. doi: 10.1109/TPAMI.2020.3012548
[19]	LI H, WU X J. DenseFuse: a fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2019, 28(5): 2614-2623. doi: 10.1109/TIP.2018.2887342
[20]	JIAN L H, YANG X M, LIU Z, et al. SEDRFuse: a symmetric encoder–decoder with residual block network for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 5002215.1-5002215.15.
[21]	WOO S, PARK J, LEE J Y, et al. CBAM: convolutional block attention module[C]//European Conference on Computer Vision. Cham: Springer, 2018: 3-19.
[22]	CHOLLET F. Xception: deep learning with depthwise separable convolutions[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu: IEEE, 2017: 1800-1807.
[23]	TANG L F, YUAN J T, ZHANG H, et al. PIAFusion: a progressive infrared and visible image fusion network based on illumination aware[J]. Information Fusion, 2022, 83/84: 79-92. doi: 10.1016/j.inffus.2022.03.007
[24]	ZHANG H, XU H, XIAO Y, et al. Rethinking the image fusion: a fast unified image fusion network based on proportional maintenance of gradient and intensity[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 12797-12804. doi: 10.1609/aaai.v34i07.6975
[25]	TANG L F, ZHANG H, XU H, et al. Rethinking the necessity of image fusion in high-level vision tasks: a practical infrared and visible image fusion network based on progressive semantic injection and scene fidelity[J]. Information Fusion, 2023, 99: 101870.1-101870.16.

施引文献

期刊类型引用(3)

1.	邓文豪. 城市轨道交通线路级车辆能馈状态仿真研究. 现代城市轨道交通. 2024(11): 26-31 . 百度学术
2.	刘继宗，张祖涛，王浩，孔苓吉，伊敏熠，朱忠尹. 城轨交通制动能量利用技术研究现状与展望. 西南交通大学学报. 2024(06): 1322-1345 . 本站查看
3.	刘炜，张戬，马庆安，曾佳欣，杨乾锋. 含地面再生制动能量利用装置的供电设计和节能指标评估. 都市快轨交通. 2021(06): 32-38 . 百度学术

其他类型引用(3)

附加材料(0)

访问统计

点击查看大图

图(5) / 表(6)

计量

文章访问数: 226
HTML全文浏览量: 60
PDF下载量: 43
被引次数: 6

1. 强震数据
1.1 数据选取
1.2 数据处理
2. 研究方法
2.1 线性反演
2.2 强震记录的HVSR法
3. 几何扩散函数与Qs值
4. 场地效应分析
4.1 HVSR的理论基础
4.2 方位角对HVSR的影响
4.3 线性反演与HVSR对比
5. 结　论

基于注意力机制与光照感知网络的红外与可见光图像融合

doi: 10.3969/j.issn.0258-2724.20230529

作者简介: 杨艳春（1979—），女，副教授，博士，研究方向为图像处理、智能信息处理、机器学习，E-mail：yangyanchun102@sina.com

计量

出版历程