小波变换以其卓越的多尺度分析能力，广泛应用于信号与图像处理领域，但有时难以有效识别数据中的关键区域。注意力机制的引入，则赋予模型动态聚焦重要特征的能力，显著提升性能。

将小波变换和注意力机制二者融合，不仅保留了小波在多分辨率分析中的优势，还增强了模型对关键信息的感知力，实现更高效的信息提取与表达。这一结合在图像分割、目标检测、语音识别及时间序列分析等任务中展现出出色的鲁棒性与适应性。

为助力科研工作者深入掌握该前沿方向，我整理了相关精选文献，系统呈现近年来小波变换与注意力机制结合的研究进展，助力推动创新研究。

点击【AI十八式】的主页，获取更多优质资源！

一、Gearbox fault diagnosis method based on lightweight channel attention mechanism and transfer learning

在这里插入图片描述

方法

1. 信号预处理与特征提取

   • 使用小波变换对原始振动信号进行时频分析，生成二维时频分布图，直观反映信号的局部特征。

2. 轻量级通道注意力机制设计

   • 提出轻量级高效通道注意力机制，通过以下改进优化传统注意力模块：

     • 采用局部跨通道交互策略，避免维度压缩导致的信息损失。

     • 自适应调整1D卷积核大小，降低计算复杂度。

     • 引入多尺度特征输入，保留不同维度的细节特征。

3. 轻量级卷积神经网络构建

   • 基于EfficientNetV2网络架构，结合MBConv和Fused-MBConv模块：

     • 浅层使用Fused-MBConv模块加速特征提取。

     • 深层结合MBConv模块和LECA模块，增强关键特征权重。

     • 采用平滑Swish激活函数缓解梯度消失问题。

4. 迁移学习策略

   • 针对变工况和小样本问题：

     • 冻结网络底层结构。

     • 使用目标域小样本微调高层网络结构，减少不同工况/组件间的数据分布差异。

在这里插入图片描述

创新点

1. LECA模块的轻量化设计

   • 通过调整跨通道交互的卷积核大小，减少参数量的同时保留关键特征，实现注意力机制的轻量化。

2. 多尺度特征融合

   • 结合全局平均池化和最大池化（，增强模型对不同维度细节的捕捉能力。

3. 跨组件迁移学习扩展

   • 首次将迁移学习应用于齿轮箱不同组件的故障诊断，验证模型在跨组件场景下的泛化能力。

4. 高效轻量网络架构

   • 在EfficientNetV2基础上优化模块组合，在保持高精度的同时减少计算资源消耗。

5. 变工况小样本适应能力

   • 通过冻结底层+微调高层的迁移策略，在目标域仅需250个样本即可实现99%以上的分类精度，解决工业场景中故障样本稀缺问题。

     

论文链接：https://www.nature.com/articles/s41598-023-50826-6

Flight trajectory prediction enabled by time-frequency wavelet transform

在这里插入图片描述

方法

1. 时间-频率小波分析框架

   • 提出基于离散小波变换的框架，将飞行轨迹分解为多尺度小波分量，分别表征全局趋势和局部细节。

   • 通过逆离散小波变换模块，利用预测的小波系数重构历史轨迹并预测未来轨迹点。

2. 编码器-解码器神经网络架构

   • 编码器：使用LSTM网络提取输入轨迹的时序特征，生成高维嵌入表示。

   • 多尺度解码器：针对不同尺度的小波分量设计独立解码器，结合小波注意力模块学习尺度相关的动态特征。

   • 小波注意力模块：通过增强轨迹嵌入和卷积操作，提取上下文特征，提升对局部细节和全局趋势的建模能力。

3. 监督学习与损失函数

   • 使用真实小波系数作为监督信号，通过均方误差损失函数优化模型参数。

   • 支持多分辨率分析，同时预测未来轨迹点并重构历史序列。

4. 数据集与评估指标

   • 构建真实空管雷达与ADS-B融合数据集。

   • 采用多种评估指标评估性能。

在这里插入图片描述

创新点

1. 首次引入时间-频率分析

   • 将小波变换应用于飞行轨迹预测任务，突破传统时间域方法的局限性，通过多尺度分解同时捕捉全局趋势与局部机动细节。

2. 多尺度编码器-解码器架构

   • 设计基于小波分量的多解码器架构，独立建模不同频率的动态特性，增强对复杂飞行模式的表达能力。

3. 小波注意力模块

   • 创新性地提出尺度感知注意力机制，强化对关键历史轨迹点的关注，提升高频细节的预测精度。

4. 复杂场景鲁棒性

   • 在爬升、下降和终端区机动场景中表现显著优于基线模型，MDE误差降低35%，三维偏差小于400米。

5. 可解释性增强

   • 通过可视化小波分量的注意力权重，验证模型对飞行意图的敏感性和合理性。

     

论文链接：https://www.nature.com/articles/s41467-023-40903-9

点击【AI十八式】的主页，获取更多优质资源！