一、导读

多模态磁共振成像通过提供互补的病理信息，在临床诊断和治疗规划中具有重要价值，然而其漫长的采集时间限制了广泛应用。为加速采集过程，一种有效方法是利用扫描时间较短的、全采样的参考模态来指导重建扫描时间较长的、欠采样的目标模态图像。当前基于卷积神经网络的方法受限于局部感受野，难以有效捕捉跨模态的长程依赖关系；而基于Transformer的方法虽能建模全局上下文，但其二次计算复杂度带来了沉重的计算负担。

本文提出的MMR-Mamba框架，首次将状态空间模型Mamba引入多模态MRI重建任务，通过设计目标模态引导的交叉Mamba模块、选择性频率融合模块以及自适应空频融合模块，在保持线性计算复杂度的同时，实现了跨模态互补信息的高效与全面融合，显著提升了重建图像的质量与细节保留能力。

二、论文基本信息

• 论文标题：MMR-Mamba: Multi-Modal MRI Reconstruction with Mamba and Spatial-Frequency Information Fusion

• 作者与单位：Jing Zou, Lanqing Liu（香港理工大学智慧医疗中心）、Qi Chen（中国科学技术大学）、Shujun Wang（香港理工大学）、Zhanli Hu（中国科学院深圳先进技术研究院）、Xiaohan Xing（斯坦福大学）

• 论文链接：arXiv:2406.18950v2

三、摘要精炼

本文旨在解决多模态MRI重建中如何高效且全面地融合参考模态与目标模态之间的互补信息这一核心问题。论文提出了MMR-Mamba框架，其核心贡献包括：在空间域设计了目标模态引导的交叉Mamba模块，通过选择性机制整合参考模态信息；在频率域设计了选择性频率融合模块，分别对相位谱与幅度谱进行差异化融合以恢复结构细节；并进一步提出自适应空频融合模块，实现两域特征的相互增强。

在BraTS与fastMRI膝关节数据集上的实验表明，该方法在4倍与8倍加速因子下均优于现有最优方法，例如在BraTS数据集4倍加速下PSNR达到40.98 dB，较次优方法提升2.14 dB，验证了其在重建质量与细节恢复方面的显著优势。

四、研究背景与相关工作

多模态MRI重建早期研究主要依赖卷积神经网络进行特征融合，如Dense-Unet通过简单拼接多模态输入进行重建，但其局部感受野限制了对长程依赖的建模。随后，Transformer-based方法如MTrans与DCAMSR通过交叉注意力机制实现多尺度特征融合，显著提升性能，但其自注意力机制的计算复杂度随序列长度呈平方增长，限制了其在高效重建中的应用。

另一方面，双域重建方法如DuDoRNet与FMTNet尝试同时利用k空间与图像域信息，但多数方法未充分考虑两域特性的差异，融合策略较为简单。状态空间模型，尤其是Mamba，因其在长序列建模中表现出的线性复杂度与全局感知能力，在自然语言与视觉任务中展现出潜力，然而其在多模态MRI重建中的融合机制尚未被探索。本文正是在此基础上，系统性地将Mamba与空频双域融合相结合，构建了一个高效且强大的重建框架。

五、主要贡献与创新

1. 提出MMR-Mamba框架：首次将状态空间模型Mamba引入多模态MRI重建，实现了在保持线性复杂度的同时进行跨模态长程依赖建模。

2. 目标模态引导的交叉Mamba模块：在隐藏状态空间中以目标模态特征作为门控，选择性补充参考模态信息，公式为 ，确保融合过程以目标模态为主导。

3. 选择性频率融合模块：对相位谱采用元素加和以保留一致结构，对幅度谱设计选择性幅度协调模块，通过通道注意力机制自适应融合，公式为 ，有效抑制不兼容的风格信息。

4. 自适应空频融合模块：通过计算通道重要性权重  与 ，并设定动态阈值  与 ，以补充信息量较低的通道，实现两域特征的相互增强。

六、研究方法与原理

1. 状态空间模型基础

系统由线性常微分方程描述：

经零阶保持法离散化后得到：

其中 ，。

2. 目标模态引导的交叉Mamba

首先对目标与参考特征进行归一化与线性投影：

随后通过一维卷积与SSM提取隐藏状态特征  与 ，并以  为门控进行融合：

3. 选择性频率融合

对特征进行傅里叶变换得到幅度谱与相位谱：

相位谱直接相加：；幅度谱通过SAHM模块进行加权融合，其中通道注意力权重由全局平均池化与全连接层生成：

4. 自适应空频融合

计算空间域与频率域特征的通道重要性权重：

设定动态阈值进行通道选择与替换：

七、实验设计与结果分析

实验设置

• 数据集：BraTS（脑部T1W与T2W，3,621训练/1,088测试）与fastMRI膝关节（PDW与FS-PDW，8,332训练/1,665测试）。

• 评测指标：PSNR、SSIM、NMSE。

• 对比方法：MDUNet、MINet、MCCA、MTrans、DCAMSR、SwinIR、Pan-Mamba。

• 加速因子：4倍与8倍。

关键结果

• 定量结果：在BraTS数据集4倍加速下，MMR-Mamba取得PSNR 40.98 dB、SSIM 0.985，较Pan-Mamba提升2.14 dB；在8倍加速下PSNR为37.75 dB，提升1.57 dB。在fastMRI数据集上也呈现一致优势。

• 定性结果：误差图显示本文方法在脑室结构与软骨细节恢复上误差最小，显著优于基线方法。

• 消融实验：

  • 移除TCM与SFF模块导致PSNR下降至38.45 dB（4倍加速）。

  • 单独使用TCM或SFF分别提升至39.05 dB与40.49 dB，联合使用进一步提升至40.66 dB。

  • 加入ASFF模块后达到最优40.98 dB。

• 模块分析：

  • 空间域融合中，TCM优于元素加和与交叉注意力。

  • 频率域融合中，SFF较元素加和提升0.43 dB（4倍加速）。

八、论文结论与启示

本文系统验证了MMR-Mamba在多模态MRI重建中的有效性，其通过Mamba结构与空频双域融合机制，在保持线性复杂度的同时实现了跨模态长程依赖的高效建模。该框架不仅在重建质量上显著优于现有方法，也为后续研究提供了新的架构范式，表明状态空间模型在医学图像重建中具有广阔前景。未来工作可进一步探索更复杂的跨模态对齐机制、更高效的门控策略，以及将该框架扩展至动态MRI或多对比增强MRI等更具挑战性的场景。

九、整体评价与讨论

优点：

1. 首次将Mamba模型引入多模态MRI重建，兼具全局感知与线性复杂度。

2. 设计了系统的空频双域融合机制，分别针对结构信息与风格信息进行差异化处理。

3. 在多个数据集与加速因子下均取得显著性能提升，具有较强的泛化能力。

不足与改进方向：

1. 方法未显式处理多模态图像间的空间不对齐问题，可能在实际临床数据中影响性能，未来可引入可变形配准模块。

2. 实验仅聚焦于脑部与膝关节数据，在更复杂的解剖结构（如腹部、心脏）上的有效性有待验证。

3. 虽然整体为线性复杂度，但Mamba块的实际推理速度与内存占用在极高分辨率图像中仍需进一步优化。

结论：MMR-Mamba为多模态MRI重建提供了一个高效、强大且具有理论创新性的解决方案，其核心思想与模块设计对相关领域的后续研究具有重要的借鉴意义。