---

一、论文基本信息

项目	内容
论文标题	Online Multi-Modal Spatio-Temporal Prediction: A Reinforcement Learning and Dynamic Contrastive Framework (ROMST)
机构	浙江大学 数据库与大数据分析实验室 (ZJU-DAILY)
代码仓库	ZJU-DAILY/ROMST
核心创新	强化学习驱动的多模态融合 + 动态对比学习
应用场景	交通流量预测、气象预测、城市计算等时空预测任务

---

二、整体架构（三阶段框架）

ROMST采用三阶段级联架构，从左到右依次为：

┌─────────────────────────────────────────────────────────────────────┐
│  (a-1) 多模态编码与对齐  │  (b) 动态对比学习  │  (c) RL驱动的多模态融合  │
│  Multi-Modal Encoder   │  Dynamic Contrastive │  RL-Driven Fusion    │
│      & Alignment       │      Learning        │                      │
└─────────────────────────────────────────────────────────────────────┘

---

三、核心模块详解

3.1 多模态编码与对齐 (a-1)

该模块处理三种模态的输入数据：

模态	输入形式	编码器	对齐方式
时空序列	图结构时间序列 (Spatio-Temporal Sequence)	ST-ED (GCN+Mamba)	时空嵌入
图像	网格/区域图像 (Image)	CNN	空间对齐 (Spatial Alignment)
文本	描述性文本 (Text)	LLaMA-3.2-1B	时间对齐 (Temporal Alignment)

关键设计：

• ST-ED (Spatio-Temporal Encoder-Decoder)：右侧子图(a-2)显示其内部结构为 GCN（空间特征）→ Mamba（时间特征）→ LayerNorm → MLP，用于提取时空嵌入
• LLaMA文本编码：使用大语言模型编码文本描述，并通过**剪枝(pruning_ratio)**控制模型大小
• 时空对齐机制：将图像和文本特征与时空序列在时间和空间维度上对齐

3.2 动态对比学习 (b)

这是论文的核心创新之一，包含两个子模块：

(1) ST-JSD (Spatio-Temporal Jensen-Shannon Divergence)

• 计算时空嵌入的分布差异 $d_v$
• 用于衡量不同节点/区域之间的时空分布差异

(2) 动态数据增强 (Dynamic Data Augmentation)

基于ST-JSD的分布差异，生成自适应增强样本：

$$x_v^{\prime }=x_v+{\Delta }_v$$

其中 ${\Delta }_v$ 是根据分布差异动态计算的扰动量。

对比学习目标：

• 距离损失：${\mathcal{L}}_{\Delta d}=-{\sum }_{v\in \mathcal{V}}d(x_v,x_v^{\prime })$ —— 拉近原始样本与增强样本
• 分类损失：${\mathcal{L}}_{\Delta c}=-{\sum }_{v\in \mathcal{V}}{y}_v\ln p_v^{\prime }$ —— 保持预测一致性

"动态"的含义：数据增强的强度 ${\Delta }_v$ 是根据每个节点 $v$ 的时空分布特性自适应调整的，而非固定增强策略。

3.3 RL驱动的多模态融合 ©

这是论文的另一核心创新，使用强化学习替代传统的静态融合：

架构细节

┌─────────────────────────────────────────┐
│           RL Agent (Dueling DQN)        │
│  Q(s,a) = V(s) + A(s,a) - E[A(s,a')]    │
├─────────────────────────────────────────┤
│  输入状态 s：时空嵌入 + 图像嵌入 + 文本嵌入 │
│  输出动作 a：模态融合权重                 │
└─────────────────────────────────────────┘
         ↓
    Noisy Linear Layer
         ↓
    Fused Feature (融合特征)
         ↓
    时空序列预测输出 Ŷ

训练流程

1. 经验回放 (Replay Cache)：存储历史状态-动作-奖励转移
2. 双网络结构：两个Dueling DQN网络交替更新，提高稳定性
3. 奖励设计：基于预测误差设计奖励函数，引导智能体学习最优融合策略

与传统融合的区别：

传统方法	ROMST (RL驱动)
固定权重（如平均、注意力）	动态权重，根据输入内容自适应调整
静态融合策略	序列决策，考虑时间连续性
端到端梯度优化	强化学习探索，避免局部最优

---

四、实验设置

4.1 数据集

数据集	模态	节点数	应用场景
BjTT	时空序列 + 文本	1260	北京交通流量
Terra	时空序列 + 图像 + 文本	100	气象/风场预测
PEMS04	时空序列（单模态）	307	交通流量基准
GreenEarthNet	时空序列 + 图像	1024	植被/生态监测

4.2 关键超参数

参数	BjTT	Terra	PEMS04	GreenEarthNet
序列长度 (seq_len)	12	12	12	12
预测长度 (pred_len)	12	12	12	12
对比学习权重	0.0001	0.6	1.0	0.001
LLaMA剪枝比例	0.3	0.3	-	-
批次大小	32	16	32	32

4.3 训练流程

采用两阶段训练：

1. 预训练阶段：单独训练ST-ED编码器
2. 完整训练：联合训练多模态编码、对比学习和RL融合模块

---

五、技术创新总结

创新点	说明
动态对比学习	基于ST-JSD分布差异的自适应数据增强，而非固定增强策略
RL驱动融合	使用Dueling DQN学习模态融合权重，实现内容自适应的动态融合
LLaMA文本编码	利用大语言模型强大的语义理解能力编码时空文本描述
GCN+Mamba时空编码	结合图卷积（空间）和Mamba（时间）的高效时空建模
Noisy Linear探索	在RL网络中使用噪声线性层增强探索能力

---

六、与相关工作的对比

方法	多模态	对比学习	强化学习	动态融合
DCRNN / Graph WaveNet	✗	✗	✗	✗
D-GAN (Saxena et al.)	✓	✗	✗	✗
CST-RL (IEEE 2023)	✗	✓	✓	✗
ROMST (本文)	✓	✓	✓	✓

---

七、可能的局限与未来方向

1. 计算开销：RL模块和LLaMA编码带来额外计算成本，实时性需验证
2. LLaMA依赖：需要预训练语言模型，对计算资源要求较高
3. 奖励设计：RL的奖励函数设计对最终性能影响大，可能需要领域知识
4. 可解释性：RL决策过程的黑箱特性可能限制在关键领域的应用

---

八、代码获取

该论文的PyTorch实现已开源：

• 仓库地址：https://github.com/ZJU-DAILY/ROMST
• 依赖：Python 3.10+, PyTorch, Transformers (LLaMA-3.2-1B)
• 数据集：支持BjTT、Terra、PEMS04、GreenEarthNet