(AAAI2025) TimeCMA：LLM赋能时序预测
本文提出TimeCMA模型，通过跨模态对齐实现大语言模型(LLM)赋能的多元时间序列预测。针对现有方法直接将时序数据与文本特征拼接导致信息混杂的问题，作者创新性地设计LLM-Empowered编码模块，将时序数据转化为包含时间和数值信息的文本提示，经GPT-2处理提取最具代表性的最后一个token特征。模型采用双模态编码和跨模态注意力融合架构，有效提升了预测性能。实验结果表明该方法优于传统拼接方式
论文：TimeCMA: Towards LLM-Empowered Multivariate Time Series Forecasting via Cross-Modality Alignment
代码：https://github.com/ChenxiLiu-HNU/TimeCMA
这个论文研究多变量时序预测问题，一般情况下，单个样本的数据量比较小，我之前认为是很难和LLM相结合的。如下图所示，现在有两种结合方法：第一种如(b)所示，直接将两个模态特征拼接。第二种如©所示，将时间序列包装成文本提示，再将多模态特征拼接。这两种方法的问题是：混合后的表示保留了弱的时间信息，也夹杂了噪声，降低了预测性能。
模型的总体框架如下图所示，首先是双模态编码提取特征，然后进行 cross-attention 融合，最后输入decoder预测。模型核心创新在于LLM-Empowered encoding，将时序数据包装成text prompts，包含时间信息和数值信息。然后使用GPT-2处理文本得到 token 序列。作者指出，最后一个token知识最全面，因此只使用最后一个token用于后续跨模态特征融合。
实验部分可以参考作者论文，这里不过多介绍。
火山引擎开发者社区是火山引擎打造的AI技术生态平台，聚焦Agent与大模型开发，提供豆包系列模型（图像/视频/视觉）、智能分析与会话工具，并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长，新用户可领50万Tokens权益，助力构建智能应用。
更多推荐
2
0- 0
已为社区贡献1条内容
所有评论(0)