1.论文简介

• 论文出处：IEEE TRANSACTIONS ON CYBERNETICS 2022（SCI1区，CCF-B）

• 原文链接

• 代码地址

• 【摘要】：多变量时间序列（MTS）广泛应用于许多重要领域，如医学、多媒体、制造业、动作识别和语音识别等。如何对 MTS 进行准确分类已成为一个重要的研究课题。传统的 MTS 分类方法没有对时间序列的时差信息进行明确建模，而时差信息实际上是非常重要的，它反映了动态演化信息。本文提出了差分引导表示学习网络（DGRL-Net），通过动态演化信息引导时间序列的表示学习。DGRL-Net 由差分引导层和多尺度卷积层组成。首先，在差分引导层中，我们提出了差分门控 LSTM 来模拟时间序列的时间依赖性和动态演化，从而获得原始序列和差分序列的特征表征。然后，这两种表征被用作多尺度卷积层的两个输入通道，以提取多尺度信息。广泛的实验证明，所提出的模型在 18 个 MTS 基准数据集上的表现优于最先进的方法，并在两个基于骨架的动作识别数据集上取得了有竞争力的结果。此外，还设计了消融研究和可视化分析来验证所提模型的有效性。

2.问题背景

• 多变量时间序列(MTS)分类是时间序列数据挖掘领域一个活跃的研究问题

• 基于距离和基于特征的两类传统MTS方法具有耗时和需要大量的特征工程及预处理的缺点

• 现有的MTS分类方法没有对时间序列的时间差异信息进行显式建模，而时间差异信息往往反映了时间序列的动态演化信息。
  
  如图所示，该图显示了动作“篮球射击”的时序例子的L2范数的时间差异曲线。时间差异幅度较大的序列段对应动作篮球投篮的关键段。同时，时间差异幅度较小的片段对应的是投篮前的准备动作和投篮后的准备动作，对分类任务没有区别。

3.拟解决的问题

• 改进大多数MTS分类方法没有考虑时间序列的时间差异信息的缺点

4.主要贡献

• 提出通过引入差分时间序列作为LSTM的输入，利用时间序列的动态演化为MTS分类提供基本信息

• 利用时间差异信息指导原始序列的表示学习

• 运行速度快，使用时间差异信息来指导原始序列的表示学习，DGRL-Net模型仅略微增加了运行时成本。

5.提出的方法

5.1问题定义

给定时间序列 X = { x 1 , x 2 , … , x T } X = \{x_1, x_2, \dots, x_T\} X={x1​,x2​,…,xT​}，其中 ( T ) 表示时间序列的长度，差分序列 X ^ = { x ^ 1 , x ^ 2 , … , x ^ T } \hat{X} = \{\hat{x}_1, \hat{x}_2, \ldots, \hat{x}_T\} X^={x^1​,x^2​,…,x^T​}由公式（4）进行计算：

DGRL-Net的总体架构如下图所示，包括差分引导层和多尺度卷积层，其中差分引导层由差分信息模块DIM和原始信息模块RIM组成。

5.2差分引导层

5.2.1模型结构

图为差分门控LSTM的记忆单元。绿色部分为差异信息模块，蓝色部分为原始信息模块。

5.2.2差分信息模块

1. 给定时间序列 X = { x 1 , x 2 , … , x T } X = \{x_1, x_2, \dots, x_T\} X={x1​,x2​,…,xT​}，其中 ( T ) 表示时间序列的长度，差分序列 X ^ = { x ^ 1 , x ^ 2 , … , x ^ T } \hat{X} = \{\hat{x}_1, \hat{x}_2, \ldots, \hat{x}_T\} X^={x^1​,x^2​,…,x^T​} 由公式（4）进行计算：

2. 隐藏状态 ${\hat{h}}_t$通过标准 LSTM 进行计算，公式如下：
   
   结构图如图所示：
   
   隐藏状态的表达式可以看作是描述时间序列动态演化的差分特征表示。

5.2.3原始信息模块

1. 利用差分特征表示结果${\hat{h}}_t$指导LSTM的输入门、遗忘门和输出门，更新存储器单元的状态。原始序列特征表示$h_t$计算如下:
   

2. 最终得到差分序列的特征表示 H ^ = { h ^ 1 , h ^ 2 , … , h ^ T } \hat{H} = \{\hat{h}_1, \hat{h}_2, \dots, \hat{h}_T\} H^={h^1​,h^2​,…,h^T​}，和原始序列的特征表示 H = { h 1 , h 2 , … , h T } H = \{h_1, h_2, \dots, h_T\} H={h1​,h2​,…,hT​}

5.3多尺度卷积层

1. 原始序列特征表示和差分特征表示作为多尺度CNN的两个输入通道，提取多尺度特征，他们由公式（9）进行联合
   
   整个序列的特征表示为 H = { h 1 , h 2 , … , h T } H = \{h_1, h_2, \dots, h_T\} H={h1​,h2​,…,hT​}，$H\in {\mathbb{R}}^{T\times n\times 2}$

2. 卷积滤波器定义为 $F\in {\mathbb{R}}^{w\times n\times 2\times k}$，其中 $w$ 为卷积滤波器的宽度，$n$ 表示卷积滤波器的高度，$2$ 表示所提出的差分门控 LSTM 的隐藏状态的维数，$k$ 表示滤波器的个数。卷积操作定义如下：
   

3. 最终获得特征表示矩阵 $G\in {\mathbb{R}}^{T\times r_k}$

4. 利用最大池化将特征矩阵$G$投影到低维表示中，以保持特征的不变性。

5.4全连接层

1. 池化结果P输入到全连接层，利用softmax函数计算预测分布:
   

2. 最小化交叉熵
   

6.实验

6.1数据集

数据集包括18个MTS数据和两个基于骨骼的动作识别数据集UTDMHAD和HDM05，如图所示：

6.2实验结果

以错误率和准确率作为评价指标，对比了其他分类方法。

基于DGRL-Net的UTD-MHAD数据集的混淆矩阵

6.3消融实验

6.3.1消融模型

为了验证所提出模型的每个组成部分的有效性，设计了五个消融模型，他们分别是：

• W/O LSTM：去掉了差分引导层
• W/O CNN and Guidance：原始序列和差分序列分别被输入到两个独立的LSTMs中，即差分序列不指导原始序列
• W/O CNN：去掉了多尺度卷积层
• W/O Difference：将原始序列代替拆分序列
• W/O Guidance：除差异特征表示和原始序列特征表示分别计算外，与提出的模型相同

6.3.2消融实验结果

6.4可视化分析

将差分序列的L2范数曲线可视化，它反映了每个时间步的动态信息。同时，可视化了原始信息模块的输入门和遗忘门的L2范数曲线。结果如图：

在大多数时间步长下，输入门的值与差分序列的变化趋势一致，而遗忘门的值则与差分级数的变化趋势相反。结果充分说明了输入时间序列的时间差异信息将指导LSTM的输入和遗忘门。

7.结论

• 利用时间差异信息指导时间序列表示学习的DGRL-Net，能够针对输入时间序列的时间依赖性和动态演化信息，提取出具有鉴别性的多尺度信息，使得分类效果好
• 该模型明确地模拟了时间序列的时间差异信息，但不能关注特定变量维度的动态演化