ST-SSL: 用于交通流量预测的时空自监督学习《Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction》(交通流量预测、时空异质性、自监督、数据增强)

2023年10月23日，继续论文，好困，想发疯。

论文：Spatio-Temporal Self-Supervised Learning for Traffic Flow Prediction

GitHub：https://github.com/Echo-Ji/ST-SSL

AAAI 2023的论文，开始吧。

(提示：下文的交通级、交通流量级、流量级，傻傻分不清楚，反正是翻译的锅，大体意思就是交通流量上的操作)

摘要

作者提出目前的交通流量预测存在两个主要的局限：1）大多数模型是对所有区域的流量进行集体预测，没有考虑空间异质性，也就是说不同区域的交通流量分布可能存在偏差。2）这些模型无法捕捉时变交通模式所引起的时间异质性，因为它们通常用所有时间段的共享参数空间来建模时间相关性。

为了解决这些挑战，作者提出了一个新颖的时空自监督学习交通流量预测框架(ST-SSL)，通过辅助的自监督学习范式，增强交通模式表征来反映空间和时间异质性。具体地，我们的ST-SSL建立在一个具有时间和空间卷积的集成模块上，对跨空间和时间的信息进行编码。为了实现自适应时空自监督学习，ST-SSL首先在属性和结构层面对交通流量图数据进行自适应增强。在增强的交通图之上，构建了两个SSL辅助任务，以空间和时间异质性感知增强来补充主要的交通预测任务。

1 介绍

目前的交通流量预测面临两个主要的缺陷：第一个局限是缺乏对空间异质性的建模，不同地区的交通流量分布存在偏差。如图1(a)，不同功能的区域，交通流量分布不同(图1(b))，但是大多数模型都忽略了这种空间异质性，容易偏向交通流量较大的热门区域，因此不足以学习高质量的全市交通模式表征。虽然有些研究试图通过不同区域的多个参数集来捕捉异质性流量分布，但是涉及的大参数规模可能会导致在倾斜分布的交通数据上出现次优问题(没看懂T-T)。然后就是计算和内存成本较高，无法在实际城市场景中处理大规模交通数据。此外元学习已经被用于最近的方法中以控制交通流量。然而，这些模型的有效性在很大程度上依赖于收集到的手工制作的区域空间特征，这限制了模型表征的泛化能力。

此外，目前的方法使用所有时间段的共享参数空间对时间动态进行建模，难以精确保留潜在嵌入空间中的时间异质性。不同区域的交通模式会随时间而变化，比如从早上到傍晚，如图1(c)所示的时间异质性。然而有些人采用的参数空间差异化策略假定时间异质性在整个时间段内都是静态的，这并不总是成立的，如在工作日和节假日的傍晚交通模式可能会有显著不同。

为了有效建模空间和时间异质性，作者提出了一个时空自监督学习框架用于预测交通流量。为了对时空交通模式进行编码，在图神经网络上构建了ST-SSL，该网络整合了时空卷积以进行信息聚合。为了捕捉空间异质性，设计了一种空间自监督学习范式，在数据级和结构级对交通流量图进行增强，以适应异质性区域交通流量分布。然后引入软聚类范式的辅助自监督，以了解不同区域间的不同空间模式。为了将时间异质性注入潜在表征空间，授权ST-SSL使用时间自监督学习范式来维护时间流量动态的专用表征。

主要贡献如下：

• 首次提出了一种自监督学习框架，为交通流量预测中的时空异质性建模。这一范例可以为其他实际时空应用(如空气质量预测)带来启示。
• 针对噪声扰动，在图结构时空图上提出了一种自适应异质性感知数据增强方案。
• 将两个自监督学习任务结合在一起，通过加强对空间和时间交通异质性的模型辨别能力来补充主要的交通预测任务。
• 实验效果好(略)。

2 前言

略。

问题陈述。给定当前时间步之前的历史交通流量图G，目标是学习一个预测函数，该函数能准确估计未来时间步 t + 1时所有区域的交通流量，即Xt+1 ∈ RN×2。

3 方法

3.1 时空编码器

提出了一种时空(ST)编码器，以在交通流量图上联合保留ST上下文信息，从而对不同时间步长的交通数据顺序模式和空间区域之间的地理相关性进行联合建模。为此，将时间卷积分量与图卷积传播网络相结合，作为时空关系表示的骨干。(没看懂T-T)

为了对时间流量模式进行编码，采用了具有门控机制的沿时间维度的一维因果卷积。具体地，时空卷积(TC)将流量张量作为输入，并为每个区域输出一个时间感知嵌入：

其中表示时间步长为t时的区域嵌入矩阵，第n行对应区域rn的嵌入。这里，D表示嵌入维度。Tout是TC编码器中卷积运算后输出嵌入序列的长度。

为了捕获区域内的空间相关性，根据基于图的信息传递机制设计了空间卷积(SC)编码器：

A是G的区域邻接矩阵。经过SC编码器后，可以通过注入地理上下文获得所有区域的精炼嵌入(Et−Tout , . . . ,Et)。

ST编码器采用“三明治”块结构，其中TC→SC→TC是每个单独的块。通过堆叠多个块，经过多次卷积，可以得到时间维度为T'的嵌入矩阵序列。经过基于ST编码器的嵌入传播和聚合后，时间维度T'降维零，就生成了ST编码器的最终嵌入矩阵，其中每行表示区域rn的最终嵌入。

下一节，对第一个TC编码器层的输出（Bt-T, ... ,Bt）进行自适应增强（第 3.2 节），并根据最终区域嵌入矩阵H进行时空异质性建模的自监督学习（第 3.3 节-第 3.4 节）。

3.2 TFG上的自适应图增强

在TFG上设计了两个阶段的图增强方案，分别是流量级数据增强和图拓扑级结构增强，这两个阶段都是根据流量的规律性来适应所学到的异构感知区域依赖关系。(没看懂，这个术语T-T)

区域异质性测量。对于一个区域 rn，其嵌入序列（bt-T,n, ... , bt,n）在 T 个时间步长内从 (Bt-T, ... ,Bt)的各行开始，生成一个整体的嵌入序列：

un 是根据得出的聚合权重 pτ,n 对区域 rn 在不同时间步长的嵌入序列进行的聚合表示。这里，τ 是时间步长范围 (t - T, t) 的索引。聚合权重 pτ,n 反映了特定时间步长的交通模式（bτ,n）与整体交通过渡规律性（un）之间的相关性。bτ,n 是区域 rn 在时间步长 τ 时的嵌入，w0∈ RD 是用于转换的可学习参数向量。

在 ST-SSL 模型中，建议估算两个区域之间的异质性程度，以反映它们在不同时期的流量分布差异，如下所示：

请注意，qm,n 分数越大，表明区域 rm 和 rn 之间的交通模式依赖性越高，从而导致异质性程度越低。

异质性引导的数据增强。在ST-SSL中，建议从流量级和图拓扑级两方面进行数据增强，详见下文：

流量级增强。受（Zhu 等人，2021 年）中数据增强策略的启发，在构建的交通张量 Xt-T:t 上设计了一个增强算子，该算子与每个区域的时间感知交通模式依赖关系相适应。具体而言，目标是在区域 rn 的第 τ 个时间步中，根据从伯努利分布（即 ρτ,n ∼ Bern(1-pτ,n)）中得出的掩码概率 ρτ,n 来掩码相关性较低的交通量，以对抗噪声扰动。ρτ,n值越高，表明区域rn在第τ个时间步的交通量xτ,n越有可能被掩盖，因为它与区域rn的整体交通规律性相关性较低。流量水平增强后的增强数据记为 X˜t-T:t。

图拓扑增强。除了流量级扩增，还建议进一步对区域交通流图 G 进行拓扑级扩增。通过这种方法，ST-SSL 不仅可以忽略流量模式相互关联度低的区域连接，还可以捕捉区域与全球城市背景的长距离依赖关系。为此，i) 给定两个空间上相邻的区域 rm 和 rn，如果它们的交通规律依赖性不高（以高异质性度 qm,n 衡量），则它们的连接边 (rm, rn)∈ E 将被屏蔽。屏蔽概率 ρm,n 取自伯努利分布，即 ρm,n ∼ Bern(1-qm,n)。 ii) 给定两个非相邻区域，低异质性度 qm,n 将导致在 rm 和 rn 之间添加一条边，屏蔽概率同样取自伯努利分布 Bern(qm,n)。

经过两个扩增阶段后，得到扩增的 TFG，其中包含去噪的交通量输入 X˜t-T:t（流量级扩增）和结构去噪˜E,A˜（图拓扑级扩增）。

3.3 空间异质性建模的 SSL

考虑到异质性感知增强 TFG，目标是通过辅助自监督信号，使区域嵌入能够有效保留空间异质性。

为了实现这个目标，设计了一种基于软聚类的区域自监督学习(SSL)任务，将它们映射到与不同城市区域功能(住宅区、购物中心、交通枢纽)相对应的多个潜在表示空间中。具体来说，生成K个集群嵌入{c1, . , cK}（以 k 为索引）作为区域聚类的潜在因子。聚类过程的形式为。这里，˜hn∈RD 是由增强 TFG ˜G 编码的区域 rn 的区域嵌入。˜zn,k 表示区域 rn 的嵌入与第 k 个聚类的嵌入 ck 之间的估计相关性得分。之后，区域 rn 的聚类分配由

生成。(没看懂TT-TT)

为了提供基于异构感知软聚类范式的自监督信号用于增强，设计了辅助学习任务，利用从原始 TFG G 编码的区域嵌入 hn 预测他的聚类分配，其中 ˆzn,k 是 ˜zn,k 的预测分配得分。自监督增强任务的优化方法如下：

其中，γ 是温度参数，用于控制 softmax 输出的平滑度。所有区域的总体自监督目标定义如下：

通过将对 hn 的监督与异质性感知区域集群分配 ˜zn 结合起来，我们使区域嵌入 hn 能够反映全球城市空间内的空间异质性。

区域聚类的分布正则化。在异质性感知区域聚类范例中，生成聚类分配矩阵 Z˜ = (˜z1, ... , ˜zN)∈ RN×K 作为自监督信号，用于生成性数据增强。然而，要符合区域特征在城市空间中的真实分布，需要解决两个问题：i) 由于 Z˜ 是由矩阵生成的，因此无法保证每个区域的聚类赋值总和为 1，即 Z˜1K = 1N，其中 1N 表示一个包含所有 1 的 N 维向量。ii) 为了避免每个区域都有相同赋值的琐碎解决方案，我们采用了最大熵原则，即。这鼓励所有区域被群组平均分配。为了解决这两个问题，将可行解集定义为：

对于任意赋值 Z˜∈ ˜Z，可以用它将嵌入矩阵映射到聚类矩阵。因此，通过最大化嵌入和聚类之间的相似性来寻找最优解，即：

其中，tr(-) 是对正方形矩阵主对角线上的元素求和的迹算子，H( ˜Z) 是熵函数定义为是控制赋值平滑度的参数。最后，将公式 (6) 中的原始赋值替换为最优解。有关求解过程，请参阅附录。

3.4 用于时间异质性建模的 SSL

在这一部分中，进一步设计了一个自我监督学习（SSL）任务，通过强制特定时间步长的交通模式表征之间的发散性，将时间异质性注入时间感知区域嵌入中。

具体来说，首先融合原始和增强 TFG 的时间感知区域嵌入编码：

其中是元素向乘积。w1,w2 是可学习参数。然后，通过聚合所有区域的嵌入，生成时间步长为 t 的城市级表示 st（σ 为 sigmoid 函数）：

为了提高不同时间步长之间的表征区分能力，将同一时间步长的地区级和城市级嵌入（vt,n, st）作为 SSL 任务中的正对，而将不同时间步长的嵌入作为负对。通过这种设计，正向配对的辅助监督将促进特定时间内全市交通趋势（如高峰时段、天气因素）的一致性，而负向配对则有助于捕捉不同时间步长的时间异质性。从形式上看，时间异质性增强 SSL 任务是通过以下损失与交叉熵度量进行优化的：

其中，t 和 t' 表示两个不同的时间步长。g 是一个准则函数，定义为 。是可学习的变换矩阵。

3.5 模型训练

在 ST-SSL 的学习过程中，将每个区域 rn 的嵌入 hn∈H 输入到一个 MLP 结构中，以实现对未来时间步长 t+1 的交通流量预测：

其中，为预测结果。通过最小化下面的损失函数来优化模型：

其中表示流入和流出的基本事实，λ 是平衡各类交通流影响的参数。

最后，将式 (6) 和 (11) 中的自监督空间和时间异质性建模损失纳入联合学习目标，从而获得总体损失：

模型可以通过反向传播算法进行训练。整个训练过程可概括为四个阶段：i) 给定 TFG G，通过 ST 编码器生成区域嵌入矩阵 H；ii) 同时，执行自适应增强，将 G 细化为 G˜，并将其输入共享 ST 编码器以输出 H˜；iii) 通过使用 H 和 H˜，计算出损失 Ls、Lt 和 Lp，用于生成联合损失 Ljoint。iv）采用反向传播算法来训练 ST-SSL，直到 Ljoint 收敛为止。

(呜呜呜呜呜呜，我这个菜鸡，看不懂，多看几遍吧，唉.)

4 实验

略。

5 相关工作

用于交通预测的深度学习。许多人致力于开发基于各种神经网络的交通预测技术。RNN （Wang 等人，2019b；Ji 等人，2020）和一维 CNN（Wang 等人，2022，2016）被用于捕捉交通序列中的时间依赖性。CNN（Zhang、Zheng 和 Qi，2017 年；Yao 等人，2019 年）、GNN（Zhang 等人，2020 年；Ji 等人，2022 年）和注意力机制（Zheng 等人，2020 年）被引入到空间信息中。然而，它们大多忽略了时空异质性问题。最近，一些研究通过使用多个模型（Yuan、Zhou 和 Yang，2018 年）或多组参数（Bai 等，2020 年；Li 和 Zhu，2021 年）对异质性进行建模，还有一些研究使用元学习根据不同区域的静态特征生成不同权重（Pan 等，2019 年 a；Ye 等，2022 年）。然而，这些方法要么引入了大量可能导致过拟合问题的参数，要么需要可能无法获得的外部数据。为了克服这些局限性，将自监督学习纳入交通预测，以探索空间和时间异质性。
表征学习的自监督学习。自监督学习旨在从输入数据中提取有用信息，从而提高表征质量（Hendrycks 等人，2019 年）。一般的范式是增强输入数据，然后设计借口任务作为表征学习的伪标签。这种方法在文本（Kenton 和 Toutanova，2019 年）、图像（Chen 等，2020 年）和音频数据（Oord、Li 和 Vinyals，2018 年）方面取得了巨大成功。受这些著作的启发，开发了一种针对时空图数据的自适应数据增强方法，并引入了两个借口任务，以学习对时空异质性具有鲁棒性的表示，而现有的交通流预测方法尚未很好地探索时空异质性。

6 结论与未来工作

本研究通过提出一种新颖的时空自监督学习（ST-SSL）框架，对交通预测问题进行了研究。具体来说，整合了时空卷积来编码时空交通模式。然后，设计了 i）空间自监督学习范式，包括自适应图增强和基于聚类的生成任务；以及 ii）时间自监督学习范式，依赖于时间感知对比任务，用空间和时间异质感知自监督信号来补充主要的交通流预测任务。四个交通流数据集的综合实验证明了 ST-SSL 的鲁棒性。未来的工作在于将时空 SSL 框架扩展到与模型无关的范例。

2023-10-24 16:59,看完了，但是没看懂，再看看。