Neural Dynamics on Complex Networks-KDD20
一、摘要
学习复杂网络上的连续时间动态对于理解、预测和控制科学和工程中的复杂系统至关重要。然而,由于高维系统结构中的组合复杂性、它们难以捉摸的连续时间非线性动力学以及它们的结构-动力学依赖性,使得这项任务非常具有挑战。
为了解决这些挑战,我们提出将常微分方程系统(ODEs)和图神经网络(GNNs)相结合,以数据驱动的范式来学习复杂网络上的连续时间动态变化。
我们用GNN来建模微分方程系统。我们并未在前向过程中使用离散数量的神经网络层进行映射,而是在连续时间上数值地整合GNN层,从而捕获图上的连续时间动态。我们的模型可以解释为连续时间GNN模型或图神经ode模型。我们的模型可以用于:
- 连续时间网络动态预测
- 结构化序列预测(定期采样情况)
- 单馈框架下的节点半监督分类任务(单快照情况)。
我们通过在上述三种情况下进行的大量实验,验证了我们的模型。较好的实验结果表明,我们的模型能够在一个单一的框架中联合捕获复杂系统的结构和动力学。
二、内容
将固定结构的图的节点特征随时间的动态变化,建模成微分方程(变化用微分方程建模是常规操作,还可以偏微分),同时用GNN模型来充当微分方程的右式,即变化公式(既利用神经网络的优势,有利用了GNN编码节点之间结构关联的能力)
对微分方程进行一阶近似(欧拉公式,一阶差分近似微分;或进行积分,再进行数值积分,殊途同归),再加上一个节点特征变换,即可得到本文公式。
值得注意的是,现实世界中常有时序预测的需求,例如传感器采集数据,假如不同的传感器构成网络,则变成了时空预测问题。然而,这个时候用动态图的算法不一定就优于传统时序预测或对传感器聚类分群建模预测等算法或方案,这可能是实际数据的空间依赖性并不强。
下图为论文PPT总结。
Neural Dynamics on Complex Networks-KDD20的更多相关文章
- 深度复数网络 Deep Complex Networks
转自:https://www.jiqizhixin.com/articles/7b1646c4-f9ae-4d5f-aa38-a6e5b42ec475 (如有版权问题,请联系本人) 目前绝大多数深度 ...
- Adaptive Synchronization of Dynamics on Evolving Complex Networks
原文链接:https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.100.114101 发表在:PRL 2008 ------------- ...
- The Unreasonable Effectiveness of Recurrent Neural Networks (RNN)
http://karpathy.github.io/2015/05/21/rnn-effectiveness/ There’s something magical about Recurrent Ne ...
- NEURAL NETWORKS, PART 1: BACKGROUND
NEURAL NETWORKS, PART 1: BACKGROUND Artificial neural networks (NN for short) are practical, elegant ...
- Online handwriting recognition using multi convolution neural networks
w可以考虑从计算机的“机械性.重复性”特征去设计“低效的”算法. https://www.codeproject.com/articles/523074/webcontrols/ Online han ...
- 为什么深度神经网络难以训练Why are deep neural networks hard to train?
Imagine you're an engineer who has been asked to design a computer from scratch. One day you're work ...
- 神经网络可以拟合任意函数的视觉证明A visual proof that neural nets can compute any function
One of the most striking facts about neural networks is that they can compute any function at all. T ...
- 论文翻译:2020_Densely connected neural network with dilated convolutions for real-time speech enhancement in the time domain
提出了模型和损失函数 论文名称:扩展卷积密集连接神经网络用于时域实时语音增强 论文代码:https://github.com/ashutosh620/DDAEC 引用:Pandey A, Wang D ...
- 论文翻译:2022_PACDNN: A phase-aware composite deep neural network for speech enhancement
论文地址:PACDNN:一种用于语音增强的相位感知复合深度神经网络 引用格式:Hasannezhad M,Yu H,Zhu W P,et al. PACDNN: A phase-aware compo ...
- 论文翻译:2020_DCCRN: Deep Complex Convolution Recurrent Network for Phase-Aware Speech Enhancement
论文地址:DCCRN:用于相位感知语音增强的深度复杂卷积循环网络 论文代码:https://paperswithcode.com/paper/dccrn-deep-complex-convolutio ...
随机推荐
- 你天天用4G 这些基本常识都知道吗?
不少朋友在选购4G智能手机的时候,经常可能会遇到这样的名词,五模十三频.五模十七频.双4G.移动4G.联通4G.那这些名词到底是什么意思呢?它们之间又有什么区别呢? 其实上面的这些说法其实都是比较具有 ...
- ElasticSearch7.3学习(四)----结合Spring boot进行增删改查和批量(bulk)详解
1.前置 java api 文档 https://www.elastic.co/guide/en/elasticsearch/client/java-rest/7.3/java-rest-overvi ...
- Spring boot 的定时任务。
@Scheduled(fixedRate=2000):上一次开始执行时间点后2秒再次执行: @Scheduled(fixedDelay=2000):上一次执行完毕时间点后2秒再次执行: @Schedu ...
- .NET 云原生架构师训练营(模块二 基础巩固 HTTP管道与中间件)--学习笔记
2.3.2 Web API -- HTTP管道与中间件 管道 中间件 ASP.NET Core 中间件:https://docs.microsoft.com/zh-cn/aspnet/core/fun ...
- MySQL 将执行结果保存到文件
1. 使用mysql的tee命令记录对mysql的操作过程 (1)第一种情况是在连接数据库的时候使用tee >mysql -u root -p --tee=C:/log.txt ...
- 如何基于 spdlog 在编译期提供类 logrus 的日志接口
如何基于 spdlog 在编译期提供类 logrus 的日志接口 实现见 Github,代码简单,只有一个头文件. 前提 几年前看到戈君在知乎上的一篇文章,关于打印日志的一些经验总结: 实践下来很受用 ...
- 开源.NetCore通用工具库Xmtool使用连载 - 散列算法篇
[Github源码] <上一篇>详细介绍了Xmtool工具库中的加解密类库,今天我们继续为大家介绍其中的散列算法类库. 散列算法在某些特殊场景也可以当做加密方法使用:其特点是不可逆,同一内 ...
- IPFS 添加和管理文件
IPFS的文件有不同的模式 默认模式 默认模式下, 文件会被解析并存入blocks, 同时文件的结构被存入filestore, 因为IPFS是按内容寻址的文件系统, 在添加时最外层的目录名或文件名信息 ...
- patch命令
patch命令 patch指令让用户利用设置修补文件的方式.修改.更新原始文件,倘若一次仅修改一个文件,可直接在指令列中下达指令依序执行,如果配合修补文件的方式则能一次修补大批文件,这也是Linux系 ...
- spring boot使用自带缓存
项目地址:https://gitee.com/indexman/spring_boot_in_action 下面就介绍一下如何使用spring boot自带的缓存.按步骤来操作即可,不懂的可以去看项目 ...