重磅！图神经网络取得新突破，连续两篇工作登Nature！分别是用图神经网络做蛋白质预测和材料设计。

实际上，图神经网络，近年来一直是发论文的烫门，主要在于其应用非常广泛，创新机会多。一方面，其交叉计算机视觉和自然语言处理，能做的任务多；另一方面，在交叉学科中也大有用武之地，前文提到的Nature中稿便是！

此外，为帮助大家快速发出自己的顶会，我给大家梳理了图神经网络24年好发论文的方向，并且每个方向都准备了配套的论文以及源码，共49篇，涉及几何图神经网络、大模型与图神经网络结合、动态图神经网络等。

异构图神经网路

传统的GNN主要关注同构图，但现实世界中，许多图是异构的，包含多种类型的节点和边。设计能够处理这些复杂结构的GNN模型可以是一个重要的创新点。

1. Beyond Homophily in Graph Neural Networks: Current Limitations and Effective Designs

「论文简述」 本文研究了在异质性或低同质性的半监督节点分类任务中，即在连接的节点可能具有不同的类别标签和不同的特征的网络中，图神经网络的表示能力。许多流行的gnn无法推广到这种设置，甚至被忽略图结构的模型(例如，多层感知器)所超越。在这种限制的激励下，作者确定了一组关键设计——自我和邻居嵌入分离、高阶邻域和中间表示的组合——这些设计促进了在异质性下从图结构中学习。作者将它们组合成一个图神经网络，H2GCN，我们使用它作为基础方法来实证评估所识别的设计的有效性。

1. Towards deeper graph neural networks

「论文简述」 在这项工作中，作者系统地研究了这一观察结果，并对更深层次的图神经网络提出了新的见解。首先，我们对这个问题进行了系统的分析，并认为影响性能的关键因素是当前图卷积运算中表示变换和传播的纠缠。在解耦这两个操作后，可以使用更深层次的图神经网络从更大的接受域学习图节点表示。在构建非常深的模型时，作者进一步对上述观察结果进行了理论分析，这可以作为对过度平滑问题的严格而温和的描述。

1. Adaptive Universal Generalized PageRank Graph Neural Network

「论文简述」 作者通过引入一种新的广义PageRank (GPR) GNN架构来解决这些问题，该架构自适应地学习GPR权重，从而联合优化节点特征和拓扑信息提取，而不管节点标签在何种程度上是同质或异亲的。学习到的GPR权重自动调整到节点标签模式，与初始化类型无关，从而保证了对于通常难以处理的标签模式的优秀学习性能。此外，它们允许人们避免特征过度平滑，这是一个渲染特征信息无区别的过程，而不需要网络很浅。作者伴随的GPR-GNN方法的理论分析由所谓的上下文随机块模型生成的新型合成基准数据集促进。

动态图神经网路

大多数现有的GNN模型都是为静态图设计的。但许多应用中，图的结构是随时间动态变化的。设计能够处理图的动态性的模型是另一个可能的创新方向。

1. APAN: Asynchronous Propagation Attention Network for Real-time Temporal Graph Embedding

「论文简述」 受限于在图数据库中查询k-hop邻居的时间复杂度，大多数图算法不能在线部署并执行毫秒级推理。这个问题极大地限制了图算法在某些领域的应用潜力，比如金融欺诈检测。因此，作者提出了一种用于实时时序图嵌入的异步连续时间动态图算法——异步传播注意网络。传统的图模型通常执行两个串行操作:首先是图计算，然后是模型推断。

1. FreeDyG: Frequency Enhanced Continuous-Time Dynamic Graph Model for Link Prediction

「论文简述」 链接预测是动态图学习中的一项重要任务。连续时间动态图模型的最新进展，主要是通过利用更丰富的时间细节，显著提高了链路预测性能。然而，由于其复杂的模块，它们仍然面临着一些挑战，如过拟合和优化困难。更重要的是，这些方法很难捕捉到节点交互模式随时间变化的“移位”现象。为了解决这些问题，作者提出了一种简单而新颖的方法，称为频率增强连续时间动态图(FreeDyG)模型，用于链路预测。具体来说，作者提出了一个节点交互频率编码模块，该模块既可以显式捕获共同邻居的比例，也可以捕获节点对交互的频率。与以前主要关注时域的工作不同，作者深入到频域，允许更深入、更细致地提取交互模式，揭示周期性和“移位”行为。

1. Dynamic Heterogeneous Graph Attention Neural Architecture Search

「论文简述」 动态异构图神经网络 (DHGNN) 已被证明在处理无处不在的动态异构图方面是有效的。然而，现有的 DHGNN 是手工设计的，需要大量的人力，无法适应不同的动态异构图场景。在本文中，作者建议自动化 DHGNN 的设计，这面临两个主要挑战：1）如何设计搜索空间来共同考虑图中的时空相关性和异构交互；2）如何在潜在的大而复杂的搜索空间中设计一个有效的搜索算法。为了应对这些挑战，作者提出了一种新颖的动态异构图注意力搜索 (DHGAS) 方法。作者提出的方法可以自动发现最优的 DHGNN 体系结构，并适应各种动态异构图场景，而不需要人工指导。特别是，作者首先提出了一个统一的动态异构图注意（DHGA）框架，该框架使每个节点能够共同关注其异构和动态邻居。基于该框架，作者设计了一个定位空间来确定应该应用注意力的位置和一个参数化空间来确定注意力应该如何参数化。最后，作者设计了一种多阶段可微搜索算法来有效地探索搜索空间。

扩展到3D数据

将GNN与3D数据结合，如点云或3D网格，可以为计算机视觉和机器人技术领域带来创新。例如，用于3D对象识别、场景理解和3D重建的GNN模型。

1. RadarGNN: Transformation Invariant Graph Neural Network for Radar-basedPerception

「论文简述」 本文提出了一种新的图神经网络，它不仅利用点本身的信息，而且利用点之间的关系。该模型同时考虑嵌入在图边缘的点特征和点对特征。此外，提出了一种实现变换不变性的通用方法，该方法对不可见场景具有鲁棒性，并抵消了有限的数据可用性。转换不变性是通过不变的数据表示实现的，而不是通过不变的模型体系结构实现的，这使得它适用于其他方法。提出的RadarGNN模型在radarscenes数据集上的性能优于以往的所有方法。

1. Dynamic Graph CNN for Learning on Point Clouds

「论文简述」 本文提出了一个被称为边缘卷积的新型神经网络模型可以适应解决CNN为基础的在点云上的高标准任务包括分类和分割。边缘卷积作用于每一层网络动态计算的图。他是可区分的并且可以插入到现有的模型结构当中。相比于现有的模型操作在外在空间或者直接独立地处理每个点，边缘卷积有一些吸引人的方面：它合并了局部领域信息；它可以被堆放在一起适用于学习全局的形状属性；在多层系统中在特征空间下的亲和力捕获原始嵌入中长距离下的潜在语义特征。

隐私保护的GNN

1. A Survey on Privacy in Graph Neural Networks!Attacks,Preservation, and Applications

「论文简述」 图神经网络(gnn)由于其处理图结构数据的能力和在实际应用中的改进而受到了广泛的关注。然而，这些模型中的许多都优先考虑高实用性能，例如准确性，而缺乏对隐私的考虑，这是现代社会中隐私攻击猖獗的主要问题。为了解决这个问题，研究人员已经开始开发保护隐私的gnn。尽管取得了这些进展，但对图域中的攻击和保护隐私的技术缺乏全面的概述。在本次调查中，作者旨在通过根据目标信息总结对图数据的攻击，对gnn中的隐私保护技术进行分类，并回顾可用于分析/解决gnn中隐私问题的数据集和应用程序，来解决这一差距。作者还概述了未来研究的潜在方向，以构建更好的保护隐私的gnn。

大规模处理

基于节点的采样算法

1. Inductive Representation Learning on Large Graphs

「论文简述」 大图中节点的低维嵌入已被证明在各种预测任务中非常有用，从内容推荐到识别蛋白质功能。然而，大多数现有的方法要求在训练嵌入时图中的所有节点都存在；这些以前的方法本质上是transductive 的，不能自然地推广到未见过的节点。在这里，作者提出了GraphSAGE，这是一个通用的inductive框架，利用节点特征信息（如文本属性）来为以前未见过的数据有效地生成节点嵌入。我们不是为每个节点训练单独的嵌入，而是学习一个函数，通过从节点的本地邻域采样和聚合特征来生成嵌入。

1. Graph Convolutional Neural Networks for Web-Scale Recommender Systems

「论文简述」 作者开发了一种数据高效的图卷积网络(GCN)算法PinSage，它结合了高效的随机游走和图卷积来生成包含图结构和节点特征信息的节点（例如物品）嵌入。与之前的GCN方法相比，作者开发了一种基于高效随机游走的新方法来构造卷积并设计一种新的训练策略，该策略依赖于越来越难的训练样例来提高模型的鲁棒性和收敛性。

1. Stochastic Training of Graph Convolutional Networks with Variance Reduction

「论文简述」 图卷积网络(GCNs)是用于图结构数据的强大深度神经网络。但是，GCN从其邻居递归地计算节点的表示，使接收字段大小随着层数呈指数增长。以前通过对邻居进行子采样来减小接受字段大小的尝试并不能保证收敛，并且它们的每个节点的接受字段大小仍然在数百个数量级。在本文中，作者开发了基于控制变量的算法，允许采样任意小的邻居大小。此外，作者证明了该算法收敛到GCN的局部最优的新的理论保证。

1. Large-Scale Learnable Graph Convolutional Networks

「论文简述」 在这里，作者通过提出可学习图卷积层(LGCL)来解决这些挑战。LGCL根据值排序自动为每个特征选择固定数量的相邻节点，以便将图数据转换为1-D格式的类网格结构，从而支持在通用图上使用常规卷积操作。为了能够在大规模图上进行模型训练，作者提出了一种子图训练方法，以减少先前在图卷积上的方法所带来的过多的内存和计算资源需求。

基于层的采样算法

1. FASTGCN: FAST LEARNING WITH GRAPH CONVOLUTIONAL NETWORKS VIA IMPORTANCE SAMPLING

「论文简述」 FastGCN通过将图卷积操作转化为概率分布积分形式，如图4(a)所示，并利用蒙特卡洛法估计积分值，解决了图神经网络大规模数据训练中的时间和内存开销问题。FastGCN采用层级采样避免邻居节点爆炸，并基于采样的损失函数和梯度函数进行模型训练，同时通过重要性采样优化性能。

1. Adaptive Sampling Towards Fast Graph Representation Learning

「论文简述」 AS-GON是一种自适应层级采样算法，通过逐层固定采样节点数避免GCN中邻居节点爆炸问题。基于上层采样结果对下层节点进行采样，使下层采样邻居节点被尽可能多的上层节点共享。AS-GON还通过连接跳跃捕捉二阶相似性，利用连接跳跃策略获取二阶邻居特征，传播高阶邻居特征信息，无需额外采样开销。

基于子图的采样算法

1. Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks

「论文简述」 Cluster-GCN通过子图采样算法提高了GCN分批训练的计算效率。通过聚类感知的划分算法Metis将节点划分为c块，并将邻接矩阵转化为对角矩阵A和B。将GCN的表示函数分解到不同的聚类分块中，并通过随机组合分块来缓解存在的边遗漏和估计误差的问题。在分批训练中，每一批随机选择多个聚类分块而不是将单个分块作为训练数据。

1. Ripple Walk Training: A Subgraph-based Training Framework for Large and Deep Graph Neural Network

「论文简述」 RWT是一种逐层游走的训练策略，用于解决 Cluster-GCN 在大规模图应用中的时间和空间开销问题。通过子图采样算法实现图数据分批，每批次构建图神经网络模型进行训练。采样策略综合考虑随机性和图结构连接性，采用逐层扩张方式从当前子图邻居节点中采样并更新子图，直至达到阈值。RIWT 在 GCN 和 GAT 上验证了有效性。

图神经网络框架

图神经网络计算过程涉及不规则访存和复杂特征计算，传统框架在图计算上性能较差。针对此问题，研究者提出面向图神经网络的编程框架并探索优化技术，为大规模图神经网络模型运行和优化奠定基础。

图神经网路编程框架

1. Deep Graph Library: Towards Efficient and Scalable Deep Learning on Graphs

「论文简述」 加速深度图学习这一新兴领域的研究需要新的工具。这样的系统应该支持图作为核心抽象，并注意保持向前(即支持新的研究想法)和向后(即与现有组件集成)的兼容性。本文提出深度图库(Deep Graph Library, DGL)。DGL支持任意的消息处理和变异操作，灵活的传播规则，并且与框架无关，以便利用现有框架中已有的高性能张量、autograd操作和其他特征提取模块。DGL精心处理稀疏和不规则的图结构，处理动态变化的大大小小图，融合操作，自动批处理，充分利用现代硬件的优势。DGL已经在各种模型上进行了测试，包括但不限于流行的图神经网络(GNN)及其变体，具有良好的速度、内存占用和可扩展性。

1. FAST GRAPH REPRESENTATION LEARNING WITH PYTORCH GEOMETRIC

「论文简述」 作者介绍PyTorch Geometric，这是一个构建在PyTorch之上的库，用于对不规则结构的输入数据(如图表、点云和流形)进行深度学习。除了一般的图数据结构和处理方法外，它还包含了关系学习和3D数据处理领域最近发表的各种方法。PyTorch几何通过利用稀疏的GPU加速，提供专用的CUDA内核，以及为不同大小的输入示例引入高效的小批处理，实现了高数据吞吐量。

框架相关优化技术

1. Distributed Deep Graph Learning at Scale

「论文简述」 图神经网络(gnn)近年来获得了极大的关注，并成为发展最快的网络之一深度学习中的子区域。虽然已经提出了几种新的GNN架构，但现实世界图的规模，在许多情况下，数十亿的节点和边——带来了挑战。在模型训练期间。在本文中，作者提出P3，一个专注于将GNN模型训练扩展到大规模的系统分布式环境下的真实图。我们观察到训练gnn的可扩展性挑战从根本上说不同于训练经典的深度神经网络分布式图处理;这是常用的图的智能分割等技术则不是这样产生预期的结果。基于这一观察，P3建议一种新的分布式GNN训练方法。我们的方法有效地消除了高通信和分区，并将其与一种新的基于流水线推挽并行的执行策略相结合。以快速模型训练。P3公开一个简单的API，可以捕获许多不同的类GNN架构的通用性。

1. GNNAdvisor: An Adaptive and Efficient Runtime System for GNN Acceleration

「论文简述」 作者提出了GNNAdvisor，一个自适应和高效的运行时系统，以加速GPU平台上的各种GNN工作负载。首先，GNNAdvisor从GNN模型和输入图中探索并确定了几个与性能相关的特征，并将其用作GNN加速的新驱动力。其次，GNNAdvisor实现了一种新颖高效的2D工作负载管理，为GNN计算量身定制，以提高GPU在不同应用程序设置下的利用率和性能。第三，GNNAdvisor利用GPU内存层次结构进行加速，根据GPU内存结构和GNN工作负载的特点优雅地协调GNN的执行。此外，为了实现自动运行时优化，GNNAdvisor集成了一个轻量级分析模型，用于有效的设计参数搜索。

结合其他技术

将GNN与其他先进技术结合，如生成对抗网络（GAN）、强化学习、迁移学习等，可能会产生新的创新点。

图迁移学习

1. Energy-based Out-of-Distribution Detection for Graph Neural Networks

「简述」 在本文中，作者研究了一个未被探索的问题，OOD检测图结构数据，并确定了一个可证明有效的OOD鉴别器，该鉴别器基于直接从具有标准分类损失的图神经网络中提取的能量函数。这为基于gnn的图形学习的简单、强大和高效的OOD检测模型铺平了道路，我们称之为GNNSafe。它还具有良好的理论性质，可以保证在分布样本和OOD样本的检测分数之间具有整体可区分的边际，更重要的是，可以通过无学习能量信念传播方案进一步加强。

解释性和可视化

1. KerGNNs: Interpretable Graph Neural Networks with Graph Kernels

「论文简述」 在本文中，作者提出了一种新的GNN框架，称为内核图神经网络(KerGNNs)，该框架将图核集成到GNN的消息传递过程中。受卷积神经网络(cnn)中的卷积滤波器的启发，KerGNNs采用可训练隐藏图作为图滤波器，并结合子图使用图内核更新节点嵌入。此外，作者证明了MPNNs可以被视为KerGNNs的特殊情况。作者将kergnn应用于多个与图相关的任务，并使用交叉验证与基准测试进行公平的比较。

新的应用领域

探索GNN在尚未涉及的应用领域的潜力，如生物信息学、社交网络分析、金融风险预测等

分层图神经网络用于金融风险预测

1. Company-as-Tribe: Company Risk Assessment On Tribe-Style Graph With Hierarchical Graph Neural Networks

「论文简述」 作者将问题重新定义为部落式图的公司财务风险评估，将每个上市公司及其股东视为一个部落，并利用财务新闻建立部落间联系。这种部落风格的图表呈现出不同的模式，以区分风险公司和正常公司。然而，部落式图中的大多数节点缺乏属性，这使得很难直接采用现有的图学习方法(例如图神经网络(gnn))。本文提出了一种新的部落式图的层次图神经网络(TH-GNN)，通过两个层次对部落的结构模式进行对比学习编码，第二层基于部落间关系进行信息扩散，实现有效和高效的风险评估。在现实世界的公司数据集上进行的大量实验表明，该方法在财务风险评估方面比以前的竞争方法取得了显着改进。

基于时序异构图神经网络的金融时间序列预测

2. Temporal and Heterogeneous Graph Neural Network for Financial Time Series Prediction

「论文简述」 在本文中，作者提出了一种基于时间和异构图神经网络(THGNN)的方法来学习金融时间序列中价格运动之间的动态关系。特别地，我们首先根据每个交易日的历史价格生成公司关系图。然后我们利用变压器编码器将价格变动信息编码为时间表示。然后，作者提出了一种异构图注意网络，通过变压器编码器联合优化金融时间序列数据的嵌入，并推断目标移动的概率。最后，对美国和中国的股票市场进行了广泛的实验。

图神经网络与生物医学网络实现新兴药物相互作用预测（Nature）

3. Emerging drug interaction prediction enabled by a flow-based graph neural network with biomedical network

「论文简述」 在本文中，作者提出了一种图神经网络(GNN)，它可以利用生物医学网络中的丰富信息有效地预测新兴药物的相互作用。emnn通过提取药物对之间的路径，将信息从一种药物传播到另一种药物，并在路径上结合相关的生物医学概念来学习药物的成对表示。对生物医学网络上的不同边缘进行加权，以表示目标DDI预测的相关性。总的来说，emneurn在预测新兴药物相互作用方面比现有方法具有更高的准确性，并且可以识别生物医学网络上最相关的信息。

最后

如果你真的想学习人工智能，请不要去网上找那些零零碎碎的教程，真的很难学懂！你可以根据我这个学习路线和系统资料，制定一套学习计划，只要你肯花时间沉下心去学习，它们一定能帮到你！

戳下方原文处无偿获取哦~

图神经网络杀疯了！登顶Nature！-CSDN博客