笔记整理：庄祥，浙江大学博士生，研究方向大语言模型

论文链接：https://openreview.net/forum?id=tirl2l9oKg

发表会议：NeurIPS 2025

1. 动机

图表示学习近年来在电商推荐、知识图谱、分子发现等领域取得了显著进展。随着大型语言模型（LLM）的兴起，图基础模型（Graph Foundation Models，GFMs）通过大规模预训练，将跨域泛化与多任务统一推理能力引入图领域。然而，GFM 在实际部署中面临两大核心瓶颈：（1）知识更新成本高昂。图数据具有动态演化特性：新增用户-商品交互、社交网络关系或分子结构时有发生。传统方案需对 GFMs 进行全量或参数高效微调（如 GraphLoRA、G-Adapter），仍需反向传播与梯度存储，耗时数小时至数天，且易引发灾难性遗忘。（2）推理忠实度不足。GFMs 在复杂拓扑上与 LLM 耦合时，常出现“幻觉”：生成虚假节点特征、臆造不存在的边，导致与真实图结构背离，降低业务可信度。自然语言处理领域的检索增强生成（Retrieval-Augmented Generation，RAG）通过“推理时检索”而非“训练时微调”实现知识即时更新，并显著抑制幻觉。但图数据具有拓扑异构、模态混合（文本+结构）等特点，直接将文本 RAG 迁移到图域将面临以下挑战：

• 如何构建兼顾语义与结构保真度的图索引？
• 如何针对节点级、边级、图级等不同任务设计异构检索策略？
• 如何在特征与拓扑双重空间合理融合检索证据？

RAG4GFM 由此提出，旨在为 GFMs 提供即插即用、无需梯度计算的知识更新与推理增强能力。

2. 贡献

（1）首次系统性地将 RAG 范式扩展到图基础模型，提出端到端框架 RAG4GFM，实现“零梯度更新、毫秒级检索、分钟级部署”。

（2）多级混合图索引：统一编码节点文本语义、Laplacian 位置信号、边角色特征与图全局统计，构建基于 HNSW 的四级层次索引，理论检索复杂度 O(logN)。

（3）任务感知检索器：利用轻量级 LLM 对“自然语言查询+图上下文”进行任务类型判别（节点/边/图），自适应选择特征子空间与检索算子，并采用倒数排序融合（RRF）多路结果，显著降低噪声。

（4）双路图融合增强：

• 特征层——基于语义相似度动态计算注意力权重，过滤低相关检索子图；
• 拓扑层——通过稀疏矩阵运算将高价值邻接信息加权合并至查询图，兼顾可扩展性与结构一致性。

（5）大规模实验验证：在 9 个跨领域数据集、6 类任务（节点分类/回归、边分类/预测、图分类/回归）上与 7 个代表性 GFMs 组合测试，平均提升 4–7%，推理耗时降至参数高效微调方案的 1/7，GPU 显存节省 60% 以上

3. 方法

3.1 多级图索引（Multi-Level Graph Indexing）

给定外部图语料库G，RAG4GFM 首先进行混合特征编码：

• 节点文本特征 ht(v) = LM(v)，采用冻结的预训练语言模型（如 DeBERTa-v3-base）。

• 结构特征 hs(v) = LapPE(v) ⊕ DegIN(v) ⊕ DegOUT(v)，其中 LapPE 为基于图拉普拉斯特征分解的位置编码，拼接出入度以捕捉局部连接模式。

• 边特征 he(u,v) 通过将原图转换为线图后再次计算 LapPE，刻画边在全局拓扑中的角色。

• 图级特征 hg(G) 聚合节点、边特征均值与图统计量 [|V|, |E|, ρ(G)]，形成全局摘要。

将上述四级向量构建为 HNSW 层次索引，保证对节点级、边级、图级检索均可在 O(logN) 时间内完成。

3.2 任务感知检索（Task-Aware Retrieval）

对用户输入的自然语言查询 q 与伴随图上下文 Gq，采用小型 LLM（如 3B 参数的 Flan-T5）进行联合编码，输出任务类型 τ(q) ∈ {NODE, EDGE, GRAPH}。依据任务类型，检索器仅在对应特征子空间执行最近邻搜索：

• 节点任务：检索 {ht(v), hs(v)}；
• 边任务：检索{ht(u), ht(v), he(u,v)}；
• 图任务：检索{ht(v), hg(G)}。

通过 RRF 融合多通道排名，最终返回 Top-k 子图及其特征、邻接矩阵。

3.3 图融合增强（Graph Fusion Enhancement）

• 特征融合：对每条检索子图 Gi 计算全局-查询相似度 αi^F = softmax(cos(hq, hi^g))，仅当 αi^F > γ（默认 0.5）时将其节点特征加权聚合至查询图，实现噪声过滤。

• 拓扑融合：将检索子图邻接矩阵 Ai 按 αi^T 加权，稀疏加到原图 A 上，并通过阈值 δ（默认 0.5）二值化，得到增强邻接 A′。

最终，GFM 在增强后的图上执行下游推理，全程无需更新参数

4. 实验

4.1 数据集与基准

涵盖电商共购网络（Books-Children、Books-History、Ele-Computers、Ele-Photo）、知识图谱（WN18）、分子属性预测（QM7b）、维基链接网络（Chameleon）及合成图（MiniGC、BA2Motif），共 9 个数据集，涉及 6 类任务。所有测试均在零样本（zero-shot）条件下进行，以避免预训练数据泄露。

4.2 主实验

与三大类基线对比：

• Prompt Engineering：Few-shot Learning、Chain-of-Thought、IR-augmented CoT

• Retrieval-Augmented：VanillaRAG、GraphRAG、G-Retriever

• 图分布外泛化：Prototype、GNNSafe

结果（表2）显示，RAG4GFM 在节点分类、链路预测、图分类等任务上均取得一致提升。例如：

• Computers 节点分类：AnyGraph 基线 74.67% → RAG4GFM 79.38%，提升 4.7%；

• History 链路预测：GraphGPT 基线 54.27% → 60.37%，提升 6.1%；

• MiniGC 图分类：GraphGPT 60.98% → 67.61%，提升 6.6%。

4.3 消融实验

• 去除检索（w/o RAG）：平均下降 6–9%，验证外部知识必要性；

• 去除图融合（w/o GF）：改用朴素特征拼接，下降 2–4%，说明结构-语义对齐有效；

• 去除层次索引（w/o GI）：退化为纯文本向量检索，下降 3–5%，凸显结构保真重要性；

• 特征编码消融：仅用 LapPE 或仅用节点度均显著低于联合编码，表明全局-局部结构信息互补。

4.4 效率对比

与代表方法 GraphLoRA 在同等准确率（78%）约束下比较：

• GraphLoRA：7.32 h，峰值显存 25.2 GB；

• RAG4GFM：63 min，峰值显存 9.9 GB。

运行时间压缩 7×，显存节省 60%，且无需反向传播，适合高频更新场景。

4.5 鲁棒性分析

• 检索子图数量 K：1→3 性能稳步提升，K>3 趋于饱和，默认 K=3；

• 融合阈值γ, δ：在 0.3–0.9 区间扫描，0.5 附近取得最佳，表明对超参数不敏感，易于部署

5. 总结

RAG4GFM 通过“多级索引 + 任务感知检索 + 双路图融合”的闭环框架，首次将 RAG 的即插即用优势引入图基础模型，显著降低知识更新成本并提升推理忠实度。实验表明，该框架在跨领域、跨任务场景下均能带来稳定且显著的性能增益，同时保持计算与内存的高效性。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】