用外部知识增强LLM推理，让你的大模型更上一层楼！ 🧠📚✨

Title: LLM Inference Enhanced by External Knowledge: A Survey

论文标题: 外部知识增强LLM推理：综述

Author Affiliation: National Taiwan University, Taipei, Taiwan

Paper Link:https://arxiv.org/pdf/2505.24377

Code Link:https://github.com/MiuLab/KG-Survey

Related Subject (Top3): Knowledge Graph Question Answering, Table Question Answering, Retrieval-Augmented Generation

Benchmark: TabFact, WikiTQ, WebQSP

Baseline: GPT-3.5-Turbo, Llama

TLDR: 这篇论文系统性地探讨了如何利用外部知识增强大型语言模型（LLM）的推理能力。论文对外部知识进行了分类，重点关注结构化数据（表格和知识图谱），并详细介绍了它们与LLM的集成方法，包括符号推理、神经推理和混合推理等。论文还对比分析了不同方法的优缺点，为开发可靠且通用的知识增强型LLM提供了指导。该研究主要关注推理阶段的知识集成，而非预训练或微调，旨在以更少的资源实现LLM性能的动态提升。

---

用多模态金融大模型，打造你的专属金融顾问！💰📊🤖

Title: Multimodal Financial Foundation Models (MFFMs): Progress, Prospects, and Challenges

论文标题: 多模态金融基础模型（MFFMs）：进展、前景与挑战

Author Affiliation: Columbia University, Stevens Institute of Technology, University of Washington

Paper Link:https://arxiv.org/pdf/2506.01973

Code Link:https://github.com/Open-Finance-Lab/Awesome-MFFMs/

Related Subject (Top3): Financial Natural Language Processing, Multimodal Machine Learning, Quantitative Finance

Benchmark: FinBen, QFinBen, FinSet-Benchmark, MME-Finance, FFAMA, OmniEval, InverstorBench

Baseline: LLaMA3, Mistral-7B, GPT-4

TLDR: 本文概述了多模态金融基础模型（MFFMs）的进展、前景和挑战。MFFMs能够处理文本、图像、音频等多种金融数据，并在金融搜索、智能投顾、风险审计等领域展现出巨大潜力。文章强调了数据中心方法的重要性，并探讨了开源模型、Agent协议等关键要素对构建Agentic AI生态系统的作用。同时，也指出了MFFMs在实际应用中面临的挑战，如专有数据限制、合规监管、模型幻觉等问题，并提出了利用零知识证明和区块链技术构建安全可信的金融Agent框架。

---

AI智能体：价值对齐，构建可信赖的未来！🤝

Title: Application-Driven Value Alignment in Agentic AI Systems: Survey and Perspectives

论文标题: 智能体人工智能系统中应用驱动的价值对齐：调查与展望

Author Affiliation: Hunan University, Computer Network Information Center, Chinese Academy of Sciences, Hefei University of Technology, The Hong Kong University of Science and Technology (Guangzhou), The Hong Kong University of Science and Technology Hong Kong SAR

Paper Link:https://arxiv.org/pdf/2506.09656

Code Link: None

Related Subject (Top3): AI Ethics, Multi-Agent Systems, Value Alignment

Benchmark: BBQ, ETHICS, Social Bias Frames

Baseline: InstructGPT, ChatGPT

TLDR: 本文综述了Agentic AI系统中，特别是基于大型语言模型（LLM）的智能体系统中，应用驱动的价值对齐问题。文章从宏观、中观和微观三个层面组织了价值原则，从一般到具体的角度回顾了智能体系统的应用场景，并系统地考察了价值对齐评估的数据集和方法。此外，还深入探讨了智能体系统中多个智能体之间的价值协调问题，并提出了该领域未来可能的研究方向，旨在为LLM智能体系统的价值对齐提供新的研究视角，并促进Agentic AI内部机制的探索。

---

太疯狂了！🤯 AI 自动驾驶场景生成，解放你的双手！

Title: Foundation Models in Autonomous Driving: A Survey on Scenario Generation and Scenario Analysis

论文标题: 自动驾驶中的基础模型：场景生成和场景分析的综述

Author Affiliation: Professorship of Autonomous Vehicle Systems and Munich Institute of Robotics and Machine Intelligence (MIRMI), Technical University of Munich, Austrian Institute of Technology (AIT), AUDI AG, Institute of Automotive Engineering (FZD) at TU Darmstadt, Technical University of Munich and fortiss GmbH, Department of Aerospace Engineering, University of the Bundeswehr Munich, Stanford University

Paper Link:https://arxiv.org/pdf/2506.11526

Code Link:https://github.com/TUM-AVS/FM-for-Scenario-Generation-Analysis

Related Subject (Top3): Autonomous Vehicle Testing, Scenario-based Testing, Foundation Models for Robotics

Benchmark: NuScenes, Waymo Open Dataset

Baseline: GPT-4, LLaMA

TLDR: 本文对自动驾驶领域中基础模型在场景生成和场景分析方面的应用进行了综述，重点关注大型语言模型、视觉语言模型、多模态大型语言模型、扩散模型和世界模型。综述涵盖了方法论、开源数据集、仿真平台和基准挑战，并探讨了专门用于场景生成和分析的评估指标。最后，文章总结了该领域面临的开放性挑战和研究问题，并展望了未来的研究方向，为自动驾驶系统的开发、验证和确认提供参考。

---

Deep Research：AI智能研究的未来已来 🚀，你准备好了吗？

Title: A Comprehensive Survey of Deep Research: Systems, Methodologies, and Applications

论文标题: 深度研究：系统、方法与应用综合综述

Author Affiliation: Zhejiang University, China

Paper Link:https://arxiv.org/pdf/2506.12594

Code Link:https://github.com/scienceaix/deepresearch

Related Subject (Top3): Research Automation, Information Retrieval, Knowledge Synthesis

Benchmark: HLE, MMLU, HotpotQA, GAIA

Baseline: ChatGPT, Gemini

TLDR: 本文全面综述了深度研究系统，这是一种利用大型语言模型、高级信息检索和自主推理能力实现复杂研究工作流程自动化的AI应用。分析了2023年以来涌现的80多个商业和非商业系统，提出了一个新的层级分类法，根据四个基本技术维度对系统进行分类：基础模型和推理引擎、工具利用和环境交互、任务规划和执行控制、知识综合和输出生成。探讨了这些系统在学术、科学、商业和教育应用中的架构模式、实现方法和领域特定适配。最后，确定了未来在高级推理架构、多模态集成、领域专业化、人机协作和生态系统标准化等领域的研究方向。

---

🚀 奖励模型：深度强化学习的幕后英雄！🏆

Title: Reward Models in Deep Reinforcement Learning: A Survey

论文标题: 深度强化学习中的奖励模型：综述

Author Affiliation: National Key Laboratory for Novel Software Technology, Nanjing University, China; School of Artificial Intelligence, Nanjing University, China

Paper Link:https://arxiv.org/pdf/2506.15421

Code Link: 无 (No Code Link provided in the paper)

Related Subject (Top3): Reinforcement Learning from Human Feedback (RLHF), Inverse Reinforcement Learning (IRL), Goal-Conditional Reinforcement Learning (GCRL)

Benchmark: Gym-MuJoCo

Baseline: InstructGPT, AlphaGo, OpenAI-o1, DeepSeek-R1

TLDR: 这篇论文全面综述了深度强化学习中的奖励模型技术。它从奖励的来源、机制和学习范式三个方面对现有方法进行了分类，并讨论了奖励模型的应用和评估方法。此外，论文还重点介绍了基于大型语言模型（LLM）和视觉语言模型（VLM）的奖励模型的新进展，最后展望了奖励模型未来的研究方向，包括向量化奖励、奖励模型的可解释性、伦理对齐和社会价值约束，以及奖励基础模型。

---

🧠图与AI Agent的碰撞：赋能智能体，解锁未来应用！ 🚀

Title: Graphs Meet AI Agents: Taxonomy, Progress, and Future Opportunities

论文标题: 图与AI Agent的结合：分类、进展与未来机遇

Author Affiliation: Zhejiang University; University of Illinois Chicago; Mohamed Bin Zayed University of Artificial Intelligence; City University of Macau; Ant Group; Griffith University; The University of Hong Kong; The Chinese University of Hong Kong

Paper Link:https://arxiv.org/pdf/2506.18019

Code Link: Related resources are collected and continuously updated for the community in the Github link.(在论文中需要查找实际的Github链接)

Related Subject (Top3): Graph-based Reinforcement Learning, Knowledge Graph Reasoning, Multi-Agent Communication Topology Optimization

Benchmark: API-Bank, AgentBench, ToolBench, GLBench, ProGraph, GraphArena

Baseline: Chain-of-Thought (CoT), Tree of Thoughts (ToT), Monte Carlo Tree Search (MCTS)

TLDR: 这篇论文全面综述了图技术与AI Agent交叉领域的研究进展，重点关注图如何赋能Agent的规划、执行、记忆和多智能体协作等核心功能，并探讨了AI Agent如何反过来促进图学习，例如图的标注、合成与理解。文章还总结了该领域有意义的应用、开放性问题及未来机遇，旨在为下一代Agent面对日益复杂任务信息时提供新的潜在方法。论文整理了相关资源，并在Github链接中持续更新，供研究和工业界参考。

---

从2D感知到3D认知：世界模型正在进化！🌍🧠🤖

Title: From 2D to 3D Cognition: A Brief Survey of General World Models

论文标题: 从二维到三维认知：通用世界模型简述

Author Affiliation: China Mobile Research Institute, Shenzhen Ubiquitous Data Enabling Key Lab, Shenzhen International Graduate School, Tsinghua University

Paper Link:https://arxiv.org/pdf/2506.20134

Code Link: None

Related Subject (Top3): 3D Scene Understanding, Neural Rendering, Physics-Aware 3D Modeling

Benchmark: AI2-THOR, Habitat, ThreeDWorld, MetaUrban

Baseline: PointNet, NeRF, 3D Gaussian Splatting

TLDR: 本文综述了世界模型从2D视觉感知到3D认知的演变，重点介绍了3D表示和世界知识这两个关键技术驱动因素。文章提出了一个概念框架，涵盖了3D物理场景生成、3D空间推理和3D空间交互这三个核心认知能力。此外，还探讨了这些能力在具身AI、自动驾驶、数字孪生和游戏/VR等实际应用中的部署，并指出了数据、建模和部署方面存在的挑战和未来发展方向，旨在推动更强大和通用的3D世界模型的发展。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】