1. 引言：具身智能时代的空间推理挑战

视觉-语言-导航（Vision-and-Language Navigation, VLN）作为具身人工智能领域的核心研究方向，旨在构建能够理解自然语言指令并在真实三维环境中自主导航的智能体。这一任务的复杂性在于需要同时整合视觉感知、语言理解、空间推理和决策规划等多个认知维度。根据2025年香港科技大学（广州）、南方科技大学和上海交通大学联合发表的综述论文"Multimodal Spatial Reasoning in the Large Model Era"，VLN被认为是通往通用人工智能（AGI）的关键途径之一。该任务不仅要求智能体具备基本的环境感知能力，更需要在模糊的上下文环境中通过多模态信息融合实现精准的空间定位与路径规划。

人类拥有与生俱来的空间推理能力，能够通过视觉和听觉等多模态信息理解空间结构并进行导航。然而，对于人工智能系统而言，这一能力的实现面临诸多挑战。传统的大语言模型（LLM）虽然在文本处理和生成方面取得显著进展，但由于其主要采用单模态设计，空间推理能力受到严重限制。将图像、音频和视频等多模态信息集成到语言模型中，为增强空间推理能力提供了新的机遇。多模态大语言模型（MLLM）的快速发展使其成为具身智能体核心推理模块的理想候选者，这些模型在各种空间任务中展现出良好的性能，从理解二维空间关系到更复杂的三维推理均有涉及。

2. VLN任务的核心定义与组成要素

VLN是一种协作式多模态任务，其中智能体在三维环境中通过遵循人类的自然语言指令进行导航。形式化地说，给定输入 X = { x i m g , x v i d , x p c , x a u d , x t e x t } X = \{x^{img}, x^{vid}, x^{pc}, x^{aud}, x^{text}\} X={ximg,xvid,xpc,xaud,xtext}（包括RGB图像、视频、点云、音频和语言），在指定的参考系（2D/3D/自我/他人）下，模型需要预测输出 $Y$，例如文本答案或理由、几何量（边界框、姿态、轨迹），或针对具身环境的可执行动作与规划。这个定义统一了经典的视觉问答（VQA）式查询、三维定位、导航和布局场景生成等多个子任务。

VLN任务包含四个关键组成部分，每个部分都需要强大的空间推理能力支撑。首先是视觉感知阶段，智能体必须确定自身位置，解释物体之间的空间关系，并构建对环境的整体理解。其次是语言理解模块，需要正确解读"左"、"上"和"前"等空间表达，并发展出对物体位置、方向和运动进行空间推理的能力。第三是决策规划环节，智能体需要基于感知和理解的信息规划一条高效的路径。最后是导航执行阶段，智能体基于这些空间决策执行导航规划，并在动态环境中实时调整策略。这四个组成部分相互依赖、紧密耦合，共同构成了VLN系统的完整闭环。

3. VLN中的空间推理类型与能力要求

MLLM中的空间推理涵盖从基本定位到高级场景建模的各个层面。在VLN任务中，主要涉及以下几种空间推理类型。定位与记忆能力要求智能体在二维或三维空间中定位物体相对于其他物体或观察者的位置，并跟踪其随时间变化的状态。关系与几何推理需要智能体理解空间关系（如上方、下方、左侧、右侧）和度量信息（距离、角度、面积、体积）。导航与问题解决能力要求智能体规划路径并优化动作，例如寻找最短路径或解决空间谜题。

模式与透视推理使智能体能够检测模式或对称性并进行跨视角推理，这在处理不同观察角度时尤为重要。变换能力涉及在保持关系的前提下应用旋转、平移和缩放操作。情境化理解要求智能体在环境上下文（例如区分室内房间与室外空间）下解释位置信息。环境建模能力使智能体能够构建用于预测和决策的场景或世界模型。感知与交互能力通过传感器和视觉支持实时空间交互，这些功能共同构成了VLN系统的基础能力框架，支撑着导航、仿真和交互系统等实际应用。

4. VLN的评估方案与基准测试

评估MLLM在VLN任务中的空间推理能力需要考察其准确性、鲁棒性、可解释性和泛化能力。多模态整合维度测试多种模态组合（图像、文本、音频、深度或点云、传感器数据），以评估超越单模态线索的跨模态融合能力。任务覆盖范围需要涵盖视觉问答（VQA）、三维定位、基于地图的导航、具身规划和场景生成，以覆盖低级和高级推理能力。过程透明度通过注意力图、中间状态或推理探究追踪决策过程，以揭示空间关系的编码和操作方式。

泛化能力和鲁棒性评估需要测试分布外环境（新布局、未见过的环境、扰动），以检验模型的适应性。交互与具身测试测量导航、操作和增强现实或虚拟现实场景中的实时性能，包括响应速度和在线更新能力。基准标准化要求提供涵盖受控合成任务和真实场景的可复现测试套件。解决这些方面的问题能够对MLLM的空间推理能力进行全面、可比较的评估，并阐明其在不同应用中的优势和劣势。当前主流的VLN基准测试包括R2R（Room-to-Room）、RxR、REVERIE、TouchDown和CVDN等数据集，这些数据集从不同角度考察智能体的导航能力。

5. VLN中的视觉环境理解与泛化

对于VLN智能体而言，感知和解释周围环境、预测行为如何改变环境以及将感知和决策与自然语言指令保持一致至关重要。这需要理解空间布局、在三维空间中确定自身位置、估计目标和地标之间的距离、保留空间信息以及跟踪环境随时间的变化。这些能力共同依赖于强大的空间推理能力，而强大的空间推理能力是成功完成复杂视觉语言导航任务的基础。现有的具身场景感知方法通常依赖于三维或2.5维数据来增强空间感知。

为了更好地利用视觉输入，许多方法通过多视图感知、深度图像或场景图显式地保留空间特征。多视图感知方法从不同角度捕获环境信息，构建更完整的空间表示。深度图像提供了物体与智能体之间的距离信息，有助于精确的空间定位。场景图则以结构化的方式表示物体及其空间关系，支持高层次的推理。这些方法各有优势，在实际应用中往往需要结合使用以达到最佳效果。准确的感知、稳健的空间推理以及跨不同视觉场景的泛化能力是VLN智能体成功的关键要素。

近期研究强调结构化的三维表示，例如场景图、鸟瞰图（BEV）地图和多视图记忆，作为连接感知、推理和规划的有效工具。场景图通过节点和边的形式表示物体及其关系，提供了一种抽象而结构化的环境表示。BEV地图将三维空间投影到二维平面，简化了空间推理的复杂度同时保留了关键的拓扑信息。多视图记忆机制允许智能体存储和检索不同视角下的环境信息，支持长时程的导航任务。然而，视觉特征与语言输入的匹配仍然是一个关键挑战，尤其是在不熟悉的视角或领域转换的情况下，如何保持跨模态对齐的一致性需要进一步研究。

6. 人类意图解读与指令理解

VLN智能体需要理解人类在特定情境下提供的自然语言指令才能完成导航任务。这包括正确解读空间表达并发展出对物体位置、方向和运动进行空间推理的能力。自然语言指令往往具有模糊性和多义性，例如"走到沙发旁边"这样的指令，“旁边"的具体位置可能因上下文而异。智能体需要结合视觉信息和常识知识来消除这种歧义。此外，指令可能包含多个步骤和条件判断，例如"如果看到红色的门就左转，否则继续直走”，这要求智能体具备复杂的语言理解和推理能力。

近期研究强调了辅助模态、层级推理和可供性（affordance）建模在提升指令理解方面的优势。辅助模态如深度信息、语义分割等可以提供额外的上下文，帮助智能体更准确地理解指令中的空间关系。层级推理将复杂的导航任务分解为多个子任务，每个子任务对应指令中的一个步骤，这种分而治之的策略降低了任务的整体复杂度。可供性建模关注环境中物体的功能属性，例如"椅子可以坐"、“门可以通过”，这种功能性理解有助于智能体更好地解释与物体相关的指令。

多轮视觉问答（VQA）和可供性预测增强了精细化的基础理解能力。通过多轮交互，智能体可以主动询问不明确的指令细节，逐步澄清任务目标。基于注意机制的人机交互融合则有助于上下文理解，智能体可以学习关注指令中的关键词和视觉场景中的相关区域。未来的发展可能依赖于空间感知和语言推理的更紧密结合，以及对不同指令内容和复杂现实任务的更好泛化能力。当前的研究还在探索如何利用大语言模型的常识推理能力来增强指令理解，以及如何通过强化学习让智能体从交互中学习更准确的指令解析策略。

7. VLN智能体的路径规划与导航策略

…详情请参照古月居