25年6月来自 MacGill 大学、清华、小米、Wisconsin 大学和 Minnesota 大学的论文“A Survey on Vision-Language-Action Models for Autonomous Driving”。

多模态大语言模型 (MLLM) 的快速发展为视觉-语言-动作 (VLA) 范式铺平了道路，该范式将视觉感知、自然语言理解和控制集成到单一策略中。自动驾驶研究人员正在积极地将这些方法应用到汽车领域。此类模型有望使自动驾驶（AD）汽车能够解释高级指令、推理复杂交通场景并做出自主决策。然而，相关文献仍然碎片化，并且正在迅速扩展。本综述首次全面概述用于自动驾驶的 VLA (VLA4AD)： (i) 形式化近期研究中所共享的架构建块，(ii) 追踪从早期解释器到以推理为中心的 VLA 模型演变，以及 (iii) 根据 VLA 在自动驾驶领域的进展比较 20 多个代表性模型。还整合现有的数据集和基准，重点突出共同衡量驾驶安全性、准确性和解释质量的协议。最后，详细介绍鲁棒性、实时效率和形式化验证等开放性挑战，并概述 VLA4AD 的未来发展方向。

AD 的技术弧线可以通过四个主要范例来追溯：模块化栈、端到端学习、VLM4AD 和最近的 VLA4AD 浪潮。

经典模块化流程

第一波自动驾驶系统（以DARPA城市挑战赛车辆为代表）明确地将驾驶任务分解为不同的模块：感知[49, 80, 157]、预测[2, 45]、规划[43, 109]和控制[12, 34, 61, 62, 95, 123]。手工算法处理激光雷达、雷达和GPS数据：传统视觉探测器识别物体，有限状态机或基于图的搜索生成路径，PID或MPC控制器执行最终指令[52, 66]。由于其模块化设计，该架构在工业界被广泛采用——每个组件都可以单独进行设计、测试和改进。然而，这种严格的解耦会导致信息碎片化：上游误差会在未经纠正的情况下传播，而跨模块的目标不一致会阻碍端到端优化 [73, 83, 107]。

端到端自动驾驶

自动驾驶系统的模块化设计容易导致感知、预测和规划模块之间的误差传播和信息丢失。因此，研究已转向更加集成的端到端方法。如图 (a) 所示，端到端 (E2E) 驾驶策略将原始传感器数据流直接映射到控制命令，绕过了手工构建的模块化流水线 [9, 19, 20, 27, 40, 54, 106, 111, 112, 138, 145, 149]。

E2E 驾驶从根本上来说是一个从视觉-到-动作 (VA) 的系统，其中视觉输入可以来自摄像头或激光雷达，而动作输出通常表示为未来轨迹或控制信号。然而，由于规划级数据的稀疏性以及神经网络固有的巨大非结构化解空间，将原始感官输入直接映射到驾驶动作提出了重大挑战 [13]。为了缓解这些问题，早期的 E2E 方法通过集成感知和预测任务引入中间监督 [20, 111]。具体而言，这些方法将感知、预测和规划模块集成在一个统一的框架内，主要促进跨模块的特征级信息流。UniAD [44] 主要依赖于栅格化表示（例如语义图、占用图、流图和成本图），这是一种计算密集型的方法。相比之下，提出的 VAD [59, 86] 采用完全矢量化的场景表示进行端到端规划。VAD 利用实例级结构信息作为规划的约束和指导，以更高的效率实现良好的性能。PolarPoint-BEV [28] 通过采用极点编码进一步细化 BEV 表示。这结合基于距离的重要性加权先验，使模型能够在驾驶过程中更有效地关注不同范围内的关键物体。

为了模拟自车辆与其他交通参与者之间的交互，GenAD [162] 和 PPAD [16] 利用实例级视觉特征，而 GraphAD [156] 将这些特征表示为图中的节点。SparseAD [151] 和 SparseDrive [117] 构建了一个完全稀疏的架构，实现了更高的效率和卓越的规划性能。然而，这些方法通常依赖于构建计算成本高昂的 BEV 特征，并阻止下游任务直接从原始传感器输入中学习。为了应对这一挑战，PARA-Drive [132] 和 DriveTransformer [56] 引入了并行流水线架构，为端到端驾驶系统提供了更统一、更可扩展的框架。这种方法明确地模拟了感知、预测和规划任务之间的关系。然而，这些范式在处理极端情况方面也存在不足，并且难以应对分布外 (OOD) 场景。例如，在遇到罕见事件（例如车辆在十字路口抛锚）时，驾驶系统可能无法生成合适的轨迹 [140]。

有几种方法试图缓解这些问题。物理定律增强型框架，融合先验知识 [164]，而其他框架则利用目标函数和规划动作先验来细化轨迹 [14, 35, 54, 71, 72, 77, 114, 127, 144]。然而，设计此类用于轨迹细化的目标函数仍然计算成本高昂且劳动密集。后续研究旨在通过自监督或弱监督框架来减轻 3D 感知任务的注释负担，例如 [36, 68, 69, 82]。

此外，闭环评估表明，超过一定数据量后，收益递减，并且不同场景类型的性能差异显著 [92, 163]。这些发现表明，仅靠纯粹的数据规模化不足以实现 4 级及以上级别的自动驾驶。

总体而言，端到端学习显著缩小原始传感器输入与控制决策之间的差距。然而，仍然存在持续的挑战，包括：(i) 脆弱语义：易受罕见或快速演变场景的影响。(ii) 推理不透明：可解释性有限，阻碍安全审计和验证。(iii) 语言能力有限：限制直观的人车交互。

用于自动驾驶的 VLM

将语言模态与驾驶任务相结合，为增强自动驾驶系统的推理能力、可解释性和泛化能力提供了一个有希望的方向。 LLM [120, 122] 和 VLM [1, 74, 102] 通过在共享的嵌入空间中统一感知和自然语言推理，提供一种颇具前景的补救措施 [47]。这一进展的核心是大规模多模态预训练，它为模型提供常识性关联（例如，警笛→让路），而特定任务的标签往往会忽略这些关联。因此，以语言为条件的 VLM 策略在新物体、天气条件和驾驶规范中表现出更强的零样本泛化能力。最近的研究 [29, 46, 75, 84, 97, 125, 126, 154] 已开始将这些模型直接嵌入到驾驶循环中，如上图 (b) 所示。

早期的努力包括 GPT-Driver [87]，它证明冻结的 VLM 可以处理多视图图像和文本提示，以生成轨迹规划或低级控制标记，同时生成人类可读的基本原理。虽然对于常识推理和极端情况理解有效，但将大型基础模型集成到驾驶系统中存在一些缺点：空间意识差 [37]、数值输出模糊 [58] 和规划延迟增加 [119]。此外，LLM/VLM 中普遍存在的幻觉效应 [136] 会使驾驶系统暴露于潜在的不安全控制信号中。

后续研究通过几个关键方向解决了这些限制：(1) 空间理解增强：TOKEN [118] 和 WKAD [150] 使用以目标为中心的token表示，而 BEVDriver [134] 将 BEV 特征与语言相结合，用于 3D 空间查询和多模态未来预测。 Sce2DriveX [159] 提出空间关系图来模拟自车与交通参与者之间的交互，而 MPDrive [158] 利用视觉提示来加强空间推理。（2）减少延迟：双-系统架构 [15, 24, 25, 58, 81, 86, 90, 91, 100, 119] 使用 VLM 作为中间模块，为端到端系统提供反馈或辅助信号。知识蒸馏方法 [38, 78, 96, 140] 将 VLM 功能离线迁移到传统系统。（3）缓解幻觉：像 Dilu [131] 及其扩展 [60] 这样的上下文学习方法利用存储库来记忆关键驾驶信息。ReasonPlan [79] 生成逐步的决策理由。
AgentDriver [88] 和 AgentThink [99] 实现了工具增强的思维链提示，以增强推理能力。

尽管取得了这些进展，但当前的方法仍然主要以感知为中心：它们生成的规划缺乏与闭环控制的紧密集成[110]，并且它们的解释性输出没有提供正式的安全保障[164]。此外，如何将 VLM 的输出与行动空间对齐也是一个挑战。

从 VLM 到 VLA 的自动驾驶 受具身智能领域最新进展的启发 [4, 65, 76]，将视觉、语言和动作整合到一个统一的框架内已成为自动驾驶领域的一种发展趋势。如图 © 所示，VLA 通过引入显式动作头 (action head) 解决了上述问题，从而将感知、推理和控制统一在一个策略中 [85, 108, 166]。

VLA 策略由现实驾驶中的三个核心需求驱动：(i) 在罕见和长尾场景下的鲁棒推理 [55, 128]；(ii) 在动态和部分遮挡条件下的抗噪控制；以及 (iii) 能够解释自发的高级语言命令（例如，“超越卡车”）[96, 141]。通过利用在互联网规模的视觉和语言数据 [94] 上预训练的基础模型，VLA 模型在各个领域和基准测试中展现出强大的泛化能力 [8, 116, 133]。具体而言，现代 VLA 模型能够：(i) 在以自我为中心的视觉上下文中构建自由形式的指令，并生成相应的轨迹 [30, 148]；(ii) 生成思维链 (CoT) 论证，如 DriveCoT 和 CoT-VLA [23, 124] 所示，以增强可解释性；(iii) 超越直接控制 token，融入高级规划模块，包括基于扩散的头部 [57]、基于 CoT 的分层规划器 [30] 以及混合离散-连续控制策略。

近期的典型系统凸显 VLA 功能的广度[17, 30, 57, 153]，并体现全新的 VLA4AD 范式：它们联合推理视觉、语言和动作，融合文本和轨迹输出、长视域记忆、符号安全检查和多模态扩散规划。这些进步代表着从以感知为中心的 VLM 流水线向动作感知、可解释和指令遵循的多模态智体决定性转变，为更安全、更通用、更人性化的自动驾驶铺平道路。

VLA4AD 的架构范式

VLA4AD 的基本架构，整合其多模态接口、核心组件和输出，如图所示。

多模态输入和语言指令 VLA4AD

依靠丰富的多模态传感器流和语言输入来捕捉外部环境和驾驶员的高级意图。

视觉数据。人类严重依赖视觉输入来应对复杂的驾驶环境，自动驾驶系统亦是如此。在早期方法中，单个前置单目摄像头是标准的视觉模式 [63, 89, 146]。随着时间的推移，为了提高空间覆盖范围和安全性，系统逐渐发展到包含立体摄像头、多摄像头设置，并最终实现环视系统 [8, 116]。这种更丰富的视觉输入能够实现更稳健的场景理解和多目标推理。原始图像可以直接处理，也可以转换为结构化的中间表示，例如有助于空间推理的鸟瞰图 (BEV) [21, 139]。最近的研究进一步探索了输入分辨率和模型效率之间的权衡，并针对实时或长尾情况动态调整粒度 [167]。

其他传感器数据。除了视觉之外，自动驾驶汽车越来越多地利用各种传感器模式来补充和增强感知能力，以增强空间能力。初始系统集成激光雷达（LiDAR）用于精确的三维结构，后来将其与雷达（RADAR）相结合用于速度估算，并结合惯性测量单元（IMU）用于运动跟踪。GPS 模块提供全球定位 [8, 133]。该领域也越来越关注本体感受数据，例如转向角、油门和加速度，尤其是在行为预测和闭环控制方面 [20, 134, 142]。这种从几何到动力学的进展推动了更复杂的传感器融合框架的研究 [5, 10, 67, 129]，旨在创建统一的环境时空表征。

语言输入。自然语言输入（例如命令、查询和结构化描述）在 VLA4AD 中变得越来越重要。早期研究侧重于直接导航命令（例如，“在下一个十字路口左转”、“在红色汽车后面停”），以实现基本指令的遵循 [96, 105]。随着系统的成熟，环境查询应运而生，允许用户或智体提出诸如“现在变道安全吗？”或“这里的限速是多少？”之类的问题[51, 93]，从而实现交互式态势感知。进一步的进展引入任务级的语言规范，例如解释交通规则、解析高级目标或理解以自然语言表达的基于地图约束[33]。最近的努力则转向多轮对话、推理链（例如，思维链提示）[50, 119]和工具增强语言接口[41, 88, 99]，这些支持更丰富的推理形式并与人类决策过程保持一致。

最后，最近的研究也开始将口语作为一种更自然、更具具体化的输入方式，通过语音驱动的界面连接感知和交互[148, 165]。这种从静态指令到对话驱动的多步推理的进展反映一种更广泛的趋势：语言不仅用于指挥车辆，还用于实现可解释的协作式自主驾驶。

核心架构模块

VLA4AD 的基本架构将视觉感知、语言理解和动作生成集成在一个紧密相连的流水线中。

视觉编码器。原始图像和传感器数据使用大型自监督主干网络（例如 DINOv2 [94]、ConvNeXt-V2 [135] 或 CLIP [102]）转换为潜表示。许多 VLA 系统采用 BEV 投影 [119]，其他系统则通过点云编码器（例如 PointVLA [67]）或体素模块（3D-VLA [161]）融入 3D 先验。使用语言衍生的 K 进行多尺度融合，可以提高精细空间层面的落地能力 [101, 152]。

语言处理器。使用预训练解码器（例如 LLaMA2 [121] 或 GPT 风格的 Transformer [6]）处理自然语言。指令调优变型（例如视觉指令调优 [74]）和检索增强提示（RAG-Driver [148]）注入域知识。轻量级微调策略（例如 LoRA [42]）可实现高效的自适应。

动作解码器。下游控制通过以下方式发出：(i) 自回归 token 化器，其中离散动作或轨迹点按顺序预测 [48, 64, 98, 168]；(ii) 扩散头，以融合嵌入为条件对连续控制进行采样（DiffVLA [57]；Diffusion-VLA [130]）；或 (iii) GRPO [113] 或 DPO [103] 微调流程使用的流匹配 / 策略梯度专家 [70, 137]。分层控制器（例如 ORION [30]）允许语言规划器将子目标草图分发到单独的低级 PID 或 MPC 栈。

驱动输出

VLA 模型的输出模态反映了其抽象级别和操作目标。随着时间的推移，输出格式已经从低级控制命令演变为高级空间推理和技能调节动作。
低层动作。早期的 VLA4AD 系统通常侧重于直接预测原始控制信号，例如转向角、油门和制动。这些动作通常被建模为连续输出或离散动作 token，适合与 PID 或端到端控制流程集成 [30, 98, 143, 165]。虽然这种方案允许细粒度控制，但它通常对细微的感知误差敏感，并且缺乏长期规划能力。

轨迹规划。后续研究转向轨迹或航点级预测，这可以提供更稳定、更易解释的中间表示。这些轨迹通常以 BEV 或自我中心坐标系表示，可以通过模型预测控制 (MPC) 或其他下游规划。

总而言之，这些输出格式体现 VLA4AD 系统不断发展的愿景：不仅要驾驶，还要实现鲁棒性、可解释性和情境化的驾驶。总而言之，典型的 VLA4AD 模型以多模态传感器数据和自然语言输入为情境，并生成驾驶决策（在不同的抽象层次上），在某些情况下，还会生成语言落地的解释。

VLA4AD 范式的进展

VLA4AD 的研究呈现出明显的波澜，每一波浪潮都受到其前身局限性和新的跨模态预训练技术的推动。如图所示，追溯四个连续的阶段：解释性语言模型、模块化 VLA4AD、端到端 VLA4AD 和以推理为中心的 VLA4AD。

下表总结 2023 年至 2025 年期间的代表性 VLA4AD 模型，重点介绍了它们的输入模态、语言融合方式、动作输出形式、用于评估的数据或环境以及它们的核心贡献。输入：Single = 单前置摄像头输入；Multi = 多视角摄像头输入；State = 车辆状态信息及其他传感器输入。输出：LLC = 低级控制；Traj. = 未来轨迹；Multi. = 感知、预测或规划等多项任务。

预先VLA：语言模型作为解释器

最早的尝试将语言以被动的描述性角色进行整合，以增强可解释性。此阶段的典型流程采用冻结视觉模型（例如 CLIP[102]）和 LLM 解码器，以自然语言解释驾驶场景或推荐操作，而不直接输出控制权。例如，DriveGPT-4 [141] 会拍摄一张前置摄像头图像，并生成文本描述或高级操作标签（“减速”、“左转”）。这些输出有助于解释感知系统看到的内容或意图，从而提高透明度。然而，实际的车辆控制仍然由传统模块（PID 控制器等）处理，因此语言只是一种覆盖，而非决策的组成部分。

此外，还出现了两个问题：(i) 为每帧生成长描述会带来延迟，因为视觉编码器每张图像要处理数千个 token[168]； (ii) 通用视觉编码器在无关细节上浪费精力，因为图像中并非所有内容都与驾驶相关[150]。研究人员对此提出了一些优化措施，例如 TS-VLM [11]，它使用文本引导的软注意池来聚焦关键区域；以及 DynRsl-VLM [167]，它动态调整输入分辨率以平衡速度和细节。这些措施提高效率，但仍然存在语义鸿沟——叙述或token场景与生成精确的转向或制动指令不同。弥合这一差距是下一个的逻辑步。

用于自动驾驶的模块化 VLA 模型

随着 VLA 研究的进展，语言从被动的场景描述符演变为模块化架构中的主动规划组件。语言的输入和输出不再仅仅用于评论环境，而是开始直接为规划决策提供信息 [58]。例如，OpenDriveVLA [165] 将摄像头和激光雷达输入与文本路线指令（例如，“在教堂右转”）融合，生成中间的、人类可读的航点（例如，“20 米后右转，然后直行”），然后将其转换为连续轨迹。这种方法通过引入可解释的语言表示，增强了规划过程的透明度和灵活性。CoVLA-Agent [17] 将视觉和激光雷达token与可选的文本提示相结合，并使用紧凑的多层感知器 (MLP) 将选定的动作token（例如，“左转”）映射到相应的轨迹。同样，DriveMoE [143] 采用混合专家架构，其中使用语言提示根据上下文动态选择子规划器，例如“超车专家”或“走走停停专家”。在多智体场景中，LangCoop [33] 表明车辆可以使用简洁的自然语言消息进行通信，从而在交叉路口进行协调，这代表着朝着语言驱动的合作迈出了一步。SafeAuto [153] 结合以形式逻辑表达的符号交通规则来验证或否决语言驱动的规划，确保生成的行为保持在安全约束范围内。此外，RAG-Driver [148] 引入一种检索增强规划机制，从记忆库中检索类似的过去驾驶案例，以指导模糊或长尾场景中的决策。

总的来说，这些方法显著缩小语言指令和车辆动作之间的语义差距，有效地将自然语言嵌入到规划循环的核心。然而，它们通常依赖于多阶段流水线（感知 → 语言 → 规划 → 控制），这会在每个模块边界引入延迟和级联故障风险。这些局限性促使人们最近对更统一的端到端架构产生兴趣，这些架构旨在将感知、语言理解和动作生成集成到一个可微系统中。

用于自动驾驶的统一端到端 VLA 模型

随着大型多模态基础模型的出现，研究人员转向完全统一的网络，这些网络在单次前向传播中将传感器（以及可选的文本命令）直接映射到轨迹或控制信号。一个典型的例子是 EMMA [50]，它基于 Waymo 的自动驾驶数据训练了一个大规模的 VLM，以联合执行物体检测和运动规划；该模型学习一种服务于这两项任务的共享表示，从而实现了比单独组件更好的闭环性能。 SimLingo[104]、LMDrive[110] 和 CarLLaVA[105] 以 LLaVA 为基础，并在 CARLA 模拟器中对其进行微调，使其能够遵循语言指令并进行驾驶。值得一提的是，它们引入一种“动作梦境（action dreaming）”技术，即模型通过改变语言指令来想象给定场景下的不同结果，从而强制语言指令与最终轨迹紧密耦合。其他创新方法包括使用生成视频模型：ADriver-I [53] 学习了一个潜世界模型，可以根据给定的动作预测未来的摄像头图像帧，从而能够通过想象动作的后果进行规划。DiffVLA [57] 结合稀疏（航点）和密集（占用网格）扩散预测，以文本场景描述为条件生成轨迹，有效地从合理的安全操作分布中采样。端到端 VLA 模型反应灵敏，在感觉运动映射方面非常有效，但也出现了一个新的局限性：它们仍然难以进行长远推理（提前规划或考虑复杂的突发事件），也难以对其决策提供细粒度的解释。

用于自动驾驶的推理增强型 VLA 模型

最新一波 VLA4AD 超越了解释和规划调节，转向长远推理、记忆和交互性，将 VLM/LLM 置于控制环的核心。ORION [30] 将一个用于存储几分钟观察和动作的 Transformer“QT-Former”记忆与一个用于总结这些历史记录并输出下一轨迹和相应自然语言解释的 LLM 相结合。Impromptu VLA [18] 则将 CoT 与动作对齐。该模型基于 8 万个正确推理步骤已注释的极端情况片段进行训练，学会在行动之前用语言描述其决策路径，从而实现车辆之间零样本学习的协商。 AutoVLA [168] 将 CoT 推理和轨迹规划融合在一个自回归transformer中，将连续路径 token 化为离散的驱动 tokens，在 nuPlan 和 CARLA 上实现最先进的闭环成功率。总的来说，这些系统不再仅仅对传感器输入做出反应；它们在输出动作之前解释、预测并执行长远推理。它们指向能够实时口头解释动作的对话式自动驾驶汽车，但也带来新的挑战：索引城市规模的记忆，将 LLM 推理保持在 30 Hz 的控制环路内，以及形式化验证语言调节的策略。

总而言之，VLA4AD 模型已经从将语言作为被动解释工具发展到将其作为感知和控制的主动组成部分。从解释性感知到模块化 VLA 规划，再到具有推理和对话功能的完全统一的流程，视觉、语言和行动之间的闭环正在稳步闭合。这一进展表明自动驾驶汽车将成为具有对话能力和协作能力的智体——不仅能够安全驾驶，还能进行符合人类期望的交流和推理。

数据集和基准

如下表总结数据集的工作：Real = 真实世界; Sim = CARLA 仿真[26]; clips = 视频片段; QA = 问答对; CoT = 思维链。

训练与评估策略

构建 VLA4AD 策略涉及两个相互关联的目标：(i) 学习安全且高效的驾驶控制器；(ii) 保留可靠的语言界面。由于驾驶数据的收集成本高昂且风险高，大多数工作采用预训练 → 微调的流程：在大型日志上进行行为克隆，然后在模拟环境中或基于规则的约束条件下进行有针对性的优化。

训练范式

监督模仿学习 (IL)。IL 仍然是 VLA4AD 的主力：网络采集传感器数据流（以及（如果存在）语言提示），并最小化 l2 或交叉熵损失，以重现专家的控制或轨迹。虽然 IL 易于扩展，但它反映训练分布；罕见危险（例如，切入、行人遮挡）很少受到监督。典型的补救措施是 DAgger 式的噪声展开或显式极端情况增强，但当感知或语言基础失效时，分布漂移仍然可能引发连锁反应。

强化学习 (RL)。强化学习通常位于 IL 热启动之上。该策略与模拟器（CARLA、Bench2Drive）交互，并通过 PPO 或 DQN 类型的更新进行优化，以实现路线进度、避免碰撞和交通规则遵守。一个关键的悬而未决的问题是如何将驾驶奖励与语言保真度相结合：当前的研究通常通过冻结语言学习模型 (LLM) 并仅惩罚不安全行为来回避这个问题，而文本和控制的联合梯度在很大程度上尚未得到探索。因此，用于 VLA 的强化学习前景广阔——尤其是在边缘情况鲁棒性方面——但与纯语言学习相比仍处于发展阶段。

多阶段训练。大多数 VLA4AD 模型通过四阶段课程进行训练：（1）在广泛的图像文本语料库和视频数据集上预训练大型视觉编码器（如 CLIP、InternViT）和语言模型（如 LLaMA、Vicuna），以学习一般的视觉和语言先验；（2）通过对成对的图像-文本-动作数据进行微调来对齐模态——例如 NuInteract 上的 DriveMonkey [160]——使用跨模态对比损失和序列建模目标来绑定场景特征、语言提示和控制token；（3）有针对性的增强注入专门的交通场景和指令（例如 SimLingo 的极端情况剪辑 [105]、Bench2Drive 的挑战性路线 [55]），通常辅以强化学习或基于规则的惩罚（如 SafeAuto [153]），以强制执行安全约束并提高在罕见事件中的表现； (4) 通过参数高效的方法（LoRA 适配器、稀疏混合专家路由或师-生蒸馏）压缩生成的模型以便部署，从而减少计算、内存和延迟，同时保留对齐的 VLA 功能，例如 DriveMoE [143] 和 TS-VLM [11]。

平衡语言和控制。联合损失通常将轨迹项与字幕或问答项进行加权（例如，CoVLA-Agent 使用 L = L_traj + λL_cap）。一些作者交替更新——一批用于驾驶，下一批用于语言——以避免梯度干扰。大型 LLM 通常保持冻结状态并通过轻量级适配器进行提示；仅训练提示编码器，从而在不产生巨大 GPU 成本的情况下保持语言流畅性。自由形式的解释使监督变得复杂：人们已经探索 CIDEr 风格或基于 RL 的字幕调整，但需要谨慎地奖励事实准确性而非修辞。

可扩展性和效率。端到端 VLA 栈（视觉transformer + LLM + 规划器）每帧的计算速度可以超过数百 GFLOPs。因此，当前的工作依赖于：使用 LoRA 和适配器更新 70B LLM 中的数百万个参数 (SafeAuto [153])；混合专家路由，确保只有一部分专家在推理过程中运行 (Drive-MoE [143])；轻量级 token 缩减——TS-VLM 通过软注意池化实现 10 倍的加速 [167]；事件驱动的调度，仅在场景变化时调用重型模型；以及蒸馏（在文献中仍然很少见），将集群规模的策略压缩到嵌入式“微型 VLA”中。目前，典型的流程包括：CLIP 和 LLaMA，通过模仿训练一个小型交叉注意头，LoRA 将 LLM 调整到语言增强数据上，可选地将强化学习应用于红灯处罚，最后蒸馏结果用于车载部署。

评估协议

评估 VLA4AD 智体是一项双-目标任务：策略必须安全驾驶并忠实地沟通。因此，最先进的论文报告四个互补的指标：

闭环驾驶。CARLA /Becn2Drive[55] 上的路线成功率；违规行为（碰撞、闯红灯、越野），其中 DiffVLA 通过 PDMS 层将误差减半 [57]；通过逻辑否决检查规则合规性（SafeAuto[153]）；以及对未见过的城镇和天气的泛化。
开环预测。轨迹 y2 和碰撞率（nuScenes 挑战赛）；指令条件下的目标到达率；辅助感知头的可选 mAP/IoU；以及延迟/FPS——TS-VLM 通过令牌池化将计算量减少了 ∼ 90% [167]。

语言能力。在 SimLingo 的 Action-Dreaming 基准测试 [105] 中执行命令；在 NuInteract [160] 和 DriveLM 上自动进行 BLEU/CIDEr/准确率测试（TS-VLM 的 BLEU-4 56 [115]）；Reason2Drive 中的理由链一致性 [93]；以及人类对 BDD-X 风格基本原理的评分。

鲁棒性和压力。DynRsl-VLM [167] 分析的传感器扰动（模糊、丢失、滞后）；对抗性提示或补丁；分布外事件；以及语言边缘例子（习语、语码转换、多语言查询）。

总而言之，可靠的评估必须衡量 (i) 控制可靠性、(ii) 语言保真度以及 (iii) 它们的耦合性。如今的套件分别涵盖这些方面——CARLA / Bench2Drive 用于控制，NuInteract / Reason2Drive / Drive-eLM 用于推理——这凸显对融合两种流程的统一“AI 驾照”的需求。