端到端自动驾驶：挑战与前沿

End-to-End Autonomous Driving: Challenges and Frontiers

摘要

自动驾驶领域已见证了端到端算法框架方法的快速发展，该框架利用原始传感器输入生成车辆运动规划，而非专注于检测和运动预测等单个任务。与模块化流水线相比，端到端系统受益于感知和规划的联合特征优化。由于大规模数据集的可用性、闭环评估以及自动驾驶算法在挑战性场景中有效执行的需求日益增长，这一领域得以蓬勃发展。在本综述中，我们对 270 多篇论文进行了全面分析，涵盖了端到端自动驾驶的动机、路线图、方法、挑战和未来趋势。我们深入探讨了几个关键挑战，包括多模态、可解释性、因果混淆、鲁棒性和世界模型等。此外，我们还讨论了基础模型和视觉预训练的当前进展，以及如何将这些技术融入端到端驾驶框架。

研究背景：端到端算法框架在自动驾驶领域快速发展，其直接利用原始传感器输入生成车辆运动规划，而非依赖检测、运动预测等模块化任务。与传统模块化流水线相比，端到端系统可通过感知与规划的联合特征优化提升性能。此外，大规模数据集的可用性、闭环评估需求，以及自动驾驶算法在复杂场景中执行的迫切性，推动了该领域的发展。

研究目的：对 270 多篇相关论文进行全面分析，梳理端到端自动驾驶的动机、技术路线图、方法、挑战及未来趋势。

研究方法：综述分析：系统性回顾端到端自动驾驶领域的文献，涵盖动机、方法、挑战等维度。

研究结果：关键挑战、基础模型、视觉预训练

结论与影响：本综述为端到端自动驾驶的技术发展提供了系统性框架，明确了现有挑战及未来研究方向，有助于推动该领域向更安全、更鲁棒的方向发展。

结论与展望

在本综述中，我们概述了基本方法，总结了模拟和基准测试的各个方面。我们深入分析了迄今为止的大量文献，突出了广泛的关键挑战和有前景的解决方案。

展望：多年来，行业已投入大量精力开发先进的基于模块化的系统，使其能够在高速公路上实现自动驾驶。然而，这些系统在面对复杂场景（如城市街道和十字路口）时面临重大挑战。因此，越来越多的公司已开始探索专门为这些环境设计的端到端自动驾驶技术。可以预见，随着广泛的高质量数据收集、大规模模型训练以及可靠基准的建立，端到端方法在性能和有效性方面将比模块化系统具有巨大的潜力。总之，端到端自动驾驶面临着巨大的机遇和挑战，其最终目标是构建通用智能体。在这个技术新兴的时代，我们希望本综述能作为一个起点，为该领域提供新的见解。

研究成果：概述端到端自动驾驶的基本方法，总结模拟与基准测试的关键方面，明确当前领域的关键挑战及可行解决方案。

应用价值：为端到端技术的研究提供系统性框架，帮助研究者快速把握领域现状，为后续探索提供新见解。

现有技术局限：模块化系统在复杂场景（如城市街道、十字路口）中表现不足，难以应对动态环境（如行人、非机动车交互）。

技术发展趋势：依赖高质量数据收集、大规模模型训练及可靠基准建立，以提升端到端方法的性能，从高速公路自动驾驶向城市复杂路况延伸。

引言

传统的自动驾驶系统采用模块化设计策略，其中每个功能（如感知、预测和规划）都是单独开发并集成到车载系统中的。负责生成转向和加速输出的规划或控制模块，在决定驾驶体验方面起着至关重要的作用。模块化流水线中最常见的规划方法涉及使用复杂的基于规则的设计，而这种设计在应对道路上出现的大量情况时往往效果不佳。因此，利用大规模数据并使用基于学习的规划作为可行替代方案的趋势日益增长。

传统自动驾驶采用模块化设计（感知、预测、规划独立开发），规划模块依赖复杂规则，难以应对多样化路况，促使学界转向基于学习的规划方法。

我们将端到端自动驾驶系统定义为完全可微分的程序，其以原始传感器数据作为输入，并输出规划和 / 或低级控制动作。图 1（a）-（b）展示了经典公式与端到端公式之间的区别。传统方法将每个组件的输出（如边界框和车辆轨迹）直接输入到后续单元（虚线箭头）。相比之下，端到端范式跨组件传播特征表示（灰色实线箭头）。例如，优化函数被设置为规划性能，并通过反向传播（红色箭头）最小化损失。在此过程中，任务被联合且全局地优化。

举例论证上述观点

在本次综述中，我们对这一新兴主题进行了广泛回顾。图 1 概述了我们的工作。我们首先讨论端到端自动驾驶系统的动机和路线图。端到端方法可大致分为模仿学习和强化学习，我们对这些方法进行了简要回顾。我们涵盖了闭环和开环评估的数据集和基准。我们总结了一系列关键挑战，包括可解释性、泛化性、世界模型、因果混淆等。最后，我们讨论了业界应接纳的未来趋势，以融入数据引擎和大型基础模型等最新发展。需要注意的是，本综述主要从理论角度编排。版本控制、单元测试、数据服务器、数据清洗、软硬件协同设计等工程工作在部署端到端技术中起着关键作用。关于这些主题的最新实践的公开信息有限，我们邀请业界在未来的讨论中更加开放。

介绍综述内容

A. 端到端系统的动机

在经典的流水线中，每个模型充当独立的组件，并对应特定的任务（例如交通信号灯检测）。这种设计在可解释性和易于调试方面颇具优势。然而，由于各模块的优化目标不尽相同 —— 检测追求平均精度均值（mAP），而规划则着眼于驾驶安全性和舒适性，整个系统可能无法与统一的目标（即最终的规划 / 控制任务）保持一致。随着顺序流程的推进，每个模块的误差可能会不断累积，进而导致信息丢失。此外，与单个端到端神经网络相比，涉及多个编码器和消息传输系统的多任务、多模型部署可能会增加计算负担，并有可能导致计算资源的使用并非最优。

与经典的自动驾驶系统相比，端到端自动驾驶系统具有多个优势。(a) 最明显的优点是其将感知、预测和规划整合到单个可联合训练的模型中，结构简洁。(b) 整个系统（包括中间表示）都针对最终任务进行优化。© 共享骨干网络提升了计算效率。(d) 数据驱动的优化可通过简单扩展训练资源来潜在改善系统性能。

需要注意的是，端到端范式并不一定意味着一个仅具有规划 / 控制输出的黑箱。它可以像经典方法一样具有中间表示和输出（图 1（b））。事实上，一些最先进的系统 [1], [2] 提出了模块化设计，但将所有组件一起优化以实现卓越的性能。

理论论证模块化的缺点和端到端的优点

模块化的缺点：由于各模块的优化目标不尽相同，随着顺序流程的推进，每个模块的误差可能会不断累积

端到端的优点：将感知、预测和规划整合到单个可联合训练的模型中，结构简洁、整个系统（包括中间表示）都针对最终任务进行优化

B. 路线图

图 2 描绘了端到端自动驾驶关键成就的时间线路线图，其中每个部分都标志着一次重要的范式转变或性能提升。端到端自动驾驶的历史可追溯至 1988 年的 ALVINN [3]，其输入是来自摄像头和激光测距仪的两个 “视网膜” 图像，通过简单神经网络生成转向输出。NVIDIA 设计了端到端 CNN 原型系统，在 GPU 计算的新时代重新确立了这一理念 [8]。随着深度神经网络的发展，模仿学习 [15],[16] 和强化学习 [4],[17],[18],[19] 均取得了显著进展。LBC [5] 提出的策略蒸馏范式及相关方法 [20],[21],[22],[23] 通过模仿表现良好的专家，显著提升了闭环性能。由于专家策略与学习策略之间存在差异，为增强泛化能力，多篇论文 [10],[24],[25] 提出在训练过程中聚合在线策略数据 [26]。

基础框架1998→模仿学习2016→强化学习2019→策略蒸馏与泛化2020→可解释性与多模态2021→预训练与模块化2022

C. 与相关综述的比较

我们希望澄清本综述与之前相关综述 [40], [41], [42], [43], [44], [45], [46], [47], [48] 的区别。部分先前的综述 [40], [41], [42], [43] 在端到端系统的范畴内涵盖了与我们相似的内容。然而，它们未涉及随着该领域近期重大变革而出现的新基准和方法，且对前沿和挑战的关注较少。其他综述则聚焦于该领域的特定主题，如模仿学习 [44], [45], [46] 或强化学习 [47], [48]。相比之下，我们的综述提供了该领域最新发展的前沿信息，覆盖广泛的主题，并对关键挑战进行了深入探讨。

未涉及随着该领域近期重大变革而出现的新基准和方法，且对前沿和挑战的关注较少

提供了该领域最新发展的前沿信息，覆盖广泛的主题，并对关键挑战进行了深入探讨

D. 贡献

综上所述，本综述有三个主要贡献：
a) 我们首次对端到端自动驾驶进行了全面分析，包括高层动机、方法、基准等。我们主张将算法框架作为一个整体进行设计，而非优化单个模块，其最终目标是实现安全舒适的驾驶。
b) 我们深入研究了当前方法面临的关键挑战。在调查的 270 多篇论文中，我们总结了主要方面并进行了深入分析，包括可泛化性、语言引导学习、因果混淆等主题。
c) 我们探讨了如何拥抱大型基础模型和数据引擎的广泛影响。我们相信这一研究方向及其提供的大规模高质量数据可以显著推动该领域的发展。为了促进未来的研究，我们维护了一个活跃的存储库，不断更新新文献和开源项目。

方法

本节回顾了大多数现有端到端自动驾驶方法背后的基本原理。第 II-A 节讨论了使用模仿学习的方法，并详细介绍了两个最流行的子类别，即行为克隆和逆最优控制。第 II-B 节总结了遵循强化学习范式的方法。

A. 模仿学习

模仿学习（IL），也称为从演示中学习，它训练智能体通过模仿专家的行为来学习策略。模仿学习需要一个数据集$D$，其中包含在专家策略${\pi }_{\beta }$下收集的轨迹，每个轨迹都是状态 - 动作对的序列。模仿学习的目标是学习一个与${\pi }_{\beta }$匹配的智能体策略。
策略$\pi$可以输出规划的轨迹或控制信号。早期的工作通常采用控制输出，因为其收集起来比较容易。然而，在不同步骤预测控制可能会导致不连续的操作，并且网络本质上会专门针对车辆动力学进行优化，这会阻碍对其他车辆的泛化能力。另一类工作预测航路点，它考虑的是相对较长的时间范围。同时，将车辆要跟踪的轨迹转换为控制信号需要额外的控制器，这并非易事，还涉及车辆模型和控制算法。由于在这两种范式之间没有观察到明显的性能差距，因此在本综述中我们没有明确区分它们。更有趣和深入的讨论可以在 [22] 中找到。
行为克隆（BC）[49] 是模仿学习中广泛使用的一类方法，它将问题简化为监督学习。逆最优控制（IOC），也称为逆强化学习（IRL）[50]，是另一类模仿学习方法，它利用专家演示来学习奖励函数。下面我们将详细阐述这两类方法。

模仿学习的定义

分类：行为克隆、逆最优控制

1.行为克隆：在 BC 中，通过将收集的数据集作为监督学习来最小化规划损失，实现智能体策略与专家策略的匹配：${\mathbb{E}}_{(s,a)}\ell ({\pi }_{\theta }(s),a)$。这里，$\ell ({\pi }_{\theta }(s),a)$表示衡量智能体动作与专家动作之间距离的损失函数。

BC 在驾驶领域的早期应用 [3], [8], [51] 利用端到端神经网络从摄像头输入生成控制信号。后续提出了多传感器输入 [6], [52]、辅助任务 [16], [28] 和改进专家设计 [21] 等增强方法，使基于 BC 的端到端驾驶模型能够处理复杂的城市场景。

BC 的优势在于其简单性和高效性，因为它不需要手工设计奖励函数（这对强化学习至关重要）。然而，它也存在一些常见问题。训练过程中，BC 将每个状态视为独立同分布，导致一个重要问题 —— 协变量偏移。对于一般的模仿学习，已提出多种在线策略方法来解决该问题 [26], [53], [54], [55]。在端到端自动驾驶场景中，文献 [5], [10], [25], [56] 采用了 DAgger [26] 方法。BC 的另一个常见问题是因果混淆，即模仿者利用并依赖某些输入组件与输出信号之间的虚假相关性。该问题在端到端自动驾驶领域已被文献 [57], [58], [59], [60] 讨论过。这两个挑战性问题将分别在 IV-I 节和 IV-H 节进一步探讨。

行为克隆的定义

优点：简单性和高效性、不需要手工设计奖励函数

缺点：协变量偏移、因果混淆

2.逆最优控制：传统 IOC 算法从专家演示中学习未知奖励函数(R(s, a))，其中专家的奖励函数可表示为特征的线性组合 [50], [61], [62], [63], [64]。然而，在连续高维的自动驾驶场景中，奖励的定义是隐含的且难以优化。

生成对抗模仿学习 [65], [66], [67] 是 IOC 中的一种特殊方法，它将奖励函数设计为对抗目标以区分专家策略和学习策略，这与生成对抗网络 [68] 的概念类似。最近，一些研究提出通过辅助感知任务优化成本体或成本函数。由于成本是奖励的替代表示，我们将这些方法归类为 IOC 领域。我们将成本学习框架定义如下：端到端方法学习一个合理的成本(c(.))，并使用算法轨迹采样器选择成本最小的轨迹${\tau }^{\ast }$，如图 3 所示。

在成本设计方面，其表示包括鸟瞰图（BEV）中的学习成本体 [32]、从其他智能体未来运动计算的联合能量 [69]，或一组概率语义占据层或自由空间层 [39], [70], [71]。另一方面，轨迹通常从固定的专家轨迹集 [1] 中采样，或通过运动学模型进行参数采样处理 [32], [38], [39], [70]。然后，采用经典 IOC 方法中的最大边缘损失，以确保专家演示的成本最小化而其他演示成本最大化。

成本学习方法存在若干挑战。特别是为了生成更真实的成本，通常需要结合高清地图、辅助感知任务和多传感器，这增加了多模态多任务框架的学习和数据集构建难度。尽管如此，上述成本学习方法显著提升了决策的安全性和可解释性（见 IV-F 节），我们认为受工业启发的端到端系统设计是面向实际应用的可行途径。

逆最优控制的定义

优点：显著提升了决策的安全性和可解释性

缺点：需要结合高清地图、辅助感知任务和多传感器，这增加了多模态多任务框架的学习和数据集构建难度

B. 强化学习

强化学习（RL）[72], [73] 是一个通过试错进行学习的领域。深度 Q 网络（DQN）[74] 在雅达利基准测试 [75] 上实现人类水平控制的成功，推动了深度强化学习的普及。DQN 训练一个称为评论家（或 Q 网络）的神经网络，该网络将当前状态和动作作为输入，并预测该动作的折扣回报。然后，策略通过选择预测回报最高的动作来隐式定义。

RL 需要一个允许执行潜在不安全动作的环境，以收集新数据（例如通过随机动作）。此外，RL 训练所需的数据量远多于模仿学习（IL）。因此，现代 RL 方法通常在多个环境中并行化数据收集 [76]。在现实世界中满足这些要求面临巨大挑战，因此几乎所有在驾驶中使用 RL 的论文都仅在仿真环境中研究该技术。大多数研究采用 DQN 的不同扩展形式，目前该领域尚未就特定的 RL 算法达成共识。

RL 已成功在空荡街道的真实车辆上学习车道跟随 [4]。尽管这一结果令人鼓舞，但必须注意的是，类似任务在三十年前就已通过 IL 完成 [3]。迄今为止，没有报告显示 RL 端到端训练的结果可与 IL 竞争。这种失败的原因可能在于，通过 RL 获得的梯度不足以训练驾驶所需的深度感知架构（如 ResNet）。RL 成功应用的雅达利等基准测试中使用的模型相对较浅，仅由几个层组成 [77]。

当 RL 与监督学习（SL）结合时，已成功应用于端到端驾驶。隐式可供性 [18], [19] 使用 SL 和语义分割等任务预训练 CNN 编码器。在第二阶段，该编码器被冻结，并使用现代 Q 学习版本 [78] 在冻结编码器的特征上训练浅层策略头。RL 还可用于微调通过 IL 预训练的完整网络 [17], [79]。

如果网络能够访问特权模拟器信息，RL 也能有效应用 [48], [80], [81]。特权 RL 智能体可用于数据集管理。Roach [21] 在特权鸟瞰图（BEV）语义地图上训练 RL 智能体，并使用该策略自动收集数据集，以训练下游的 IL 智能体。WoR [20] 采用 Q 函数和表格动态规划为静态数据集生成额外或改进的标签。

该领域的一个挑战是将仿真中的发现迁移到现实世界。在 RL 中，目标通过奖励函数表达，许多算法要求奖励函数密集且在每个环境步骤提供反馈。当前研究通常使用简单目标，如进度和避撞。这些简单设计可能鼓励危险行为 [80]。设计或学习更好的奖励函数仍是一个开放性问题。另一个方向是开发能够处理稀疏奖励的 RL 算法，从而直接优化相关指标。RL 可有效与世界模型结合 [82], [83], [84]，尽管这也带来了特定挑战（见 IV-C 节）。当前驾驶领域的 RL 解决方案严重依赖场景的低维表示，该问题在 IV-B-2 节进一步讨论。

强化学习的定义

缺点：数据量极大、都在仿真中研究、如何迁移到真实世界

发展方向：设计更好的奖励函数、开发能够处理稀疏奖励的 RL 算法

基准测试

自动驾驶系统需要全面评估以确保安全性。研究人员必须使用适当的数据集、模拟器、指标和硬件对这些系统进行基准测试才能实现这一目标。本节阐述了端到端自动驾驶系统基准测试的三种方法：（1）真实场景评估；（2）仿真环境中的在线或闭环评估；（3）驾驶数据集的离线或开环评估。我们重点关注可扩展且有原则的在线仿真场景，并为保证内容完整性对真实场景和离线评估进行了总结。

A. 真实场景评估

早期关于自动驾驶基准测试的努力涉及真实世界评估。值得注意的是，美国国防高级研究计划局（DARPA）发起了一系列竞赛以推动自动驾驶技术发展。首场赛事为自主导航穿越莫哈韦沙漠 240 公里路线的团队提供 100 万美元奖金，但没有任何团队完成该挑战 [85]。最后一系列赛事被称为 “DARPA 城市挑战赛”，要求车辆在 96 公里的模拟城镇路线中导航，同时遵守交通规则并避开障碍物 [86]。这些竞赛推动了自动驾驶领域的重要发展，例如激光雷达（LiDAR）传感器的应用。秉承这一精神，密歇根大学建立了 MCity [87]，这是一个大型可控真实环境，旨在为自动驾驶车辆测试提供便利。然而，由于缺乏数据和车辆，这类学术尝试尚未广泛应用于端到端系统。相比之下，拥有部署无人驾驶车队资源的行业可依靠真实世界评估来对其算法改进进行基准测试。

介绍真实场景的历史

B. 在线 / 闭环仿真

在现实世界中对自动驾驶系统进行测试成本高昂且存在风险。为应对这一挑战，仿真成为可行的替代方案 [14], [88], [89], [90], [91], [92]。模拟器支持快速原型设计与测试，便于 ideas 的快速迭代，并为单元测试提供低成本获取多样化场景的途径。此外，模拟器还提供了精确测量性能的工具。然而，其主要缺点在于：在仿真环境中获得的结果未必能泛化至现实世界（见 IV-I-3 节）。

闭环评估涉及构建高度模拟现实驾驶环境的仿真环境。该评估要求在仿真中部署驾驶系统并测量其性能。系统需在向指定目标位置行进的同时，安全穿越交通流。开发此类模拟器涉及四项主要子任务：参数初始化、交通仿真、传感器仿真和车辆动力学仿真。我们先简要描述这些子任务，随后总结当前可用于闭环基准测试的开源模拟器。

1) 参数初始化

仿真的优势在于可高度控制环境，包括天气、地图、3D 资产以及交通场景中物体排列等底层属性。尽管功能强大，但这些参数数量庞大，导致设计难度较大。当前模拟器通过两种方式解决这一问题：

• 程序生成：传统上，初始参数由 3D 艺术家和工程师手工调优 [88], [89], [90], [91]，这限制了可扩展性。近期，部分仿真属性可通过计算机算法从概率分布中采样，我们称之为程序生成 [93]。程序生成算法结合规则、启发式方法和随机化，以创建多样化的道路网络、交通模式、光照条件和物体摆放位置 [94], [95]。由于与全手动设计相比效率更高，它已成为视频游戏和仿真中最常用的初始化方法之一。不过，该过程仍需预定义参数和算法来控制生成可靠性，这既耗时又需要大量专业知识。
• 数据驱动：用于仿真初始化的数据驱动方法旨在学习所需参数。可以说，最简单的方法是从现实驾驶日志中采样 [14], [92]，直接从预先记录的数据集中提取道路地图或交通模式等参数。日志采样的优势在于能够捕捉现实数据中存在的自然可变性，从而生成更真实的仿真场景。然而，它可能无法涵盖对测试自动驾驶系统鲁棒性至关重要的罕见情况。初始参数可通过优化来增加此类场景的代表性 [7], [34], [35]。另一种先进的数据驱动初始化方法是生成式建模，即利用机器学习算法学习现实数据的底层结构和分布，进而生成与现实世界相似但未包含在原始数据中的新场景 [96], [97], [98], [99]。

参数初始化：程序生成（效率高但需要专业知识）、数据驱动（日志采样、生成式建模）

2) 交通仿真

交通仿真涉及在环境中生成具有真实运动的虚拟实体并为其定位 [97], [100]。这些实体通常包括车辆（如汽车、摩托车、自行车等）和行人。交通模拟器必须考虑速度、加速度、制动、障碍物及其他实体行为的影响。此外，需定期更新交通信号灯状态以模拟真实的城市驾驶。以下介绍两种流行的交通仿真方法：

• 基于规则：基于规则的交通模拟器使用预定义规则生成交通实体的运动。该概念最突出的实现是智能驾驶员模型（IDM）[101]。IDM 是一种跟车模型，根据当前车辆速度、前车速度和期望安全距离计算每辆车的加速度。尽管应用广泛且简单，但该方法可能不足以模拟城市环境中的真实运动和复杂交互。
• 数据驱动：真实的人类交通行为具有高度交互性和复杂性，包括变道、并线、突然停车等。为对这类行为建模，数据驱动的交通仿真利用从现实驾驶中收集的数据。这些模型可捕捉更细致、真实的行为，但需要大量标记数据用于训练。针对该任务，已提出多种基于学习的技术 [97], [98], [100], [102], [103], [104]。

交通仿真：基于规则（复杂度不够）、数据驱动（需要大量数据）

3) 传感器仿真

传感器仿真对评估端到端自动驾驶系统至关重要，涉及生成模拟的原始传感器数据，如驾驶系统在模拟器中从不同视角接收的相机图像或激光雷达扫描 [105], [106], [107]。该过程需考虑噪声和遮挡，以真实评估自动驾驶系统。关于传感器仿真，主要有两种思路：

• 基于图形学：近期的计算机图形学模拟器利用环境的 3D 模型和交通实体模型，通过近似传感器中的物理渲染过程来生成传感器数据 [89], [90]。例如，在模拟相机图像时，可涉及现实环境中存在的遮挡、阴影和反射。然而，基于图形学的仿真真实感往往欠佳，或需付出大量计算成本，导致并行化难度大 [108]。其与 3D 模型的质量和传感器建模中使用的近似方法密切相关。[109] 对用于驾驶数据的基于图形学的渲染进行了全面综述。
• 数据驱动：数据驱动的传感器仿真利用现实传感器数据创建仿真，其中自车和背景交通的运动可能与记录中的不同 [110], [111], [112]。流行的方法是神经辐射场（NeRF）[113] 和 3D 高斯 splatting [114]，它们可通过学习场景几何和外观的隐式表示来生成场景的新视图。这些方法在视觉上可生成比基于图形学的方法更真实的传感器数据，但存在渲染时间长或需要对每个重建场景独立训练等局限性 [107], [115], [116], [117], [118]。数据驱动传感器仿真的另一种方法是域适应，旨在最小化真实和基于图形学的模拟传感器数据之间的差距 [119]。可采用生成对抗网络（GAN）等深度学习技术来提高真实感（见 IV-I-3 节）。

传感器仿真：基于图形学、数据驱动（NeRF、高斯、域适应）

4) 车辆动力学仿真

驾驶仿真的最后一个方面是确保仿真车辆遵循物理上合理的运动。大多数现有公开可用的模拟器使用高度简化的车辆模型，如单轮模型 [120] 或自行车模型 [121]。然而，为促进算法从仿真到现实世界的无缝迁移，纳入更精确的车辆动力学物理建模至关重要。例如，CARLA 采用多体系统方法，将车辆表示为四个车轮上的一组簧载质量。有关全面综述，请参考 [122]。

单轮模型、自行车模型

5) 基准测试

我们在表 1 中简要概述了截至目前可用的端到端驾驶基准测试。2019 年，随 CARLA [90] 发布的原始基准测试已被以近乎完美的分数解决 [5]。后续的 NoCrash 基准测试 [123] 涉及在特定天气条件下的单个 CARLA 城镇上训练，并测试对另一个城镇和一组天气的泛化能力。与单个城镇不同，Town05 基准测试 [6] 涉及在所有可用城镇上训练，同时保留 Town05 用于测试。类似地，LAV 基准测试在除 Town02 和 Town05 之外的所有城镇上训练，这两个城镇均保留用于测试。Roach [21] 使用包含 3 个测试城镇的设置，尽管所有城镇在训练期间都见过，且没有 Town05 和 LAV 中的安全关键场景。最后，Longest6 基准测试 [28] 使用 6 个测试城镇。两个在线服务器，排行榜（v1 和 v2）[13]，通过对评估路线保密来确保公平比较。排行榜 v2 极具挑战性，因为路线长度长（平均超过 8 公里，而 v1 为 1-2 公里）且包含各种各样的新交通场景。目前可通过 NAVSIM 项目 [124] 访问 nuPlan 模拟器来评估端到端系统。此外，还有两个基准测试，其中智能体通过 nuPlan 的数据驱动参数初始化输入地图和物体属性（见 III-B-1 节）。[125] 中提出的 Val14 使用 nuPlan 的验证分割。排行榜作为带有私有测试集的提交服务器，曾用于 2023 年 nuPlan 挑战赛，但目前已不公开供提交。

早期基准（CARLA系列）：CARLA、NoCrash、Town05、LAV、Roach 、Longest6

在线排行榜：（v1 & v2）

nuPlan 相关基准：NAVSIM、Val14、leaderboard

C. 离线 / 开环评估

开环评估主要根据预先记录的专家驾驶行为来评估系统性能。该方法需要包含以下内容的评估数据集：（1）传感器读数，（2）目标位置，（3）相应的未来驾驶轨迹（通常从人类驾驶员处获取）。将传感器输入和目标位置作为输入，通过比较系统预测的未来轨迹与驾驶日志中的轨迹来衡量性能。系统评估基于其轨迹预测与人类真实轨迹的匹配程度，以及与其他智能体的碰撞概率等辅助指标。开环评估的优势在于，由于无需模拟器，使用真实交通和传感器数据即可轻松实现。但其关键缺点是无法衡量系统在部署过程中实际遇到的测试分布下的性能。在测试期间，驾驶系统可能偏离专家驾驶路径，因此验证系统从这种偏差中恢复的能力至关重要（见 IV-I-2 节）。此外，在多模态场景中，预测轨迹与记录轨迹之间的距离并非理想指标。例如，在并入转弯车道的情况下，立即并入或稍后并入都是可行的选择，但开环评估会对数据中未观察到的选项进行惩罚。因此，除了测量碰撞概率和预测误差外，还提出了一些指标来涵盖更全面的方面，如交通违规、行进进度和驾驶舒适性 [125]。

这种方法需要全面的轨迹数据集作为支撑。用于此目的的最流行数据集包括 nuScenes [126]、Argoverse [127]、Waymo [128] 和 nuPlan [14]。所有这些数据集都包含大量具有不同难度的真实世界驾驶行程。然而，由于上述缺点，开环结果并不能为闭环中驾驶行为的改进提供确凿证据 [123], [125], [129], [130]。总体而言，建议未来研究中若有可用且适用的现实闭环基准测试，应予以采用。

挑战

接下来，我们将围绕图 1 中阐述的每个主题，探讨当前面临的挑战、相关研究或潜在解决方案、风险及机遇。我们首先在 IV-A 节讨论处理不同输入模态时的挑战，接着在 IV-B 节探讨用于高效策略学习的视觉抽象问题。此外，我们还将介绍世界模型学习（IV-C 节）、多任务框架（IV-D 节）和策略蒸馏（IV-E 节）等学习范式。最后，我们将讨论阻碍端到端自动驾驶安全可靠运行的普遍性问题，包括可解释性（IV-F 节）、安全保障（IV-G 节）、因果混淆（IV-H 节）和鲁棒性（IV-I 节）。

A. 感知与输入模态的两难困境

1) 传感与多传感器融合

传感：

尽管早期研究 [8] 通过单目摄像头成功实现了车道跟随，但单一输入模态无法应对复杂场景。因此，如图 4 所示，各种传感器已被引入到现代自动驾驶车辆中。具体而言，摄像头的 RGB 图像可复现人类感知世界的方式，具备丰富的语义细节；激光雷达（LiDAR）或立体摄像头能提供精确的 3D 空间信息；毫米波雷达和事件相机等新兴传感器则擅长捕捉物体的相对运动。此外，来自速度计和惯性测量单元（IMU）的车辆状态数据，以及导航指令，也是引导驾驶系统的重要输入。然而，不同传感器具有独特的视角、数据分布和巨大的成本差异，这为有效设计传感布局并融合数据以实现互补带来了挑战。

一句话总结：单一输入模态无法应对复杂场景

多传感器融合：

多传感器融合在目标检测 [131], [132]、语义分割 [133], [134] 等感知相关领域已被广泛讨论，通常分为早期融合、中期融合和晚期融合三类。端到端自动驾驶算法也探索了类似的融合方案：

• 早期融合：在将传感输入送入共享特征提取器前进行合并，拼接是常见的融合方式 [32], [135], [136], [137], [138]。为解决视角差异，部分研究将点云投影到图像上 [139]，或反之（为激光雷达点预测语义标签 [52], [140]）。
• 晚期融合：结合多模态的多个结果，但由于性能较差，相关讨论较少 [6], [141]。
• 中期融合：通过对输入分别编码，然后在特征层进行融合，实现网络内的多传感器融合。简单拼接也常被采用 [15], [22], [30], [142], [143], [144], [145], [146]。近年来，研究利用 Transformer [27] 对特征间的交互进行建模 [6], [28], [29], [147], [148]，其注意力机制在聚合不同传感器输入的上下文并实现更安全的端到端驾驶方面已展现出显著效果。

受感知领域进展的启发，在鸟瞰图（BEV）[131], [132] 等统一空间中对模态进行建模具有重要意义。端到端驾驶还需要识别与策略相关的上下文并摒弃无关细节（感知相关表示见 IV-B-1 节）。此外，自注意力层虽能自由连接所有标记，但计算成本高昂且无法保证有效信息提取。感知领域中先进的基于 Transformer 的融合机制（如 [149], [150]）有望应用于端到端驾驶任务。

2) 语言作为输入

人类驾驶时同时依赖视觉感知和内在知识，二者共同构成因果行为。在具身人工智能等自动驾驶相关领域，将自然语言作为细粒度知识和指令来控制视觉运动智能体已取得显著进展 [151], [152], [153], [154]。然而，与机器人应用相比，驾驶任务更直接，无需任务分解，且户外环境更为复杂 —— 智能体高度动态，但可用于接地的显著锚点较少。

为将语言知识融入驾驶，研究提出了若干数据集以基准化户外接地和视觉语言导航任务 [155], [156], [157], [158]。HAD [159] 收录了人对车的建议，并增加了视觉接地任务；Sriram 等人 [160] 将自然语言指令转化为高级行为，而 [161], [162] 则直接对文本进行接地；CLIP-MC [163] 和 LM-Nav [164] 利用 CLIP [165] 从指令中提取语言知识，并从图像中提取视觉特征。

近期，随着大型语言模型（LLM）[166], [167] 的快速发展，研究将感知场景编码为标记，并输入 LLM 以进行控制预测和基于文本的解释 [168], [169], [170]。研究者还将驾驶任务构建为问答问题并建立相应基准 [171], [172]，强调 LLM 在处理复杂指令和泛化到不同数据领域方面的优势 —— 这与机器人领域的应用具有相似价值 [173]。但考虑到 LLM 目前推理时间长、定量精度低且输出不稳定，其在道路驾驶中的应用仍具挑战性。潜在解决方案包括：仅在复杂场景中通过云端部署 LLM，或仅将其用于高级行为预测。

B. 对视觉抽象的依赖

端到端自动驾驶系统大致分为两个阶段：将状态编码为潜在特征表示，然后利用中间特征解码驾驶策略。在城市驾驶中，输入状态（即周围环境和自车状态）相比视频游戏等常见策略学习基准 [18], [174] 具有更高的多样性和维度，这可能导致表示与策略制定所需的关注区域不匹配。因此，设计 “良好” 的中间感知表示，或先用代理任务预训练视觉编码器，有助于网络有效提取驾驶所需的有用信息，从而促进后续策略阶段。此外，这还能提高强化学习方法的样本效率。

1) 表示设计

简单表示通过各种主干网络提取。经典卷积神经网络（CNN）仍占主导地位，其在平移等变性和高效性方面具有优势 [175]。深度预训练的 CNN [176] 显著提升了感知和下游任务性能。相比之下，基于 Transformer 的特征提取器 [177], [178] 在感知任务中表现出强大的可扩展性，但尚未被广泛应用于端到端驾驶。对于驾驶特定表示，研究人员引入了鸟瞰图（BEV）概念，在统一的 3D 空间中融合不同传感器模态和时间信息 [131], [132], [179], [180]，这也便于适配下游任务 [2], [30], [181]。此外，基于网格的 3D 占据表示被开发用于捕捉不规则物体，并在规划中用于避撞 [182]。然而，与 BEV 方法相比，密集表示带来了巨大的计算成本。

地图表示仍是一个未解决的问题。传统自动驾驶依赖高清地图（HD Maps），但由于其获取成本高昂，已设计出在线建图方法，包括 BEV 分割 [183]、矢量化车道线 [184]、中心线及其拓扑结构 [185], [186] 和车道段 [187] 等不同形式。但最适合端到端系统的表示形式尚未得到验证。

尽管各种表示设计为后续决策过程提供了多种可能性，但也带来了挑战 —— 整个框架需要协同设计这两个部分。此外，鉴于若干简单有效的方法通过扩展训练资源取得进展 [22], [28]，地图等显式表示的最终必要性仍不明确。

CNN仍占主导地位

Transformer 的特征提取器能力强大，但未广泛运用

鸟瞰图（BEV），在统一的 3D 空间中融合不同传感器模态和时间信息 ，便于适配下游任务

基于网格的 3D 占据表示被开发用于捕捉不规则物体，并在规划中用于避撞，但计算量较大

在线建图方法

2) 表示学习

表示学习通常融入特定的归纳偏置或先验信息，所学表示中不可避免存在潜在的信息瓶颈，与决策无关的冗余上下文可能被移除。

早期方法直接利用现成网络的语义分割掩码作为后续策略训练的输入表示 [188], [189]。SESR [190] 通过变分自编码器（VAE）[191] 将分割掩码编码为类解耦表示。在 [192], [193] 中，预测的可供性指标（如交通灯状态、车道中心偏移、与前车距离）被用作策略学习的表示。

由于分割等结果作为表示可能形成人为定义的瓶颈并导致有用信息丢失，一些研究选择预训练任务的中间特征作为强化学习训练的有效表示 [18], [19], [194], [195]。在 [196] 中，VAE 的潜在特征通过分割扩散边界和深度图获得的注意力图进行增强，以突出重要区域。TARP [197] 利用一系列先前任务的数据执行不同任务相关的预测任务，以获取有用表示。[198] 中，潜在表示通过近似 α- 双模拟度量来学习，该度量由奖励差异和动力学模型输出组成。ACO [36] 通过在对比学习结构中加入转向角分类来学习判别特征。近期，PPGeo [12] 提出通过未校准驾驶视频上的运动预测与深度估计自监督学习有效表示。ViDAR [199] 利用原始图像 - 点云对，并通过点云预测预任务预训练视觉编码器。这些工作表明，从大规模无标签数据中进行自监督表示学习以用于策略学习具有潜力，值得未来探索。

C. 基于模型的强化学习中世界建模的复杂性

除了更好地抽象感知表示的能力外，端到端模型还必须对未来做出合理预测以采取安全操作。本节主要讨论当前基于模型的策略学习工作所面临的挑战，其中世界模型为策略模型提供显式的未来预测。

深度强化学习（Deep RL）通常面临样本复杂度高的问题，这在自动驾驶中尤为明显。基于模型的强化学习（MBRL）通过让智能体与学习到的世界模型交互而非真实环境，为提高样本效率提供了有前景的方向。MBRL 方法采用由转移动力学和奖励函数组成的显式世界（环境）模型，这在 CARLA 等模拟器运行相对缓慢的驾驶场景中特别有用。

然而，对高度动态的环境进行建模是一项挑战性任务。为简化问题，Chen 等人 [20] 将转移动力学分解为非反应性世界模型和简单的运动学自行车模型。在 [137] 中，概率序列潜在模型被用作世界模型。为解决学习到的世界模型可能存在的不准确性，Henaff 等人 [200] 使用 dropout 正则化训练策略网络以估计不确定性成本。另一种方法 [201] 利用多个世界模型的集成来提供不确定性估计，并据此对虚拟展开进行截断和相应调整。受 Dreamer [82] 启发，ISO-Dream [202] 将视觉动力学解耦为可控和不可控状态，并在解耦状态上训练策略。

值得注意的是，在原始图像空间中学习世界模型对自动驾驶而言并非易事。重要的细节（如交通信号灯）在预测图像中容易被忽略。为解决这一问题，GenAD [203] 和 DriveWM [204] 采用了流行的扩散技术 [205]。MILE [206] 除模仿学习外，还将 BEV 分割空间中 Dreamer 风格的世界模型学习作为辅助任务。SEM2 [136] 也扩展了 Dreamer 结构，但使用 BEV 地图输入并通过 RL 进行训练。除直接将学习到的世界模型用于 MBRL 外，DeRL [195] 通过融合两种模型对动作或状态的自我评估，将无模型的演员 - 评论家框架与世界模型相结合。

端到端自动驾驶的世界模型学习是一个新兴且有前景的方向，因其可大幅降低 RL 的样本复杂度，而理解世界也有助于驾驶。然而，由于驾驶环境高度复杂和动态，仍需进一步研究以确定需要建模的内容及如何有效建模世界。

D. 对多任务学习的依赖

多任务学习（MTL）通过独立的任务头，基于共享表示联合执行多个相关任务。MTL 具有降低计算成本、共享相关领域知识以及利用任务间关系提升模型泛化能力等优势 [207]。因此，MTL 非常适合端到端驾驶场景，因为最终的策略预测需要对环境有全面的理解。然而，如何优化辅助任务的组合以及对损失进行适当加权以实现最佳性能，是一个重大挑战。

与密集预测紧密相关的常见视觉任务不同，端到端驾驶预测的是稀疏信号。这种稀疏监督增加了编码器中提取决策有用信息的难度。对于图像输入，端到端自动驾驶模型通常采用语义分割 [28], [31], [139], [208], [209], [210] 和深度估计 [28], [31], [208], [209], [210] 等辅助任务。语义分割帮助模型获得对场景的高级理解；深度估计使模型能够捕捉环境的 3D 几何结构，并更好地估计与关键物体的距离。除了透视图像上的辅助任务，3D 目标检测 [28], [31], [52] 对激光雷达编码器也很有用。随着鸟瞰图（BEV）成为自动驾驶的自然且流行的表示，在 BEV 空间中聚合特征的模型 [11], [23], [28], [29], [30], [31], [52], [148] 也包含了 BEV 分割等任务。此外，除了这些视觉任务，[29], [208], [211] 还预测视觉可供性，包括交通灯状态、与对向车道的距离等。尽管如此，为实际应用构建具有多种类型对齐且高质量注释的大规模数据集并非易事，由于当前模型对 MTL 的依赖，这仍是一个重大问题。

E. 低效专家与策略蒸馏

由于模仿学习（或其主要子类别 “行为克隆”）本质上是模仿专家行为的监督学习，相应方法通常遵循 “师生范式”。该范式存在两大挑战：（1）尽管教师（如 CARLA 提供的手工设计专家自动驾驶系统）可获取周围智能体和地图的真实状态，但并非完美的驾驶者；（2）学生仅通过记录的传感器输入输出进行监督，需同时从头提取感知特征并学习策略。

部分研究提出将学习过程分为两个阶段：先训练更强的教师网络，再将策略蒸馏给学生。例如，Chen 等人 [5], [52] 首先利用特权智能体（privileged agent）学习基于环境状态的决策方式，然后让视觉运动智能体（学生）在输出阶段通过蒸馏紧密模仿特权智能体。与原始专家相比，为特权智能体提供更紧凑的鸟瞰图（BEV）表示作为输入，可增强泛化能力和监督效果，该过程如图 5 所示。

除仅监督规划结果外，一些研究还在特征层面进行知识蒸馏。例如，FMNet [212] 采用分割和光流模型作为辅助教师指导特征训练；SAM [213] 在师生网络间添加 L2 特征损失，而 CaT [23] 在 BEV 空间中对齐特征；WoR [20] 学习基于模型的动作价值函数，并用其监督视觉运动策略；Roach [21] 通过强化学习训练更强的特权专家，消除行为克隆的性能上限，其整合了动作分布、价值 / 奖励和潜在特征等多重蒸馏目标；TCP [22] 借助强大的强化学习专家，以单摄像头作为视觉输入，在 CARLA 排行榜上实现了最先进的性能；DriveAdapter [181] 通过特征对齐目标学习仅感知的学生模型和适配器。这种解耦范式充分利用了教师的知识和学生的训练效率。

尽管研究者已在设计鲁棒专家和跨层级知识迁移方面付出大量努力，但师生范式仍存在蒸馏效率低下的问题。例如，特权智能体可获取交通灯的真实状态，但交通灯在图像中属于小物体，相应特征难以蒸馏，导致视觉运动智能体与特权智能体之间存在显著性能差距，还可能导致学生的因果混淆（见 IV-H 节）。未来值得从机器学习的通用蒸馏方法中汲取更多灵感，以缩小这一差距。

F. 缺乏可解释性

可解释性在自动驾驶中扮演着关键角色 [214]。它使工程师能够更好地调试系统，从社会层面提供性能保障，并提升公众接受度。为通常被称为 “黑箱” 的端到端驾驶模型实现可解释性，更为必要且具有挑战性。

对于训练好的模型，可应用一些事后可解释人工智能（X-AI）技术来生成显著性图 [208], [215], [216], [217], [218]。显著性图会突出视觉输入中模型主要依赖的规划区域。然而，该方法提供的信息有限，其有效性和正确性也难以评估。因此，我们关注在模型设计中直接增强可解释性的端到端框架，以下按图 6 介绍各类可解释性方法。

注意力可视化

注意力机制提供了一定程度的可解释性。在 [33], [208], [211], [218], [219] 中，学习到的注意力权重被用于聚合中间特征图中的重要特征。注意力权重还能自适应地组合来自不同物体区域的感兴趣区域（ROI）池化特征 [220] 或固定网格特征 [221]。NEAT [11] 通过迭代聚合特征来预测注意力权重并优化聚合特征。近期，Transformer 注意力模块被用于更好地融合不同传感器输入，注意力图则展示输入中对驾驶决策重要的区域 [28], [29], [31], [147], [222]。在 PlanT [223] 中，注意力层处理来自不同车辆的特征，为相应动作提供可解释的见解。与事后显著性方法类似，尽管注意力图提供了模型关注点的直接线索，但其忠实性和实用性仍有限。

可解释任务

许多基于模仿学习（IL）的研究通过将潜在特征表示解码为策略预测之外的其他有意义信息来引入可解释性，例如语义分割 [2], [11], [15], [28], [29], [31], [52], [139], [163], [208], [209], [210], [224]、深度估计 [15], [28], [31], [208], [209]、目标检测 [2], [28], [31], [52]、可供性预测 [29], [208], [211]、运动预测 [2], [52] 和注视点图估计 [225]。尽管这些方法提供了可解释信息，但大多数仅将这些预测视为辅助任务 [11], [15], [28], [31], [139], [208], [209], [211]，对最终驾驶决策无显式影响。部分研究 [29], [52] 确实将这些输出用于最终动作，但仅作为额外安全检查。

规则集成与成本学习

如 II-A-2 节所述，基于成本学习的方法与传统模块化系统有相似性，因此具有一定可解释性。NMP [32] 和 DSDNet [226] 结合检测和运动预测结果构建成本体。P3 [39] 将预测的语义占据图与舒适性和交通规则约束结合，构建成本函数。概率占据、时间运动场 [1]、涌现占据 [71] 和自由空间 [70] 等多种表示被用于对采样轨迹评分。在 [38], [125], [227] 中，人类专家知识和预定义规则（包括安全、舒适性、交通规则及基于感知和预测输出的路线）被显式纳入，形成轨迹评分的成本，展现出更强的鲁棒性和安全性。

语言解释性

由于可解释性的一个方面是帮助人类理解系统，自然语言是合适的选择。Kim 等人 [33] 和 Xu 等人 [228] 开发了将驾驶视频或图像与描述和解释配对的数据集，并提出了同时输出控制和解释的端到端模型。BEEF [229] 融合预测轨迹和中间感知特征，生成决策依据。ADAPT [230] 提出基于 Transformer 的网络，联合估计动作、叙述和推理。近期，[169], [171], [172] 借助多模态和基础模型的进展，使用大型语言模型 / 视觉语言模型（LLMs/VLMs）提供决策相关解释，如 IV-A-2 节所述。

不确定性建模

不确定性是解释深度学习模型输出可靠性的量化方法 [231], [232]，有助于设计者和用户识别不确定案例以改进或进行必要干预。深度学习中存在两种不确定性：偶然不确定性（aleatoric uncertainty）和认知不确定性（epistemic uncertainty）。前者是任务固有的，后者由数据有限或建模能力不足导致。在 [233] 中，作者利用模型中的随机正则化进行多次前向传播采样以衡量不确定性，但多次前向传播在实时场景中不可行。Loquercio 等人 [232] 和 Filos 等人 [234] 提出通过集成专家似然模型捕获认知不确定性，并聚合结果以执行安全规划。关于偶然不确定性建模方法，[146], [235], [236] 显式预测驾驶动作 / 规划及其不确定性（通常用方差表示），将动作层面的不确定性作为网络预测的变量直接建模和量化。规划器会基于预测的不确定性生成最终动作， either 从多个动作中选择不确定性最低的 [235]，或根据不确定性对提议动作生成加权组合 [146]。目前，预测的不确定性主要与硬编码规则结合使用，探索更好的建模和利用不确定性的方法对自动驾驶至关重要。

G. 缺乏安全保障

在现实场景中部署自动驾驶系统时，确保安全性至关重要。然而，端到端框架基于学习的本质使其本质上缺乏传统基于规则方法所具有的精确数学安全保证 [237]。

值得注意的是，模块化驾驶栈已在其运动规划或速度预测模块中纳入特定的安全相关约束或优化，以确保安全性 [238], [239], [240]。这些机制有可能被改编并集成到端到端模型中作为后处理步骤或安全检查，从而提供额外的安全保障。此外，如 IV-F 节所讨论的中间可解释性预测（例如检测和运动预测结果），可在后处理流程中使用。

H. 因果混淆

驾驶是一项具有时间平滑性的任务，这使得过去的运动成为预测下一步动作的可靠依据。然而，用多帧训练的方法可能会过度依赖这种捷径 [241]，并在部署过程中遭遇灾难性失败。这一问题在某些研究中被称为 “模仿者问题”[57]，是因果混淆 [242] 的一种表现 —— 即获取更多信息反而导致性能下降。

近二十年来，模仿学习中的因果混淆一直是一个持续性挑战。最早报道这一效应的是 LeCun 等人 [243]，他们使用单帧输入进行转向预测以避免此类外推。尽管方法简单，但在当前最先进的模仿学习方法中 [22], [28]，这仍是首选方案。遗憾的是，使用单帧难以提取周围主体的运动信息。因果混淆的另一个来源是速度测量 [16]。图 7 展示了一辆在红灯前等待的汽车案例：由于该车在多帧中速度为零且动作是刹车，其动作与速度高度相关，而这种相关性仅在交通灯由红变绿时才会打破。

在使用多帧时，有几种方法可应对因果混淆问题：[57] 中，作者尝试通过训练一个预测自车过去动作的对抗模型，从瓶颈表示中移除虚假的时间相关性。直观来看，由此产生的最小最大优化可训练网络从中间层剔除过去的信息。该方法在 MuJoCo 中效果良好，但难以扩展到基于视觉的复杂驾驶场景。OREO [59] 将图像映射到表示语义对象的离散代码，并对共享相同离散代码的单元应用随机丢弃掩码，这有助于解决 Atari 游戏中的混淆问题。在端到端驾驶中，ChauffeurNet [244] 通过将过去的自车运动作为中间鸟瞰图（BEV）抽象，并在训练期间以 50% 的概率丢弃该信息来解决因果混淆问题。Wen 等人 [58] 提出在训练损失中对关键帧进行加权 —— 这些帧中决策发生变化（因此无法通过外推过去来预测）。PrimeNet [60] 通过集成方法改进了关键帧方案：将单帧模型的预测作为额外输入提供给多帧模型。Chuang 等人 [245] 采取类似思路，但使用动作残差而非动作来监督多帧网络。此外，仅使用激光雷达历史（结合单帧图像）并将点云重新对齐到同一坐标系，可规避因果混淆问题。这种方法在移除自车运动的同时保留其他车辆的过去状态信息，已在多项研究 [1], [32], [52] 中应用，尽管其初衷并非为此。

然而，这些研究均使用了经过修改的环境以简化因果混淆问题的研究。如何在第三节 B-5 所述的前沿场景中证明性能提升，仍是一个开放性问题。

I. 缺乏鲁棒性

1) 长尾分布

长尾分布问题的一个重要方面是数据集不平衡，如图 8（a）所示，其中少数类别占据了大多数样本。这对模型泛化到多样化环境构成了重大挑战。各种方法通过数据处理缓解这一问题，包括过采样 [246], [247]、欠采样 [248], [249] 和数据增强 [250], [251]。此外，基于加权的方法 [252], [253] 也被广泛使用。

在端到端自动驾驶场景中，长尾分布问题尤为严重。大多数驾驶场景是重复且非关键的（例如连续多帧沿车道行驶），而有趣的安全关键场景虽罕见却具有多样性，且出于安全考虑难以在现实中复现。为解决这一问题，部分研究依赖手工设计场景 [13], [100], [254], [255], [256] 在仿真中生成更多样化的数据：LBC [5] 利用特权智能体基于不同导航指令创建虚拟监督；LAV [52] 纳入非自车智能体的轨迹用于训练以提升数据多样性；[257] 提出一种仿真框架，应用重要性采样策略加速稀有事件概率的评估。

另一类研究 [7], [34], [35], [258], [259], [260] 通过对抗攻击以数据驱动方式生成安全关键场景：[258] 采用贝叶斯优化生成对抗场景；“Learning to Collide”[35] 将驾驶场景表示为构建块的联合分布，并应用策略梯度强化学习方法生成风险场景；AdvSim [34] 在保持物理合理性的前提下修改智能体轨迹以引发故障；KING [7] 提出一种基于可微运动学模型梯度的安全关键扰动优化算法。

总体而言，高效生成覆盖长尾分布的真实安全关键场景仍是重大挑战。尽管许多研究聚焦于仿真中的对抗场景，但更好地利用真实数据进行关键场景挖掘及仿真适配同样重要。此外，构建系统、严格、全面且真实的测试框架，对于评估端到端自动驾驶方法在长尾分布安全关键场景下的表现至关重要。

2) 协变量偏移

如 II-A 节所述，行为克隆的一个重要挑战是协变量偏移。专家策略与训练后智能体策略的状态分布存在差异，导致当训练后的智能体部署在未见过的测试环境中，或其他智能体的反应与训练时不同时，误差会累积 —— 这可能使训练后的智能体处于专家训练分布之外的状态，导致严重故障，如图 8（b）所示。

DAgger（数据集聚合）[26] 是解决该问题的常用方案。DAgger 是一个迭代训练过程：每次迭代中，当前训练的策略在环境中执行以收集新数据，再由专家对访问的状态进行标注。这通过添加 “如何从非最优状态恢复” 的示例来丰富数据集，然后在增强数据集上重新训练策略，重复该过程。然而，DAgger 的缺点是需要在线查询专家。

在端到端自动驾驶中，[24] 采用基于模型预测控制（MPC）的专家实现 DAgger；为降低频繁查询专家的成本，SafeDAgger [25] 扩展了原始 DAgger 算法，通过学习安全策略估计当前策略与专家策略的偏差，仅在偏差较大时查询专家；MetaDAgger [56] 将元学习与 DAgger 结合，从多个环境中聚合数据；LBC [5] 采用 DAgger 并对损失较高的数据更频繁地重采样；DARB [10] 为更好地利用故障或安全相关样本，提出基于任务、基于策略及基于策略 - 专家的多种机制，以采样关键状态。

3) 域适应

域适应（DA）是一种迁移学习，目标任务与源任务相同但域不同。此处讨论源域有标签而目标域无标签或标签有限的场景。

如图 8（c）所示，自动驾驶任务的域适应包括以下情况 [261]：

• 仿真到真实：训练用的模拟器与部署的真实世界之间存在巨大差距。
• 地理到地理：不同地理位置的环境外观差异。
• 天气到天气：雨、雾、雪等天气条件导致的传感器输入变化。
• 白天到夜晚：视觉输入的光照变化。
• 传感器到传感器：传感器特性（如分辨率、相对位置）的可能差异。
  需注意上述情况常相互重叠。

通常，域不变特征学习通过图像转换器和判别器实现，将两个域的图像映射到共同的潜在空间或表示（如分割图）[262], [263]：LUSR [264] 和 UAIL [235] 分别采用循环一致变分自编码器（VAE）和生成对抗网络（GAN），将图像投影到由域特定部分和域通用部分组成的潜在表示；SESR [190] 从语义分割掩码中提取类解耦编码，以缩小仿真到真实的差距；域随机化 [265], [266], [267] 是强化学习策略学习中简单有效的仿真到真实技术，已进一步适配于端到端自动驾驶 [188], [268]，通过在训练期间随机化模拟器的渲染和物理设置，覆盖真实世界的可变性。

当前，通过源 - 目标图像映射或域不变特征学习实现仿真到真实的适应是研究重点，其他域适应情况则通过构建多样化大规模数据集处理。鉴于当前方法主要关注图像的视觉差距，而激光雷达已成为流行的驾驶输入模态，还需设计针对激光雷达的特定适应技术。此外，模拟器与真实世界中交通智能体的行为差距也应被关注，通过 NeRF [113] 等技术将真实世界数据融入仿真也是一个有前景的方向。

未来趋势

考虑到所讨论的挑战与机遇，我们列出了一些未来研究的关键方向，这些方向可能会在该领域产生更广泛的影响。

A. 零样本学习与少样本学习

自动驾驶模型最终不可避免会遇到超出训练数据分布的真实场景。这就引出了一个问题：我们是否能成功让模型适应一个未见过的目标领域，而该领域中可用的标注数据非常有限甚至没有。将端到端驾驶领域的这一任务形式化，并融入零样本 / 少样本学习文献中的技术，是实现这一目标的关键步骤 [269], [270]。

B. 模块化端到端规划

模块化端到端规划框架在优化多个模块的同时优先考虑最终规划任务，如 IV-F 节所述，该框架具备可解释性优势。近期文献 [2], [271] 倡导此方向，且特斯拉、Wayve 等行业解决方案已融入类似理念。在设计这些可微感知模块时，关于损失函数的选择引发若干问题：例如目标检测中 3D 边界框的必要性、静态场景感知中选择鸟瞰图（BEV）分割而非车道拓扑的合理性，以及模块数据有限时的训练策略设计。

C. 数据引擎

大规模高质量数据对自动驾驶的重要性再怎么强调也不为过 [272]。建立一个具备自动标注流水线的数据引擎 [273]，能够极大地推动数据和模型的迭代发展。自动驾驶的数据引擎，尤其是模块化端到端规划系统，需要借助大型感知模型，以自动化方式简化高质量感知标签的标注流程。它还应支持挖掘困难 / 极端案例、场景生成与编辑，以促进第三节 B 部分讨论的数据驱动评估，并提升数据多样性和模型的泛化能力（第四节 I 部分）。数据引擎将使自动驾驶模型得以持续改进。

D. 基础模型

基础模型在语言 [166], [167], [274] 和视觉 [273], [275], [276] 领域的最新进展已证明，大规模数据和模型容量能够释放人工智能在高级推理任务中的巨大潜力。微调 [277] 或提示学习 [278]、自监督重建 [279] 或对比对 [165] 等优化范式，均适用于端到端驾驶领域。然而，我们认为直接将大型语言模型（LLMs）应用于驾驶可能存在挑战：自动驾驶智能体的输出需要稳定且精确的度量，而语言模型的生成式输出旨在模仿人类行为，却未必注重准确性。

开发 “基础” 驾驶模型的一个可行方案是训练世界模型，使其能够在 2D、3D 或潜在空间中预测环境的合理未来。为了在规划等下游任务中表现良好，模型需要优化的目标需足够复杂，不能仅停留在帧级感知层面。