「数据不够？生成来凑！」

目录

01 三阶段全自动流水线

阶段一：世界生成

阶段二：场景标注

阶段三：导航与数据采集

02 数据集分析

03 总结与思考

---

训无人机听懂“飞过书架，停在沙发旁边”这种指令，最缺的不是算法，是数据。

然而，现有的数据集在这几个维度上都存在明显短板。

• 第一，基于资产的虚拟环境（如AirSim）在纹理、材质和光照上与真实场景差距明显，存在视觉保真度不足的问题。
• 第二，高质量场景的构建往往依赖人工介入，例如HM3D数据集需要使用专用的Matterport Pro2扫描仪（成本约3000美元），导致场景数量和多样性受限。
• 第三，以往通过A*搜索等图搜索算法生成的轨迹，本质上是在离散节点之间规划路径，忽略了无人机的动力学约束，这类轨迹在真实部署时往往不可执行。

浙大高飞团队提出了FlyMirage，一套全自动的无人机飞行数据生成流水线，通过生成式世界模型同时解决以上三个问题。

该系统将大语言模型、3D高斯溅射（3DGS）技术与动力学可行规划器结合，实现了从场景生成到轨迹采集的端到端自动化，最终构建了包含500个场景和5万条轨迹的大规模数据集，且每个场景的生成成本仅约2美元。

01 三阶段全自动流水线

FlyMirage的整体流程分为三个阶段：世界生成、场景标注和导航与数据采集。

图1 | FlyMirage数据集创建流水线概览。整个流程由世界生成、场景标注和导航与数据采集三个阶段组成，全程无需人工干预。

阶段一：世界生成

为了构建多样化的训练场景，研究团队将大语言模型用作场景描述生成器。系统首先将常见场景类型组织成一个层级分类体系，涵盖交通枢纽、工作场所与办公室、商业与零售空间、工业与公用设施、休闲与酒店场所、住宅六大类别。

生成场景时，系统先随机选取一个子类别，再由GPT-5.4或Gemini 3.1生成详细的场景描述文本。这一"先选类别再生成描述"的两步策略，是为了规避直接提示大语言模型生成场景时出现的类别偏斜问题——研究人员发现，直接提示时模型会过度生成某些类别（如医疗相关场景）。

有了文本描述后，系统通过GPT Images 2.0生成对应的参考图像，再将文本和图像一并输入Marble 1.1 Plus，生成高保真的3DGS场景。相比纯文本输入，加入参考图像能够为生成模型提供更具体的视觉线索，有助于提升场景的细节质量。

图2 | 世界生成流程。系统通过分层的场景类别选择，引导大语言模型生成场景描述，再结合生成图像，最终由Marble模型输出3DGS三维场景。

阶段二：场景标注

Marble生成的3DGS场景本身不包含物体级别的语义信息，因此需要一套自动化的标注流程来识别场景中的目标物体及其3D位置。

研究团队采用了Meta Reality Labs的Boxer算法，这是一种开放词汇的3D边界框估计工具，以GSplat渲染的RGB图像和深度图为输入。由于Boxer对远距离物体的估计精度有限，团队设计了一套迭代式的标注策略：首先以场景中心为基准，在多个仰俯角和偏航角采集相机图像，生成初始边界框；对于距离超过阈值的不确定目标，系统会自动规划额外的相机观测轨迹，从更近的视角补充检测；最后将多次观测结果融合，并通过距离剪枝过滤掉远距离的误检，得到最终的全局3D边界框列表。

在目标选择阶段，系统通过一种距离感知的贪心算法，从候选目标中挑选出空间分布合理的目标集合，确保导航任务的多样性。

图3 | 迭代式场景标注算法。系统通过初始边界框生成、额外相机观测和多视角结果融合，逐步提升3D边界框的精度。

阶段三：导航与数据采集

在完成场景标注后，系统开始生成导航轨迹。每个场景会生成若干个导航任务，每个任务包含一个或多个连续的导航目标。

候选目标需通过四项检查才能被接受：位置验证（无人机当前位置不在目标边界框内）、可见性检查（从当前位置到目标的视线无遮挡）、路径点安全评估（目标点周围无障碍物）以及距离约束（目标距离在2.0至10.0米之间）。

通过检查后，系统调用EGO-Planner生成连续的6自由度飞行轨迹。EGO-Planner是一种动态可行的局部规划器，能够在考虑运动学约束的前提下生成平滑可执行的轨迹。这与以往基于A*的离散节点规划有本质区别——生成的轨迹不仅在几何上可行，在动力学上也是可执行的。

采集完成后，系统还会进行两步后处理：首先用Qwen-3.5-Flash对轨迹进行质量过滤，剔除存在渲染伪影、能见度差或飞行意图不明确的轨迹；然后为每条保留的轨迹生成2至3个不同风格的文本提示，分别侧重目标物体本身（如"找到书架"）、空间关系（如"去书架旁边的椅子"）和外观属性（如"导航到绿色沙发"）。

图4 | 导航与数据采集流程。系统在完成目标选择和安全验证后，调用EGO-Planner生成6-DoF轨迹，并同步采集RGB图像和深度图。

02 数据集分析

最终生成的FlyMirage数据集包含500个3DGS场景，覆盖六大场景类别，分布相对均衡。相比之下，现有的一些数据集（如HM3D）以住宅场景为主，类别分布较为集中，这在一定程度上限制了训练模型的泛化能力。

数据集共包含5,000余个唯一目标标签，每个场景平均有60至100个目标实例。在轨迹方面，短视野轨迹（Object-to-Object）的平均长度为4.33米，中位数为4.06米；长视野轨迹（Long Horizon，包含多个连续目标）的平均长度为19.53米，中位数为19.10米，支持训练和评估长程导航能力。

图5 | 数据集统计。上方为六大场景类别的分布及示例图像；下方左侧为各场景内目标数量的分布直方图；下方右侧展示了短视野和长视野导航任务的轨迹示例。

与现有数据集相比，FlyMirage在规模、动作空间和自动化程度上具有明显优势，具体对比如下表所示：

表1 | 轨迹数据集对比。FlyMirage是目前唯一同时满足6-DoF动作空间、运动学可行轨迹和完全自动化生成三个条件的数据集。

03 总结与思考

当然，FlyMirage还不是最终答案。

在当前的论文版本中，研究团队主要聚焦于数据集的构建流水线和统计分析，将其定位为训练下一代具身智能导航模型的基石，尚未包含下游任务的预训练和微调实验结果。

3D生成场景和真实世界的差距，也肉眼可见。但它的价值不在当下跑出了多少分，而在于跑通了一条路：用生成式世界模型来系统性、可控地解决具身智能的数据饥渴。

这个方向一旦被验证，训练机器人学会在这个世界上移动，可能真的就不需要满世界去采集数据了。

论文信息

标题：FlyMirage: A Fully Automated Generation Pipeline for Diverse and Scalable UAV Flight Data via Generative World Model

作者：Jinhan Li, Xijie Huang, Zhaoqi Wang, Yijin Wang, Weiqi Ge, Qiyi He, Mo Zhu, Fei Gao, Yuze Wu, Xin Zhou（浙江大学 / Differential Robotics）

arXiv：https://arxiv.org/abs/2605.19600