芯耀
与非AI
303
转载自公众号：敢敢AUTOHUB
0. 引言
构建用于机器人训练与测试的高保真 3D 仿真环境，长期以来都是一项极其耗费人力与时间的工程任务。传统方法要求开发团队手动建模场景中的每一个物体、配置材质与光照参数、设置物理碰撞属性，这一过程往往需要数周乃至数月的时间投入。对于需要在多样化场景中进行大规模训练的机器人系统而言，这种低效的环境构建方式已成为制约技术发展的关键瓶颈。
机器人仿真的核心价值在于提供一个安全、可控且可重复的测试环境。在虚拟世界中，开发者可以模拟各种极端情况——机器人坠落、碰撞障碍物、在复杂地形中导航——而无需承担真实世界中设备损坏或安全事故的风险。然而，仿真环境与真实世界之间始终存在一道难以逾越的鸿沟，学术界将其称为"Sim-to-Real Gap"（仿真到现实的差距）。这种差距源于仿真环境在视觉逼真度、物理交互精度以及场景多样性方面的固有局限。
生成式人工智能的崛起为这一困境带来了革命性的解决方案。2024 至 2025 年间，以 World Labs 推出的 Marble 为代表的生成式世界模型开始进入机器人研究领域的视野。这类模型能够根据文本描述、单张图像甚至粗略的 3D 布局，在极短时间内生成包含丰富几何细节与物理属性的虚拟环境。当这些生成式环境与 NVIDIA Isaac Sim 等专业仿真平台相结合时，机器人开发者便获得了一套前所未有的高效工作流程：只需输入一段场景描述，即可在数小时内完成从环境生成到机器人部署的完整流程。
本文将深入剖析这一技术融合的核心原理与实践方法，涵盖 Gaussian Splatting 三维重建技术、USD 场景描述格式、物理仿真配置等关键环节，并提供一套完整的端到端工作流程指南。
1. World Labs Marble：空间智能的新范式
World Labs 由斯坦福大学教授李飞飞（Fei-Fei Li）于 2023 年联合创立。李飞飞被业界誉为"AI 教母"，其主导创建的 ImageNet 数据集曾深刻推动了深度学习与计算机视觉领域的发展。创始团队还包括 Justin Johnson、Christoph Lassner 和 Ben Mildenhall，均为计算机视觉、生成式 AI 与图形学领域的知名专家。公司成立后迅速获得资本市场的高度关注，在 Andreessen Horowitz、NEA、Radical Ventures 以及 NVIDIA 旗下 NVentures 等知名投资机构的支持下，融资总额超过 2.3 亿美元，估值在成立数月内即突破 10 亿美元。
World Labs 提出的"空间智能"（Spatial Intelligence）概念，旨在突破当前 AI 系统主要处理语言与二维图像数据的局限，使机器能够像人类一样直观地理解三维空间、感知物体的物理属性、并在虚拟与现实环境中进行有效交互。这一愿景与机器人技术的核心需求高度契合——机器人必须在三维世界中导航、操作物体、理解空间关系，而传统的二维视觉模型难以提供充分的空间理解能力。
2025 年 11 月，World Labs 正式向公众发布其首款商业化产品 Marble。作为一个多模态生成式世界模型，Marble 的核心能力在于根据多种输入形式生成持久、可编辑、可复用的三维虚拟世界。用户可以通过文本提示描述目标场景（例如"一个阳光充足的现代厨房，配有大理石台面和不锈钢电器"），也可以上传单张参考照片让模型基于图像内容生成完整的三维环境，或者提供同一场景的多视角照片以获得更精确的几何重建，甚至可以通过简单的几何形状定义空间结构，由模型自动填充细节。
生成的三维世界可以导出为多种标准格式：Gaussian Splats（.ply）用于高保真视觉渲染，保留场景的完整视觉细节；碰撞网格（.glb）用于物理仿真，定义物体的碰撞边界；视频（.mp4）则用于场景预览与展示。此外，Marble 平台内置了名为"Chisel"的交互式编辑器，允许用户通过文本指令对生成结果进行修改，或从零开始构建自定义环境，这种"生成+编辑"的工作模式显著提升了场景定制的灵活性。
World Labs 在其官方案例研究中详细阐述了 Marble 在机器人仿真领域的应用价值。生成式世界模型解决了机器人开发中长期存在的三个核心痛点。首先是数据多样性问题：机器人需要在各种环境中进行训练才能获得良好的泛化能力，传统方法下每创建一个新场景都需要大量手工劳动，而 Marble 使开发者能够快速生成数百个视觉风格各异但物理属性一致的训练环境。其次是仿真保真度问题：生成的场景不仅具备逼真的视觉效果，还包含完整的几何信息（深度、表面法向量）以及可用于物理仿真的碰撞网格，这意味着机器人在这些环境中的交互行为能够更准确地反映真实世界的物理规律。最后是开发效率问题：从文本描述到可运行仿真的完整流程可在数小时内完成，相比传统方法提升了一到两个数量级的效率，使得快速迭代、A/B 测试不同环境配置成为可能。
2. NVIDIA Isaac Sim：机器人仿真的工业级平台
NVIDIA Isaac Sim 是 NVIDIA 推出的开源机器人仿真参考框架，构建于 Omniverse 平台之上，专为机器人开发、测试与 AI 训练而设计。作为一个功能完备的仿真环境，Isaac Sim 提供了物理精确的世界模拟、高保真传感器仿真、以及与主流机器人软件栈（如 ROS 2）的无缝集成。
2025 年 SIGGRAPH 大会上发布的 Isaac Sim 5.0 版本引入了多项重要更新，进一步巩固了其在机器人仿真领域的领先地位。新版本引入了基于 OpenUSD 的机器人模式（Robot Schema），实现了机器人定义的标准化，配套的 Robot Import Wizard 工具进一步简化了机器人模型的导入与配置流程。通过新的 OmniSensor USD 模式，Isaac Sim 5.0 提供了更加精确的传感器数据生成能力，这对于依赖视觉、激光雷达、惯性测量单元等传感器进行感知的 AI 机器人而言至关重要。NVIDIA Omniverse NuRec 库使开发者能够将真实世界的图像转换为高保真的交互式仿真环境，这一能力正是 Marble 生成内容与 Isaac Sim 对接的技术基础。此外，新版本还集成了多个 NVIDIA NIM 微服务，包括用于创建机器人任务与仿真环境的 Robocasa，以及用于生成合成运动数据的 MimicGen，这些工具与 Marble 等生成式世界模型形成互补，共同构建了一个完整的 AI 驱动仿真生态。
理解 USD（Universal Scene Description）格式对于掌握 Marble 与 Isaac Sim 的对接流程至关重要。USD 最初由 Pixar 开发，用于管理复杂的电影制作场景，如今已成为三维内容交换的行业标准。USD 采用分层架构，支持非破坏性编辑与协作工作流程，其主要优势包括：多个 USD 文件可以通过引用、继承、变体等机制组合成复杂场景；支持自定义模式（Schema）以表达领域特定的数据结构；专为处理大规模场景数据而设计，支持延迟加载与流式传输；格式变体包括文本格式（.usda）、二进制格式（.usdc）和压缩归档格式（.usdz）。Isaac Sim 以 USD 作为核心场景格式，所有机器人模型、环境资产、传感器配置都以 USD 形式表达，这意味着任何外部生成的三维内容（如 Marble 输出的 PLY 文件）必须首先转换为 USD 格式才能在 Isaac Sim 中使用。
场景层级结构示例：
/World
├── /Environment
│ ├── /Kitchen (Marble 生成的场景)
│ │ ├── /GaussianSplats (视觉表示)
│ │ └── /CollisionMesh (物理碰撞)
│ └── /GroundPlane
├── /Robots
│ └── /NovaCarter
└── /Lights
└── /DomeLightNVIDIA Nova Carter 是一款专为室内自主移动设计的参考机器人平台，配备了完整的传感器套件，包括多个摄像头、激光雷达和惯性测量单元。在 Isaac Sim 中，Nova Carter 的数字孪生模型提供了与物理机器人一致的传感器配置与运动学特性。Nova Carter 在 Isaac Sim 中的典型应用场景包括：在模拟仓库环境中进行静态与动态障碍物避让测试、验证基于视觉与激光雷达融合的 SLAM 算法、模拟机器人在有人类活动的环境中的安全导航行为，以及测试多目标导航与任务调度策略。当 Marble 生成的厨房场景导入 Isaac Sim 后，Nova Carter 可以在其中进行完整的导航测试，验证场景的几何约束是否正确配置——机器人应能稳定停留在地面上，与操作台及家具发生碰撞时产生符合物理规律的响应。
3. 端到端工作流程详解
本节将详细介绍从 Marble 场景生成到 Isaac Sim 仿真运行的完整技术流程。整个流程分为四个主要步骤，每个步骤都涉及特定的工具与配置要求。
3.1 步骤一：从 Marble 导出 3D 场景资产
首先需要从 Marble 平台获取目标场景的导出文件。以厨房场景为例，操作流程如下：
1. 登录 Marble 平台（https://marble.worldlabs.ai/）
2. 浏览示例资源库或使用文本/图像输入生成新场景
3. 在 3D 查看器中使用 WASD 键与鼠标浏览场景，确认效果符合预期
4. 点击界面底部的"下载"按钮，分别导出：
• Splats (PLY)：场景的 Gaussian Splat 视觉表示文件
• Collider Mesh (GLB)：场景的三角网格碰撞体文件
对于尚未订阅 Marble 付费套餐的用户，可以使用官方提供的示例文件进行测试：
| 文件类型 | 下载链接 |
|---|---|
| PLY 文件 | https://wlt-ai-cdn.art/example_exports/rustic_kitchen_with_natural_light/rustic_kitchen_with_natural_light_2m.ply |
| GLB 文件 | https://wlt-ai-cdn.art/example_exports/rustic_kitchen_with_natural_light/rustic_kitchen_with_natural_light_collider.glb |
建议将下载的文件分别命名为 MarbleKitchenwithLight.ply 和 MarbleKitchenwithLight_collider.glb，以便后续操作。
这两个文件在仿真中承担不同职责：
• PLY 文件：负责场景的视觉呈现，包含数百万个半透明高斯粒子，能够高精度还原场景的视觉细节•
GLB 文件：提供物理仿真所需的碰撞几何结构，定义了机器人与环境交互时的碰撞边界
3.2 步骤二：PLY 到 USD 格式转换
Isaac Sim 采用 USD 作为标准场景格式，因此 Marble 导出的 PLY 文件需要转换为 USD 格式才能导入。NVIDIA 提供的 3DGRUT（3D Gaussian Rasterization Utilities）工具链包含了完成此转换的脚本。
首先需要克隆并配置 3DGRUT 环境。该环境要求：
- • Linux 操作系统• NVIDIA GPU• CUDA 11.8 或更高版本• GCC 11 或更低版本
# 克隆代码库
git clone --recursive <https://github.com/nv-tlabs/3dgrut.git>
cd 3dgrut
# 配置 Conda 环境
chmod +x install_env.sh
./install_env.sh 3dgrut
# 激活环境
conda activate 3dgrut环境配置完成后，运行以下命令将 PLY 文件转换为 USDZ 格式：
python -m threedgrut.export.scripts.ply_to_usd
/path/to/MarbleKitchenwithLight.ply
--output_file /path/to/MarbleKitchenwithLight.usdz该脚本读取 PLY 文件中的高斯粒子数据，并将其写入采用自定义 USD 模式的 USDZ 文件。这种模式基于 UsdVolVolume 进行扩展，专门用于存储 Gaussian Splats 数据。USDZ 是一种基于 ZIP 压缩的 USD 归档格式，将所有相关资源打包在单一文件中。
转换完成后，将获得两个关键文件：
• MarbleKitchenwithLight.usdz：用于视觉渲染的 Splat 场景
• MarbleKitchenwithLight_collider.glb用于物理仿真的碰撞网格
3.3 步骤三：导入 Isaac Sim 并配置场景
由于需要编辑场景内容，首先解压 USDZ 归档文件，然后在 Isaac Sim 中打开生成的 default.usda 文件。
导入的场景可能在位置、缩放和旋转方面与 Isaac Sim 的世界坐标系存在偏差，需要进行对齐操作：
在场景中创建一个地面平面（Ground Plane），该平面将作为高斯模型的地面基准，同时充当平滑的碰撞面。
选中包含高斯模型的 xform 基元，修改其"平移"（Translation）参数，移动模型直至其地面与参考平面贴合。
创建一个边长为 1 米的默认立方体作为尺寸参考，调整 xform 基元的 X、Y、Z 缩放因子。对于本教程的厨房场景，缩放因子设为 2 时尺寸较为合理。
修改 xform 基元的旋转参数，以厨房墙面瓷砖为参考，确保其与地面平面平行。对齐完成后，将地面平面下移至与厨房地面完全贴合。
完成几何对齐后，需要为场景添加物理属性与光照系统：
1. 配置地面碰撞：在地面平面的碰撞网格设置中启用"无光物体"（Invisible）属性，确保其能正常接收阴影
2. 添加光源：在场景中添加穹顶光源（Dome Light），提供环境光照与天空盒效果
3. 配置阴影代理：选中场景中的 "gauss" 体素基元，在属性窗口中找到"原始 USD 属性"部分，在"代理"（proxy）字段中添加地面平面的碰撞网格作为目标
高斯体素模型仅提供视觉表示，不包含物理碰撞信息。需要导入 GLB 碰撞网格并与高斯模型对齐：
1. 导入 GLB 文件：将 MarbleKitchenwithLight_collider.glb 拖拽至高斯体素模型的层级下
2. 对齐碰撞网格：将碰撞网格的 X 轴旋转角度设为 -90 度，使其坐标系统与高斯体素模型保持一致
3. 启用物理碰撞：为导入的碰撞网格添加物理碰撞体预设
4. 隐藏碰撞网格：关闭碰撞网格的可见性（因其与高斯模型重叠），此操作仅影响视觉效果，物理仿真仍会使用碰撞体
3.4 步骤四：添加机器人并运行仿真
场景配置完成后，可以添加机器人进行仿真测试：
1. 导入 Nova Carter：从 Isaac Sim 资产库中将 NVIDIA Nova Carter 机器人拖拽至场景，机器人模型位于 /Isaac/Robots/NVIDIA/NovaCarter 目录
2. 配置控制器：为机器人添加差分驱动控制器，启用键盘控制功能，系统将自动生成所需的动作图谱（Action Graph）
3. 设置视角：切换至机器人搭载的摄像头视角，以第一人称视角观察仿真效果
使用 WASD 键控制机器人移动，确认机器人能够稳定停留在地面上，测试与操作台、家具的碰撞响应，验证机器人不会穿透场景几何体。
至此，Marble 生成的厨房场景已作为支持物理仿真的环境完全集成至 Isaac Sim 中。开发者可以在此基础上进行更复杂的机器人任务开发，如自主导航、物体识别与抓取等。
4. Sim-to-Real 迁移与技术挑战
4.1 仿真到现实的差距
尽管 Marble 与 Isaac Sim 的结合大幅提升了仿真环境的构建效率与视觉逼真度，但"Sim-to-Real Gap"（仿真到现实的差距）仍然是机器人开发中不可回避的核心挑战。这种差距指的是在仿真环境中训练的策略或技能，在部署到物理机器人时出现的性能下降现象。
仿真与现实之间的差距主要源于以下几个方面：
| 差距类型 | 具体表现 | 影响程度 |
|---|---|---|
| 建模精度 | 复杂物理交互（接触动力学、摩擦、材料弹性）难以精确复现 | 高 |
| 传感器噪声 | 真实传感器数据中的噪声与变异难以完全模拟 | 中-高 |
| 视觉差异 | 光照、纹理、材质等视觉特征与真实世界存在差异 | 中 |
| 动力学复杂性 | 软体机器人、水下机器人、空气动力学效应等难以精确建模 | 高 |
在仿真环境中训练的策略可能会利用仿真器特有的不精确性，导致策略在虚拟环境中表现良好，但在真实世界中失效甚至产生危险行为。这种"过拟合仿真器"的问题是 Sim-to-Real 迁移中最棘手的挑战之一。
4.2 弥合差距的技术方法
研究人员与工程师正在积极探索多种策略来缩小仿真与现实之间的差距：
这是目前应用最广泛的技术之一。其核心思想是在训练过程中对仿真环境的各种参数进行随机化处理，包括：
通过在高度多样化的仿真环境中训练，模型能够学习到对这些变化具有鲁棒性的策略，从而更好地适应真实世界的不确定性。Marble 快速生成多样化场景的能力与这一方法高度契合——开发者可以轻松生成数百个视觉风格各异的训练环境。
这类方法利用真实世界的数据来优化仿真环境，或者同时使用仿真数据与真实数据进行策略训练：
• 数字孪生对齐：持续将仿真环境与物理世界进行对齐，确保仿真器能够准确反映真实环境的当前状态•
混合训练：结合仿真数据与少量真实世界数据进行训练，提升策略的泛化能力•
仿真器校准：使用真实世界的观测数据来调整仿真器的物理参数
现代仿真平台正在借鉴游戏引擎的技术，提供更加逼真的图形渲染与物理模拟。Isaac Sim 构建于 NVIDIA Omniverse 之上，集成了先进的光线追踪渲染与 PhysX 物理引擎，能够生成接近照片级真实感的仿真图像。
机器人操作系统（ROS）作为统一的中间件层，为仿真到现实的迁移提供了标准化的通信接口。在 Isaac Sim 中开发的 ROS 2 节点可以几乎无需修改地部署到物理机器人上，显著降低了迁移的工程复杂度。
4.3 Marble 对 Sim-to-Real 的贡献
Marble 等生成式世界模型通过以下方式对 Sim-to-Real 迁移产生积极影响：
生成式模型能够快速创建大量视觉风格各异的训练环境，为域随机化提供了丰富的素材。开发者不再受限于手动创建的有限场景数量，而是可以系统性地探索更广泛的环境变化空间。
基于 Gaussian Splatting 的场景表示能够捕捉真实世界的视觉细节，包括复杂的光照效果、材质反射与环境遮挡。这种高保真的视觉表示有助于训练更具鲁棒性的视觉感知模型。
Marble 同时输出视觉表示（PLY）与碰撞网格（GLB），确保了视觉效果与物理交互的一致性。机器人在这些环境中学习到的交互行为更有可能在真实世界中成功迁移。
从场景生成到仿真运行的快速工作流程使得开发者能够快速验证假设、测试不同配置，加速 Sim-to-Real 策略的开发与优化周期。
5. 参考资源
World Labs Marble 平台(https://marble.worldlabs.ai/)
NVIDIA Isaac Sim 开发者页面(https://developer.nvidia.com/isaac/sim)
3DGRUT 代码库(https://github.com/nv-tlabs/3dgrut)
NVIDIA Omniverse NuRec 文档(https://docs.omniverse.nvidia.com/materials-and-rendering/latest/neural-rendering.html)
World Labs：借助 Marble 实现机器人仿真规模化(https://www.worldlabs.ai/case-studies/1-robotics)
Marble 导出选项文档(https://docs.worldlabs.ai/guides/export-options/options)
厨房场景 PLY 文件(https://wlt-ai-cdn.art/example_exports/rustic_kitchen_with_natural_light/rustic_kitchen_with_natural_light_2m.ply)
厨房场景 GLB 碰撞网格(https://wlt-ai-cdn.art/example_exports/rustic_kitchen_with_natural_light/rustic_kitchen_with_natural_light_collider.glb)
借助 NVIDIA Isaac Sim 与 World Labs Marble 加速机器人仿真环境构建(https://developer.nvidia.cn/blog/simulate-robotic-environments-faster-with-nvidia-isaac-sim-and-world-labs-marble/)
