Isaac Sim 与 Isaac Lab:NVIDIA 机器人模拟器技术栈详解(转载)

Isaac Sim 与 Isaac Lab:NVIDIA 机器人模拟器技术栈详解

来源地址:https://www.roboticscenter.ai/rl-environments/compare/isaac-sim-vs-isaac-lab

2026 年的 Isaac Sim 与 Isaac Lab:你真正需要哪个 NVIDIA 层?它们如何共享物理/渲染?何时选择哪个?请联系 RCSV 获取实际搭建方案。

NVIDIA 的机器人模拟器实际上包含两个经常被混淆的产品。Isaac Sim 是一个基于 Omniverse 的完整机器人模拟器,具备逼真的 RTX 渲染、USD 场景合成和 PhysX 物理引擎。Isaac Lab 是一个轻量级的强化学习框架,它构建于 Isaac Sim 之上,取代了之前的 Isaac Gym 和 Orbit 项目,并且是大多数 2026 年人形机器人运动论文实际使用的训练框架。本指​​南将解释它们之间的真正区别,说明您的项目需要使用哪个版本,以及它们底层架构的共享方式。

太长不看

Isaac Sim是一个完整的机器人模拟器:逼真的渲染、USD 场景编辑器、传感器模拟、ROS 桥接器、通过 Omniverse Replicator 提供的合成数据。
Isaac Lab是一个轻量级的 Python RL 层:管理任务、4096+ 并行环境、RSL-RL、RL-Games、SKRL、Stable-Baselines3 的包装器。
没有 Isaac Sim,就无法运行 Isaac Lab。但对于感知、远程操作或数字孪生工作,您可以单独运行 Isaac Sim。
Isaac Lab 取代了 Isaac Gym(已弃用)和 Orbit(已合并到 Isaac Lab 中)。如果教程中提到其中任何一个,请优先选择 Isaac Lab 的对应版本。
如果您正在使用 PPO 算法和大量环境变量训练人形机器人、四足机器人或机械臂的策略,请从 Isaac Lab 开始。如果您正在构建用于检测的数字孪生模型或生成合成感知数据,则仅使用 Isaac Sim 就足够了。

为什么命名会令人困惑

过去五年,NVIDIA 对其机器人仿真产品进行了多次迭代,每次迭代的产品名称也随之改变。最初的 Isaac Gym 是一款独立的 GPU 加速物理引擎,于 2021 年发布,其优化目标是提升强化学习 (RL) 的吞吐量,并配备了一个极简的渲染器。与此同时,Isaac Sim 则从 Omniverse 平台发展而来,是一款功能齐全的机器人模拟器,优先考虑照片级真实感渲染和 USD 资源工作流程。这两款产品并存至 2023 年,当时 NVIDIA 发布了 Orbit——一个基于 Isaac Sim 构建的强化学习框架,旨在取代 Isaac Gym。2024 年,Orbit 更名为 Isaac Lab 并进行了整合,Isaac Gym 则正式停止开发。如今,标准的架构是底层使用 Isaac Sim,顶层使用 Isaac Lab。

如果您找到引用 Isaac Gym 的教程,请将其视为旧版本。如果您找到引用 Orbit 的教程,代码通常仍然有效,但导入语句和任务名称大多已移至isaaclab.*模块中。截至当前 2.x 版本,IsaacLab GitHub 代码库才是权威来源。

艾萨克·西姆的真实身份是什么

Isaac Sim 是一款基于 Omniverse 平台的机器人仿真应用程序。其底层结合了 NVIDIA 的 PhysX 物理引擎、RTX 路径追踪渲染以及 USD(通用场景描述)场景格式。场景以分层 USD 文档的形式构成,这意味着机器人、环境和传感器资源可以像 Photoshop 分层文档一样进行创建、版本控制和跨项目复用。Isaac Sim 还附带用于激光雷达和相机传感器仿真的扩展、关节体逆运动学求解器、ROS 和 ROS 2 桥接器以及用于脚本化合成数据生成的 Omniverse Replicator。

您可以通过 Omniverse Launcher 或通过无头 Python 入口点启动 Isaac Sim。启动后,您有两种主要使用模式:交互式模式,您可以加载 USD 场景并像在 Blender 或 Maya 中一样点击操作;以及无头 Python 模式,您可以通过 Python API 驱动模拟器,进行脚本模拟、数据生成或强化学习训练。

Isaac Lab 究竟是什么

Isaac Lab 是一个基于 Isaac Sim 的 Python 库,它为大规模强化学习提供了必要的基础设施。具体来说,它提供了三项功能。首先,它提供了一个任务 API:一对基类(托管类和直接类),用于标准化强化学习问题的观测、奖励、重置和终止的定义方式。其次,它提供了一个环境并行层,利用 PhysX GPU 模拟在单个 GPU 上同时运行数千个独立的世界。第三,它提供了强化学习库的封装器,使用户无需编写自定义适配器即可将生成的向量化环境传递给 RSL-RL、RL-Games、SKRL 或 Stable-Baselines3。

Isaac Lab 开箱即用,包含 Unitree H1、G1、A1、Go1、Go2、Anymal、Franka、UR10、Cartpole 以及不断增长的操作基准测试库的参考任务。如果您正在复现 2024 年或 2025 年发表的人形机器人运动结果,那么作者的训练代码很可能是 Isaac Lab 的一个分支。

他们如何共用管道

可以把这个堆栈想象成一个三明治。最底层是 PhysX GPU 模拟,它负责实际的物理集成。在其上方是 Isaac Sim,它拥有 USD 舞台、渲染器、传感器和扩展框架。再往上是 Isaac Lab,它提供面向强化学习的 API 和并行模式。Isaac Lab 本身并不包含物理或渲染功能——它调用 Isaac Sim,而 Isaac Sim 又调用 PhysX 和 RTX。这就是为什么它们的硬件要求完全相同:如果你的 GPU 和驱动程序能够运行 Isaac Sim,那么它们也能运行 Isaac Lab。因此,Isaac Lab 的安装只需 Isaac Sim 加上一个可通过 pip 安装的 Python 包,该包位于 IsaacLab 代码库中。

逐项比较

file

何时使用 Isaac Sim(无需 Isaac Lab)

当强化学习并非重点,而您需要完整的仿真器功能时,可以单独使用 Isaac Sim。典型应用包括:构建工业单元的数字孪生模型用于操作员培训;通过 Omniverse Replicator 为感知模型生成合成相机数据;将 ROS 2 导航栈连接到模拟机器人并在逼真的室内场景中运行 SLAM 实验;或者在投入硬件之前,基于完整的传感器仿真对新的末端执行器进行原型设计。在这些工作流程中,Isaac Lab 中的强化学习框架将成为累赘,而 Isaac Sim 的扩展框架则可让您直接访问每个子系统。

何时使用 Isaac Lab

当您的目标是训练策略,且部署对象是人形机器人、四足机器人或具有连续控制功能的机械臂时,Isaac Lab 是您的理想之选。具体示例包括:适用于 Unitree、Booster、Agility Digit 或 Boston Dynamics 规范兼容模型的运动策略;需要大规模批量 PPO 的全身控制策略;以及需要逼真视觉观测但需要在数小时内而非数天内训练数千个并行环境的操控策略。Isaac Lab 的任务 API 简化了定义这些问题的大量样板代码,并且集成了强化学习库,这意味着您可以在同一任务上尝试 RSL-RL、RL-Games 和 SKRL,而无需重写环境循环。

硬件要求

这两款产品都需要NVIDIA RTX GPU。Ampere架构(RTX 30系列、A系列)或更新的显卡是基本要求;老款显卡虽然理论上可以运行,但很快就会出现驱动或扩展兼容性问题。16GB系统内存是比较合理的最低配置,对于需要将数千个USD阶段保存在内存中的大型强化学习(RL)运行,建议使用32GB内存。50GB硬盘空间足以满足全新安装的需求;如果已经有了检查点、Replicator数据集和一些任务变体,则200GB硬盘空间更为实际。许多团队在生产级人形机器人训练中使用RTX 6000 Ada、L40S或H100级别的GPU。

实际安装

截至 2026 年 4 月,标准流程是通过 pip 安装isaacsim包(Omniverse Launcher 仍然可用,但现在不太重要),然后克隆 Isaac Lab 代码库并运行命令./isaaclab.sh --install将其 Python 依赖项安装到同一环境中。第一个冒烟测试是运行一个捆绑的训练任务,例如 <code><train_task></code> ./isaaclab.sh -p scripts/reinforcement_learning/rsl_rl/train.py --task Isaac-Velocity-Flat-Unitree-G1-v0 --headless。如果该任务在您的 GPU 上收敛且无错误,则说明堆栈配置正确。

常见陷阱

在我们的旧金山实验室,团队上手使用时会反复出现四种故障模式。首先是驱动程序兼容性问题:Isaac Sim 的发布基于特定的 CUDA 和驱动程序最低要求,如果您的工作站驱动程序过旧或过新,您会看到不明确的 USD 插件错误,而不是清晰的版本错误提示。其次是 URDF 导入问题:为 MuJoCo 或 Gazebo 编写的 URDF 文件通常包含 PhysX 处理方式不同的惯性、碰撞网格或关节限制;预计需要进行短暂的移植工作。第三是确定性问题:Isaac Lab 在固定种子和环境数量下是确定性的,但在不同的环境数量下则不然,这会让期望结果可复现的评审人员感到失望。第四是传感器开销问题:您添加的每个相机传感器都会产生一次 RTX 渲染调用;忽略此问题会导致训练吞吐量下降 10 倍。

可考虑的其他方案

如果照片级真实感和NVIDIA专属集成并非必要,MuJoCo是目前学术界的主流选择,其JAX原生MJX移植版大大缩小了GPU吞吐量的差距。Robosuite是基于MuJoCo构建的操作基准测试标准,并广泛应用于VLA评估。Genesis是一款较新的(预计2024年底发布)多物理场模拟器,旨在统一刚性、柔性和流体模拟;虽然目前尚处于早期阶段,但值得关注。对于合成视觉数据,虚幻引擎加上微软AirSim仍然是Omniverse Replicator的有力竞争对手。

判决

Isaac Sim 和 Isaac Lab 是互补关系,而非竞争关系。真正的问题在于你是否需要强化学习层:如果你正在训练策略,那么几乎肯定需要,并且你会在 Isaac Sim 之上运行 Isaac Lab。如果你正在构建数字孪生、生成合成数据或进行 ROS 2 集成工作,那么 Isaac Sim 本身就足够了。无论如何,都要提前做好硬件投资和学习曲线的预算——这两项投入都是实实在在的,但为了获得逼真的效果和高吞吐量,绝对物有所值。

如果您需要一套支持 NVIDIA 的机器人学习堆栈,其中包含校准过的 Isaac Lab 任务、已识别的动力学模型和 VLA 评估框架,RCSV服务团队可以为您构建并交付。我们还在Isaac Lab 入门指南中分享了我们在真实人形机器人硬件上进行训练的经验。

模拟可以达到 80% 的完成度——最后一公里需要真正的机器人。

在真实硬件上进行评估 → 获取硬件 → 收集真实世界数据 →