Nvidia представила обновление Isaac Lab 3.0 — набора инструментов для обучения роботов в симуляциях. В новой версии расширили возможности физического моделирования, добавили...

Nvidia представила обновление Isaac Lab 3.0 — набора инструментов для обучения роботов в симуляциях. В новой версии расширили возможности физического моделирования, добавили варианты рендеринга и упростили перенос готовых моделей на реальное оборудование.

Одним из главных обновлений стала модульная архитектура. Физический движок, рендеринг изображений для виртуальных камер и средства визуализации теперь можно выбирать независимо. Кроме того, многие сценарии работают без установки и запуска полноценного Isaac Sim. Достаточно движка Newton или отдельных библиотек OVPhysX и OVRTX.

Сам движок Newton объединяет несколько методов расчёта физики. MJWarp моделирует роботов с жёсткими звеньями и суставами, VBD — ткани, мягкие тела и кабели, MPM — жидкости и сыпучие материалы. Кроме того, есть экспериментальный Kamino для работы с механизмами с замкнутыми кинематическими цепями.

Для виртуальных камер теперь доступны системы быстрого рендеринга Newton Warp и RTX‑рендеринга OVRTX. Также предусмотрена система Cosmos 3-Nano Transfer, которая превращает карты глубины в фотореалистичные видео по текстовым подсказкам. С поддержкой 3D Gaussian rendering также появилась возможность использовать в симуляторе реконструкции реальных сцен.

За перенос обученных моделей на реальное оборудование отвечает модуль LEAPP. Он экспортирует модель вместе с обработкой входных данных. На выходе получается пакет с файлами модели в формате ONNX и метаданные.

Стабильная версия Isaac Lab 3.0 доступна на GitHub, а на сайте Nvidia опубликовали интерактивные демонстрации. В официальной документации есть руководство по миграции на новую версию.