NVIDIA сделала мощный шаг в сторону Open Source для робототехники, выпустив Cosmos 3. Это не просто генератор видео, а полноценная «модель мира» (World Model), которая понимает законы физики и может планировать действия в реальном пространстве.

Что нового в Cosmos 3

Главное изменение по сравнению с прошлыми итерациями — переход на унифицированную архитектуру Mixture-of-Transformers (MoT). Теперь модель состоит из двух «башен» (towers), работающих в связке:

1. Reasoner tower: Vision-Language модель (VLM), которая интерпретирует видео и текст, понимая взаимодействия объектов и контекст движения.
2. Generator tower: Диффузионная модель, которая генерирует будущие кадры или последовательности действий, опираясь на выводы «башни-рассуждателя».

Такой подход избавляет разработчиков от необходимости связывать несколько разных нейросетей в сложный пайплайн — понимание мира и генерация действий теперь происходят внутри одной системы.

Доступные модели и инструменты

NVIDIA выложила веса и код в открытый доступ:

• Cosmos 3 Nano (16B): Компактная версия, оптимизированная для работы на рабочих станциях (например, RTX 6000) в реальном времени.
• Cosmos 3 Super: Полноразмерная модель для сложных задач моделирования.
• Open Source: На Hugging Face доступны чекпоинты, а на GitHub — скрипты для обучения и датасеты для робототехники и автопилотов.
• NIM Microservices: Готовые контейнеры для быстрого деплоя на GPU NVIDIA.

Что это значит для вайбкодеров

Если раньше создание софта для физических агентов требовало огромных команд для обучения проприетарных моделей, то с Cosmos 3 порог входа резко снижается. Теперь можно брать готовую базу с пониманием физики и дообучать её под конкретные задачи: от складских роботов до систем мониторинга, используя привычный стек и открытые веса.