Робототехника на пороге своего «эншпиля»
Ключевые тезисы:
- Робототехника повторяет путь успеха больших языковых моделей (LLM) через «великую параллель».
- Новая парадигма основана на мировых моделях действий (WM), а не на моделях «язык-действие» (VLA).
- Ключ к прорыву — стратегия данных: переход от телетуправления к сенсоризированным человеческим данным и эгоцентрическим видео.
- Будущее — за массово-параллельным обучением с подкреплением в симуляциях и нейронных симуляторах.
- Ожидается прохождение физического теста Тьюринга через 2-3 года, создание физического API и эра автономных физических исследований к 2040 году.
Великая параллель: копируем успех LLM
Вместо симуляции текста (как в LLM) робототехника переходит к симуляции следующего состояния физического мира. Процесс аналогичен:
- Предобучение (как GPT-3): Модель учится предсказывать следующее состояние мира (пиксели, физику) из данных.
- Настройка действий: Из всех возможных будущих состояний выбирается тонкий срез, важный для реальных роботов.
- Обучение с подкреплением (RL): Завершает цикл, доводя модель до сверхчеловеческих скоростей.
Идея: «Если не можешь победить их, присоединяйся к ним». Робототехника перенимает проверенный подход LLM.
Эволюция моделей: от VLA к мировым моделям действий
Парадигма VLA (Vision-Language-Action)
- Доминировала последние 3 года (например, RT-2).
- Структура: Язык — «гражданин первого класса», затем зрение и действия.
- Проблема: Модели хорошо кодируют знания (существительные), но слабы в физике и динамике (глаголах). Они тяжелые и неэффективные.
- Пример: Задача «Подвинь банку колы к портрету Тейлор Свифт» — модель справляется, но это не то глубокое предобучение, которое нужно.
Новая парадигма: Мировые модели действий (World Model Actions — WM)
- Основа — видеомодели мира (например, Sora, Veo), которые учатся предсказывать следующий кадр.
- Физический шлак: Модели самостоятельно осваивают гравитацию, упругость, освещение, отражение через предсказание пикселей.
- Dream Zero: Пример WM-модели. Она:
- Совместно декодирует следующие состояния мира и следующие действия.
- Способна решать задачи с нуля, не виданные во время обучения.
- Позволяет визуализировать «сны» робота (видеопрогнозы). Если прогноз верен — действие успешно.
Зрение и действия теперь равноправные «граждане первого класса» в модели.
Стратегия данных: как масштабировать обучение
1. Телетуправление (уходящая парадигма)
- Ограничение: Фундаментальный предел — ~24 часа на робота в сутки (реально 3 часа).
- Проблемы: Дорого, медленно, требует сложных установок, низкий процент успеха.
2. Носимые устройства (сенсоризированные человеческие данные)
- Идея: Надеть актуатор робота на руку человека (например, экзоскелет DexUMI).
- Преимущества:
- Прямой сбор данных человеком (самый быстрый способ).
- Разрушает «проклятие 24 часов».
- Позволяет достичь сотен тысяч часов данных.
- Пример: Модель, обученная только на данных с DexUMI (0 часов телетуправления), успешно выполняет задачи автономно.
3. 
Эгоцентрические видео (будущее)
- Цель: Аналог FSD (Full Self-Driving) для роботов — сбор данных растворяется в фоне жизни.
- Метод: Запись видео от первого лица с детальными аннотациями (положение рук, языковая разметка).
- Пример — EgoScale:
- Предобучение: 21 000 часов эгоцентрических видео людей (без роботов!).
- Настройка действий: Всего 50 часов данных о движениях рук + 4 часа телетуправления (<1% от общего датасета).
- Результат: Модель обобщает знания для сложных задач (сортировка карт, манипуляции со шприцем, складывание рубашек).
- Открытие: Обнаружен нейронный закон масштабирования для ловкости — чёткая логарифмически-линейная зависимость между часами предобучения и качеством модели.
Прогноз по данным:
- Доля телетуправления упадёт почти до нуля.
- Появится ансамбль носимых устройств под разные задачи.
- Основным рационом станут эгоцентрические видео (миллионы часов).
Масштабирование сред: от реальности к симуляции и обратно
Для эффективного RL нужны миллионы сред. Решение — перенос физического мира в цифровой.
- Reality → Simulation: Сканирование объектов с iPhone, создание их 3D-моделей и «цифровых кузенов» в классическом физическом симуляторе.
- DreamSim: Нейронный симулятор на основе видеомодели мира.
- Вход: непрерывные сигналы действий.
- Выход: следующие RGB-кадры и состояние сенсоров.
- Физика изучается через данные, без уравнений и графических движков.
Новая парадигма постобучения: Массово-параллельный RL на станциях с реальными роботами, GPU для сканирования миров и вычислителях для мировых моделей. Вычисления = Среда = Данные.
Дорожная карта и прогнозы
Осталось разблокировать три «технологических достижения»:
Физический тест Тьюринга (2-3 года): На широком спектре задач нельзя будет отличить работу робота от работы человека (на единицу энергии — единица труда).- Физический API: Парк роботов настраивается как ПО через API/командную строку. Откроет путь к:
- «Заводам с выключенным светом» (принтеры атомов).
- Автоматизированным лабораториям для ускорения открытий в науке.
- Физические автоисследования: Роботы проектируют, улучшают и собирают следующие версии себя, выходя за пределы человеческих возможностей.
Временная шкала:
- Сообществу ИИ потребовалось 14 лет (2012, AlexNet → 2026, автономные агенты).
- Следующие 14 лет (до 2040) — экспоненциальный рост.
- Прогноз с 95% уверенностью: К 2040 году будет пройден весь «эншпиль» робототехники.
Выводы
- Робототехника переживает революцию, аналогичную революции LLM, через мировые модели и сенсоризированные данные.
- Ключевые драйверы: WM-модели, эгоцентрические видео и нейронные симуляции.
- Ближайшая веха (2-3 года) — физический тест Тьюринга.
- К 2040 году ожидается создание полноценной экосистемы автономных роботов, способных к саморазвитию.
- «Если вы верите в робототехнику, робототехника поверит в вас» — наше поколение рождено, чтобы решить эту задачу.