Dream2Flow - новый подход в управлении роботами

Источники представляют Dream2Flow — инновационную систему, которая адаптирует возможности современных моделей генерации видео для управления роботами в открытом мире. Вместо прямого копирования движений человека авторы предлагают использовать 3D-поток объектов в качестве промежуточного звена, преобразуя визуальный ряд в четкие траектории. Этот метод позволяет роботам успешно манипулировать предметами различных типов, включая деформируемые и сыпучие тела, без необходимости в предварительных демонстрациях. Благодаря разделению процесса изменения состояния объекта и работы приводов, технология преодолевает разрыв в воплощении, делая обучение универсальным для разных конструкций роботов. Результаты испытаний подтверждают, что такая архитектура эффективно трансформирует воображаемые сценарии в реальные исполнимые команды.