Black Forest Labs выпускает FLUX 3 Action — открытую ИИ-модель для робототехники

Главный смысл: Black Forest Labs представила FLUX 3 Action — модель для управления роботами. По видео с нескольких камер она предсказывает следующее действие и то, как изменится обстановка после него. Разработчик делает ставку на сочетание качества и скорости: роботу важно не только выбрать действие, но и успеть выполнить его вовремя.

• Как устроена модель. FLUX 3 Action основана на мультимодальной FLUX 3, обученной преимущественно на видео, а также на изображениях и аудио. Её задача — одновременно прогнозировать действия робота и изменения в окружающей среде.
• Размер и результат. Модель содержит 7 млрд параметров. По заявлению Black Forest Labs, она заняла первое место среди открытых моделей по доле успешных выполнений в тесте RoboLab-120, имея менее половины параметров предыдущего лидера. Абсолютную долю успеха заметка не приводит.
• Скорость. Компания заявляет ускорение до 3,95 раза по сравнению с прежней лучшей открытой моделью. «До» здесь существенно: это не означает такого же выигрыша на каждом устройстве и в каждой задаче. Black Forest Labs считает скорость особенно важной для запуска непосредственно на роботах.
• Доступность и планы. Веса модели опубликованы на Hugging Face. Разработчик также рассматривает игры как площадку для проверки навигации, а в дальнейшем — применение подобных систем в агентах, работающих за компьютером. О готовом продукте для этих задач не сообщается.

Что дальше: За заявленными результатами нужны независимое воспроизведение теста, замеры задержки на разном оборудовании и испытания на физических роботах вне набора RoboLab-120. Из статьи пока нельзя заключить, насколько надёжно модель действует в непредвиденной обстановке или справляется с задачами, где ошибка опасна. Применение в цифровых агентах остаётся перспективой, а не подтверждённым результатом.