Google Genie 4: аудио, реалистичные миры и управление в реальном времени

Главный смысл: Google DeepMind представила Genie 4 — исследовательскую версию модели, которая создаёт интерактивные миры со звуком и позволяет менять происходящее текстовыми командами прямо во время симуляции. Это шаг от генерации готовых роликов к среде, в которой пользователь может действовать и сразу видеть результат, хотя надёжность таких симуляций ещё ограничена.

• Звук и управление: по сообщению TechCrunch, модель генерирует музыку, фоновые шумы и диалоги, связанные с происходящим в сцене. На ходу можно менять погоду и ракурс камеры, добавлять персонажей и предметы — без запуска генерации заново.
• Устойчивость сцены: заявлено сохранение согласованного мира до двух минут. Разработчики также сообщают об улучшении физики и поведения персонажей, но признают: при длительной симуляции объекты и детали могут меняться непредсказуемо, точность звука и читаемость надписей пока не обеспечены.
• Связка с Gemini: в исследовательском эксперименте по робототехнике Gemini 4 Argon разбивала задачи на шаги, а Genie 4 моделировала их в реальном времени. Это возможный подход к предварительной проверке действий робота, а не доказательство того, что результаты симуляции уже можно безопасно переносить в реальный мир.
• Доступ и применение: пока модель доступна доверенным тестировщикам. В ближайшие недели Google планирует открыть её подписчикам Google AI Ultra через Project Genie и партнёрам раннего доступа Gemini API и Google AI Studio. Среди сценариев, которые изучают тестировщики, — быстрые наброски сцен и раскадровки для кино.

Что дальше: стоит следить за независимыми проверками устойчивости сцен и соответствия звука действиям, а не только за качеством демонстраций. Превращение интерактивных набросков в готовые материалы с помощью Gemini Omni пока остаётся перспективой: команда не определилась с окончательным устройством продукта.