Байду открыла код ERNIE 5.5 Flash Base — SOTA в бенчмарках среди моделей своего размера
Главный смысл: Baidu сообщила об открытии базовой модели ERNIE 5.5 Flash Base: разработчики делают ставку на обработку длинных документов и снижение вычислительных затрат. Это основа для дообучения и корпоративных решений, а не готовый чат-бот; заявленное превосходство в тестах пока следует рассматривать как утверждение компании.
-
Масштаб и контекст. Модель представлена 5 ноября. Архитектура MoE содержит 280 млрд параметров, из которых на каждый токен активируются 14 млрд. Для предобучения использовали 33,5 трлн токенов с контекстом до 128 тысяч; на этапах дообучения и выполнения запросов заявлена поддержка контекста до миллиона токенов.
-
Экономия ресурсов. Baidu объединила несколько механизмов внимания: одни слои сжимают историю, другие обеспечивают более точный доступ к её фрагментам. По данным компании, низкоранговый механизм управления вниманием сокращает число параметров соответствующей проекции на 75%. Это не означает такого же сокращения общей памяти или стоимости работы модели.
-
Обучение и генерация. Несколько независимых маршрутизаторов выбирают экспертов без увеличения их активного числа. Метод ECHO повторно использует последний слой модели для обучения предсказанию следующих токенов; этот же слой может готовить черновики при спекулятивном декодировании. Компания связывает подход с улучшением рассуждений и программирования.
-
Результаты — со слов автора. Заявлено превосходство над DeepSeek-V4-Flash-Base, Hy3-preview-Base и MiMo-V2.5-Base в ряде тестов. Однако конкретных таблиц результатов в статье нет. QbitAI прямо указывает, что материал предоставлен Baidu и опубликован с её разрешения: это не независимая проверка.
Что дальше: Практическую ценность покажут независимые замеры скорости, потребления памяти и качества работы с длинным контекстом. Для корпоративного внедрения также предстоит проверить лицензию и требования к оборудованию: само открытие базовой модели ещё не доказывает, что её настройка и эксплуатация будут дешевле альтернатив.