Новая модель Mistral на 1 трлн параметров нацелена обойти закрытых и открытых конкурентов

Главный смысл: французская Mistral AI выпустила Mistral Large 4 (ML4). Это мультимодальная модель на 1 трлн параметров, которую компания называет альтернативой и закрытым американским моделям, и открытым моделям, которые чаще всего делают в Китае. Для Европы это заявка остаться в гонке передовых лабораторий, а не только перепродавать доступ к чужим моделям.

• Доступ и веса. Внутри компании модель прозвали Le Chonk за её размер. Пока ML4 доступна только через публичный эндпоинт со встроенными ограничениями. Веса Mistral обещает открыть примерно через три недели, когда закончит проверку безопасности. Вице-президент по науке Пьер Сток рассказал TechCrunch, что до этого компания будет работать с доверенными партнёрами и правительствами. Задача, по его словам, в том, чтобы открытую модель использовали для защиты, а не для атак.
• Обучение. ML4 обучали только на собственных мощностях Mistral, примерно на 4 тыс. GPU Nvidia. По словам Стока, это в два-три раза меньше, чем у китайских конкурентов, и намного меньше, чем у разработчиков закрытых моделей. Независимо эти цифры не проверены.
• Специализация. В Mistral считают сильными сторонами модели кибербезопасность, финансы и проектирование чипов. Чипы важны для двух главных инвесторов компании. ASML возглавляла раунд серии C. Samsung в прошлом месяце возглавила раунд серии D, по итогам которого Mistral оценили в 21 млрд евро (около 24,4 млрд долларов).
• Позиционирование. Раньше Mistral начала размещать у себя китайские модели. Тогда компания уверяла, что не превращается просто в провайдера инференса. С ML4 она хочет, чтобы её по-прежнему считали передовой лабораторией.

Что дальше: бенчмарков пока нет. Что ML4 станет лучшей среди открытых моделей и обгонит закрытые в отдельных задачах, пока только надежды компании, а не результаты измерений. Главное, за чем стоит следить: откроют ли веса в обещанные три недели и на каких условиях. Партнёрам и правительствам могут дать ранний доступ, и тогда «открытость» окажется постепенной. Скромные затраты на обучение тоже нужно проверить: если они подтвердятся, это будет сильный аргумент в пользу европейского пути без гигантских кластеров. Ещё один открытый вопрос: насколько крупная открытая модель нужна корпоративным клиентам, которым важен прежде всего контроль за безопасностью.