Ноутбук запустил GLM на 700 млрд параметров без GPU — SSD вместо видеопамяти покоряет GitHub
Главный смысл: QbitAI сообщает об открытом движке Colibri, который позволяет запускать огромные языковые модели на компьютерах с небольшой оперативной памятью, подгружая нужные части с SSD. Это снижает требования к оборудованию, но возможность запустить модель ещё не означает комфортную скорость работы.
-
Как устроено: Colibri использует особенности моделей со «смесью экспертов»: при генерации каждого токена задействуется лишь часть параметров. Постоянно нужные компоненты остаются в оперативной памяти, а выбранные эксперты подгружаются с накопителя. Часто используемые блоки кешируются; предусмотрена предварительная загрузка экспертов следующего слоя. SSD здесь не становится настоящей видеопамятью — это дополнительный уровень хранения весов.
-
Память и диск: по данным статьи, GLM-5.2 с 744 млрд параметров после четырёхбитного квантования занимает около 372 ГБ на диске. Для запуска указаны минимум 16 ГБ оперативной памяти и рекомендованные примерно 24 ГБ; видеокарта необязательна. Заявлена также поддержка Kimi K3 с 2,8 трлн параметров: около 1,6 ТБ на накопителе и от 32 ГБ оперативной памяти.
-
Цена экономии — скорость: на исходной машине разработчика с 12-ядерным процессором и 25 ГБ памяти при холодном кеше статья приводит лишь 0,05–0,1 токена в секунду. Для компьютера со 128 ГБ памяти указаны около 1,8 токена в секунду, а для конфигурации с шестью RTX 5090 — 5,8–6,8. Это показатели, приведённые публикацией, а не независимая проверка.
-
Доступность: движок написан на C; сообщается о готовых сборках для Windows, Linux и macOS и поддержке девяти семейств моделей. Веб-панель показывает скорость генерации и распределение экспертов между диском, оперативной и видеопамятью.
Что дальше: подход может быть полезен для локальных экспериментов, где важнее доступ к большой модели, чем быстрый ответ. Следить стоит за воспроизводимыми тестами на обычных SSD, скоростью обработки длинных запросов и качеством после квантования. В статье нет достаточных условий измерений для прямого сравнения конфигураций; заявления о поддержке моделей и производительности требуют отдельной проверки.