TPU от Google запускает Kimi на 57% быстрее GPU Nvidia, используя фреймворк DeepSeek

Главный смысл: Стартап Inferact сообщил, что на 16 ускорителях Google TPU v7 Ironwood модель Kimi K3 выдала 709 токенов в секунду — на 57% больше, чем на 16 Nvidia GB200 в сопоставимом тесте. Это пример того, что в инференсе итог может определять специализированное ПО и работа с памятью, а не только характеристики чипа.

• Результат сравнения. По данным Inferact, обе конфигурации использовали Kimi K3 и движок vLLM: TPU показал 709 токенов в секунду против 452 у GB200. Без спекулятивного декодирования при размере пакета 1 — 249 против 127, при размере пакета 8 — 865 против 636.

• Причина ускорения. Команда объединила расчёты 92 слоёв MoE-модели в единый низкоуровневый модуль megakernel, написанный на Pallas. По её объяснению, это позволяет загружать веса следующего слоя в локальную память параллельно с расчётом текущего и сокращает простои при передаче данных. Сборка, как сообщает Inferact, уменьшилась с более чем 30 минут в XLA до менее 90 секунд.

• Метод DeepSeek. В тест включили DSpark — схему, где меньшая модель предлагает несколько токенов, а основная проверяет их пакетно. Средняя принятая длина составила 6 токенов, один шаг декодирования занимал около 8,5 миллисекунды. Авторы также заявляют, что оценки Kimi K3 на GPQA-Diamond и GSM8K — 94,4% и 97,2% — совпали с версией на GPU.

• Команда и деньги. Inferact основана выходцами из команды vLLM и сообщила о посевном раунде 150 млн долларов при оценке 800 млн долларов; среди лидирующих инвесторов названы a16z и Lightspeed. Разработка велась с Google Cloud, исходный код TPU megakernels опубликован.

Что дальше: Цифры относятся к одной модели, 16-чиповой конфигурации и индивидуально написанному модулю; для других архитектур потребуется адаптация. Независимых замеров стоимости, энергопотребления и устойчивости под реальной нагрузкой статья не приводит. Важно следить за сторонними тестами и за тем, войдут ли эти решения в основной vLLM.