Google присоединилась к Amazon в атаке на доминирование Nvidia среди ИИ-разработчиков приложений
Главный смысл: Google открыл исходный код TorchTPU — версии фреймворка PyTorch для собственных чипов TPU, а днём ранее Amazon выпустил аналогичный TorchNeuron для чипов Trainium. Оба облачных гиганта целенаправленно бьют по главной опоре Nvidia: привычке разработчиков по умолчанию писать ИИ-приложения под её GPU.
Перенос без переписывания кода. TorchTPU, по анонсу Google от 20 октября, позволяет запускать существующие PyTorch-приложения на чипах TPU и в Google Cloud после изменения одной строчки конфигурации — сам код переписывать не нужно.
Amazon зашёл дальше. Накануне компания выпустила TorchNeuron для переноса приложений на собственные чипы Trainium и в AWS, а ещё передаёт в основной проект PyTorch код, который отвязывает функции фреймворка от чипов Nvidia — чтобы он по умолчанию работал на любом железе.
Google делает ставку на экосистему. По заявлению компании, она работала напрямую с Meta, Hugging Face, Inferact (разработчик vLLM) и RadixArk (разработчик SGLang), чтобы библиотеки TorchTPU совместимо работали с популярными инструментами. Запущен также набор TPU agent suite для переноса приложений и исправления ошибок, а мобильный инструмент LiteRT обновлён под связку с PyTorch.
Почему это важно. По приводимым в статье оценкам, на PyTorch построено около 85% ИИ-приложений. Фреймворк создала Meta в 2016 году, в 2022-м передала его в некоммерческий Linux Foundation.
Что дальше: Массового ухода с GPU Nvidia само по себе упрощение миграции не даст — «это не значит, что разработчики автоматически бросят железо Nvidia», признаёт автор статьи. Не подтверждены и практические результаты: в публикациях нет цифр по числу клиентов, реально переведших нагрузки на TPU или Trainium. Следить стоит за двумя вещами: примет ли сообщество PyTorch код Amazon по отвязке фреймворка от чипов Nvidia — тогда нейтральность к железу станет нормой на уровне самого инструментария, — и ответит ли Nvidia снижением цен или своими сервисами.