Nvidia выпустила бесплатную модель на 100 млн параметров, распознающую до восьми говорящих в реальном времени

Главный смысл: Nvidia выпустила Nemotron 3 Diarization — открытую модель примерно на 100 млн параметров для диаризации: она определяет, кто из участников говорит в каждый момент записи или живого разговора. Вместе с распознаванием речи это помогает получать расшифровки встреч и звонков с разделением реплик по спикерам.

• До восьми участников и наложения речи. По данным Nvidia, модель различает до восьми говорящих и отмечает одновременную речь. В связке с системой распознавания речи вроде Parakeet она формирует транскрипт с метками наподобие «speaker_2», но не устанавливает личность человека.

• Весовые коэффициенты доступны бесплатно. Компания открыла веса модели; в статье её размер указан как около 100 млн параметров. Заявлена работа как с записями, так и с живым аудио — для обработки архива звонков и онлайн-протоколирования.

• Результат в бенчмарке. На VoiceArena Diarization Benchmark v1 Nemotron 3 получила ошибку диаризации 14,7% и заняла первое место; следующий результат — 19,3%. Тест учитывает перекрывающуюся речь и неточности на границах смены говорящего.

• Задержка влияет на качество. Аудиобуфер настраивается в диапазоне от 30,4 до 0,32 секунды; короткий буфер обычно снижает точность. При буфере 1,04 секунды модель, по данным Nvidia, в среднем уменьшила ошибку на 41% относительно Streaming Sortformer в восьми тестовых сценариях.

Что дальше: Бенчмарк не гарантирует аналогичный результат на реальных совещаниях. Издание отмечает рост ошибок при большем числе участников, сильном фоновом шуме и реверберации. Важно дождаться независимых проверок на русской речи, оценить задержку в потоковом режиме, требования к вычислительным ресурсам и качество работы в связке с конкретной системой распознавания речи.