Nvidia представила Nemotron 3.5 Transcribe — ИИ-модель с открытыми весами для распознавания речи, перевода и анализа аудио. Она поддерживает русский язык и работает с записями продолжительностью до часа. Вместе с моделью компания выпустила обучающий набор данных и инструменты для адаптации системы к профильным задачам.
Nemotron 3.5 Transcribe распознаёт речь на 40 языках, поддерживает перевод между английским и ещё 31 языком, а также определяет говорящих на 13 языках. Модель может обрабатывать разговоры с участием до восьми человек, включая фрагменты, в которых собеседники говорят одновременно.
Управлять обработкой можно с помощью текстовых запросов. Пользователь может попросить подготовить расшифровку с обозначением участников, перевести разговор, перечислить принятые решения или ответить на вопросы по содержанию записи. Для повышения точности модели можно передать специализированную лексику — например, названия лекарств.
Модель содержит 30 млрд параметров, но при обработке каждого фрагмента задействует около 4 млрд. Это позволяет запускать её на одном совместимом ускорителе Nvidia; среди поддерживаемых систем упоминается компактная DGX Spark. На RTX PRO 6000 Blackwell Server Edition при использовании формата NVFP4 обработка 100 часов аудио занимает менее трёх минут.
В рейтинге Open ASR Leaderboard на Hugging Face Nemotron 3.5 Transcribe вышла на первое место среди моделей с открытыми весами: средняя доля ошибок распознавания слов составила 5,33 %. В независимом тестировании Artificial Analysis показатель достиг 2,81 %. Для сравнения, у Mistral Voxtral Small он составляет 2,77 %, хотя число активных параметров у этой модели примерно в шесть раз больше.
Высокие результаты новинка показала и в задачах определения говорящих. В тесте VoiceArena, где сравнивались 14 систем на записях с пересекающейся речью, она заняла первое место. Доля пропущенных слов составила 8,32 % при медианном результате участников около 31 %. В тесте David AI на определение говорящих на 21 языке модель также стала лидером, немного опередив специализированную Nemotron 3 Diarization.
Одновременно Nvidia выпустила Granary v2 — набор данных, содержащий около 844 тысяч часов аудио на 48 языках. Предыдущая версия включала примерно 643 тысячи часов на 25 языках. Для записей предусмотрены разные варианты расшифровки, в том числе дословный, с сохранением слов-паразитов и с записью чисел словами.
В релиз вошли и инструменты подготовки данных для дообучения. Их эффективность компания продемонстрировала на медицинских записях с участием индийских врачей и студентов. После адаптации частота ошибок снизилась с 30,8 до 11,8 %. При проверке на голосах, которых модель ранее не слышала, показатель сократился с 22,44 до 12,17 %.
Nemotron 3.5 Transcribe и Granary v2 доступны на Hugging Face. Nvidia также опубликовала демонстрационную версию и руководство по дообучению, включая расширение для передачи этой задачи ИИ-ассистенту для программирования.
Возможности системы зависят от языка. Модель рассчитана на готовые записи, а не на потоковое аудио. Nvidia рекомендует дополнительно проверять распознанные имена и правильность определения моментов смены говорящих.
Nemotron 3.5 Transcribe распознаёт речь на 40 языках, поддерживает перевод между английским и ещё 31 языком, а также определяет говорящих на 13 языках. Модель может обрабатывать разговоры с участием до восьми человек, включая фрагменты, в которых собеседники говорят одновременно.
Управлять обработкой можно с помощью текстовых запросов. Пользователь может попросить подготовить расшифровку с обозначением участников, перевести разговор, перечислить принятые решения или ответить на вопросы по содержанию записи. Для повышения точности модели можно передать специализированную лексику — например, названия лекарств.
Модель содержит 30 млрд параметров, но при обработке каждого фрагмента задействует около 4 млрд. Это позволяет запускать её на одном совместимом ускорителе Nvidia; среди поддерживаемых систем упоминается компактная DGX Spark. На RTX PRO 6000 Blackwell Server Edition при использовании формата NVFP4 обработка 100 часов аудио занимает менее трёх минут.
В рейтинге Open ASR Leaderboard на Hugging Face Nemotron 3.5 Transcribe вышла на первое место среди моделей с открытыми весами: средняя доля ошибок распознавания слов составила 5,33 %. В независимом тестировании Artificial Analysis показатель достиг 2,81 %. Для сравнения, у Mistral Voxtral Small он составляет 2,77 %, хотя число активных параметров у этой модели примерно в шесть раз больше.
Высокие результаты новинка показала и в задачах определения говорящих. В тесте VoiceArena, где сравнивались 14 систем на записях с пересекающейся речью, она заняла первое место. Доля пропущенных слов составила 8,32 % при медианном результате участников около 31 %. В тесте David AI на определение говорящих на 21 языке модель также стала лидером, немного опередив специализированную Nemotron 3 Diarization.
Одновременно Nvidia выпустила Granary v2 — набор данных, содержащий около 844 тысяч часов аудио на 48 языках. Предыдущая версия включала примерно 643 тысячи часов на 25 языках. Для записей предусмотрены разные варианты расшифровки, в том числе дословный, с сохранением слов-паразитов и с записью чисел словами.
В релиз вошли и инструменты подготовки данных для дообучения. Их эффективность компания продемонстрировала на медицинских записях с участием индийских врачей и студентов. После адаптации частота ошибок снизилась с 30,8 до 11,8 %. При проверке на голосах, которых модель ранее не слышала, показатель сократился с 22,44 до 12,17 %.
Nemotron 3.5 Transcribe и Granary v2 доступны на Hugging Face. Nvidia также опубликовала демонстрационную версию и руководство по дообучению, включая расширение для передачи этой задачи ИИ-ассистенту для программирования.
Возможности системы зависят от языка. Модель рассчитана на готовые записи, а не на потоковое аудио. Nvidia рекомендует дополнительно проверять распознанные имена и правильность определения моментов смены говорящих.
