Серверу распознавания речи на Whisper нужно немного видеопамяти: large-v3 занимает около 10 ГБ, large-v3-turbo около 6 ГБ, поэтому сама модель помещается на любую профессиональную карту от 16 ГБ. Количество и тип GPU в сервере транскрибации определяет нагрузка: сколько живых звонков идет одновременно в пик и сколько часов записей нужно обработать за час работы.
Ниже собраны опубликованные цифры памяти и скорости для Whisper, Parakeet, Canary и потоковых моделей NVIDIA по состоянию на октябрь 2026 года, точность на украинском и русском и расчет сервера под звонки, совещания и архивы.
Коротко
- OpenAI указывает около 10 ГБ видеопамяти для Whisper large и около 6 ГБ для turbo; у Parakeet TDT 0.6B v3 600 млн параметров, а ASR NIM от NVIDIA требует карту минимум на 16 ГБ.
- На одной A100 в статье Open ASR Leaderboard (декабрь 2025) RTFx составил 145,5 у Whisper large-v3, 749 у Canary-1B v2 и 3 333 у Parakeet TDT 0.6B v3.
- На украинском FLEURS в статье NVIDIA у Whisper large-v3 WER 6,51 %, у Parakeet v3 6,79 %, у Canary 10,50 %; все три модели распознают и русский.
- По данным NVIDIA от 07.10.2026, одна L40S обслуживает до 190 живых англоязычных потоков Parakeet 0.6B CTC с фрагментами по 160 мс; Whisper в NIM работает только офлайн.
- С диаризацией офлайн-скорость на L40S падает с 3 638 до 101,5 RTFx; по нашей оценке, карта на 48 ГБ вмещает распознавание, диаризацию и LLM на 20B.
Сколько видеопамяти нужно Whisper, Parakeet и Canary
У Whisper large-v3 1 550 млн параметров и 99 языков. В large-v3-turbo слоев декодера осталось 4 вместо 32: по словам OpenAI, модель стала заметно быстрее ценой небольшой потери качества, но переводить не умеет. Код и веса Whisper опубликованы под MIT, хотя карточка large-v3 на Hugging Face помечена Apache 2.0.
Parakeet TDT 0.6B v3 (Hugging Face, 14.08.2025) распознает 25 европейских языков, в том числе украинский и русский, сразу с пунктуацией и метками времени для слов. За один проход она берет до 24 минут аудио с полным вниманием на A100 80GB или до 3 часов с локальным. Canary-1B v2 покрывает те же языки и переводит с английского и на английский. Обе распространяются под CC BY 4.0.
| Модель | Параметры | Украинский / русский | Опубликованная память | RTFx на A100 |
|---|---|---|---|---|
| Whisper large-v3 | 1 550 млн | да / да, всего 99 языков | около 10 ГБ (OpenAI); профиль NIM 12,5 ГБ | 145,5 |
| Whisper large-v3-turbo | 809 млн | да / да, без перевода | около 6 ГБ (OpenAI) | в статье нет |
| Parakeet TDT 0.6B v3 | 600 млн | да / да, 25 европейских языков | профиль NIM 14,02 ГБ при пакете 1 024 | 3 333 |
| Canary-1B v2 | 978 млн | да / да, с переводом | не меньше 6 ГБ RAM для загрузки (карточка) | 749 |
| Canary-Qwen 2.5B | 2,5 млрд | нет / нет, только английский | не указано | 418 |
| Nemotron ASR Streaming | 600 млн | английская модель; версия 3.5: да / да | 6 ГБ при пакете 32, 14,6 ГБ при 64 (NIM) | в статье нет |
Источник: карточки моделей на Hugging Face и репозиторий Whisper, прочитано 09.10.2026; профили NIM по матрице поддержки ASR NIM 26.05.0 (обновлена 25.06.2026, прочитано 24.10.2026); RTFx по статье Open ASR Leaderboard (arXiv 2510.06961v3, 10.12.2025), одна A100-SXM4-80GB, пакет 64, где позволяла память; украинский и русский по карточкам моделей и рейтингу Handy, прочитано 13.11.2026.
Оптимизированным движкам памяти нужно меньше. В README faster-whisper (реализация на CTranslate2) 13 минут аудио на large-v2 с beam size 5 на GeForce RTX 3070 Ti 8 ГБ исходная реализация распознала за 2 мин 23 с при 4 708 МБ, faster-whisper в FP16 с batch_size=8 за 17 с при 6 090 МБ, а в INT8 за 16 с при 4 500 МБ. На RTX PRO Blackwell цифры INT8 неприменимы: CTranslate2 4.6.2 от 05.12.2025 отключил INT8 для sm120, поэтому закладывайте float16. Движки сравниваются в статье о faster-whisper, WhisperX и whisper.cpp.
Контейнер ASR NIM требует GPU с compute capability 8.0 или выше и не меньше 16 ГБ памяти. Его профили резервируют память под большие пакеты: 12,5 ГБ для Whisper large-v3, от 13,75 до 14,02 ГБ для Parakeet TDT и до 50,07 ГБ для самого крупного многоязычного профиля Parakeet RNNT, то есть больше, чем есть у L40S. Значит, объем памяти зависит прежде всего от размера пакета и числа загруженных моделей.
Украинский и русский: что показывают измерения
Статья Open ASR Leaderboard измеряет многоязычную точность только на немецком, французском, итальянском, испанском и португальском. Украинский и русский по единой методике сравнивает статья NVIDIA о Parakeet и Canary.
| Модель | WER uk, FLEURS, % | WER ru, FLEURS, % | Лицензия |
|---|---|---|---|
| Whisper large-v3 | 6,51 | 4,17 | MIT |
| Parakeet TDT 0.6B v3 | 6,79 | 5,51 | CC-BY-4.0 |
| SeamlessM4T v2 large | 9,07 | 7,43 | CC-BY-NC-4.0, некоммерческая |
| Canary-1B v2 | 10,50 | 6,90 | CC-BY-4.0 |
Источник: статья NVIDIA arXiv 2509.14128; лицензии по репозиторию OpenAI и карточкам моделей на Hugging Face; прочитано 13.11.2026.
WER показывает долю ошибочно распознанных слов. FLEURS состоит из прочитанных предложений, так что на звонках ошибок будет заметно больше. Другое измерение дает другие цифры: в рейтинге Handy (FLEURS, веса Q8_0) на украинском первой идет Parakeet Ultra от Moondream, дообученная Parakeet v3, с 5,71 %, затем Whisper large-v3 с 6,28 %, а у Parakeet v3 там 6,84 % и у turbo 7,31 %; для русского самый низкий WER там у Whisper large-v3, 4,96 %.
Voxtral Mini 4B Realtime и Qwen3-ASR распознают русский, но не украинский, а Voxtral Small 24B не поддерживает ни один из двух. Измерений на суржике или смешанных украинско-русских записях мы не нашли. О моделях для обоих языков подробнее в статье о локальном распознавании украинского и русского.
Скорость распознавания: что такое RTFx
RTFx показывает, сколько секунд аудио модель распознает за секунду вычислений: при RTFx 100 сто часов записей занимают час работы GPU. Выбор модели меняет эту цифру больше чем на порядок, поэтому сначала выбирают модель, а уже потом карту.
В статье Open ASR Leaderboard (Hugging Face, Кембриджский университет, Mistral AI) все модели измеряли на одной A100. Parakeet TDT 0.6B v3 работала примерно в 23 раза быстрее Whisper large-v3, а средний WER на английских наборах у нее 6,32 % против 7,44 %.
Для L4 опубликованных скоростей этих моделей мы не нашли, а карточка Parakeet v3 называет L4 среди тестового оборудования, но ее архитектуру Ada Lovelace среди поддерживаемых не упоминает.
Живые звонки: сколько потоков выдерживает одна GPU
Whisper работает окнами по 30 секунд, и в ASR NIM он, как и Parakeet TDT, запускается только офлайн. Для живых звонков NVIDIA предлагает потоковые модели: Parakeet CTC для английского и нескольких других языков, многоязычную Parakeet RNNT 1.1B и Nemotron ASR Streaming. Многоязычная Nemotron 3.5 ASR Streaming 0.6B (04.06.2026, OpenMDW-1.1) покрывает 40 локалей, а в рейтинге Handy у нее WER 14,88 % на украинском и 12,61 % на русском, заметно выше, чем у офлайн-моделей.
Страница производительности ASR NIM от 07.10.2026 измеряет потоки клиентом riva_streaming_asr_client с флагом --simulate_realtime на записи LibriSpeech. На L40S англоязычная Parakeet 0.6B CTC с фрагментами по 160 мс обслуживала 64 потока со средней задержкой 33,9 мс и 39,7 мс на p90, а максимум NVIDIA указывает как 190 потоков с n-граммной языковой моделью. С фрагментами по 960 мс 512 потоков шли со средней задержкой 198,8 мс при заявленном максимуме 900. В потоковом режиме RTFx примерно равен числу потоков, поэтому следить нужно за задержкой.
Цифр для Whisper или Canary на L40S там нет, как и для L4 или карт RTX PRO. Матрица поддержки называет L4, L40 и «Blackwell RTX 60xx», а L40S отдельно не упоминает, так что сверяйте матрицу своего релиза NIM с картой. Для украинского число потоков мы не нашли.
Как рассчитать сервер транскрибации под нагрузку
Живые звонки считают по пиковому числу одновременных потоков: один на звонок при одноканальной записи и два, если оператора и клиента пишут в отдельные каналы, как объясняется в статье об AI для контакт-центра. Записи считают по нужному RTFx: 2 000 часов звонков в месяц, обработанные за 20 рабочих дней по 8 часов, требуют устойчивого RTFx 12,5.
| Нагрузка | Объем | Модель и движок | Конфигурация, оценка |
|---|---|---|---|
| Живые звонки на английском | 100 одновременных | Parakeet 0.6B CTC в ASR NIM, фрагменты 160 мс | 1 × L40S, примерно половина заявленных 190 потоков |
| Живые звонки на английском | 300 одновременных | Parakeet 0.6B CTC в ASR NIM | 3 × L40S при 160 мс или 1 × L40S при 960 мс |
| Записи совещаний | 50 часов в день, спикеры, итоги | Parakeet TDT v3 или Whisper turbo, диаризация, LLM на 20B | 1 × L40S или 1 × RTX PRO 5000 48 ГБ |
| Архив на украинском или русском | 10 000 часов разово | Parakeet TDT 0.6B v3 | 1 × L4 или 1 × L40S, время по тестовому прогону |
| Архив на любом языке | 10 000 часов разово | Whisper large-v3-turbo | L4 или L40S, количество по тестовому прогону |
Источник: наша оценка, не измерение. Живые звонки по цифрам ASR NIM для L40S от 07.10.2026 с запасом примерно до 70 % заявленного максимума; архивы по тестовому прогону, так как опубликованных скоростей нет; совещания по офлайн-скорости L40S с диаризацией, которую NVIDIA измеряла на англоязычной Parakeet 0.6B CTC, а не на моделях из этой строки.
Ваше аудио, языки и настройки изменят эти цифры, поэтому перед заказом прогоняют несколько часов собственных записей. Телефонный звук, перебивающие друг друга собеседники и фоновый шум снижают точность, а длинные фрагменты увеличивают задержку. Инженер ETE считает конфигурацию от ваших часов аудио в день и пикового числа звонков.
Диаризация и итоги LLM на том же сервере
Разметка спикеров может обходиться дороже самого распознавания: в цифрах NVIDIA для L40S Parakeet 0.6B CTC офлайн с 32 параллельными запросами давала RTFx 3 638 без диаризации и 101,5 с ней. Поэтому сервер под совещания считают от скорости с диаризацией.
Nemotron 3 Diarization от NVIDIA (23.09.2026, OpenMDW 1.1) имеет 100 млн параметров и различает до восьми спикеров; карточка приводит RTFx 15 113 при пакете 32 на RTX PRO 5000 со скомпилированной моделью и 12 196 без компиляции. Pyannote community-1 под CC BY 4.0 по умолчанию работает на CPU и переводится на GPU одной строкой кода; скорости и DER для украинского или русского карточка не приводит, а файлы скачиваются после принятия условий на Hugging Face.
Canary-Qwen 2.5B умеет подводить итоги стенограммы только на английском, так что для украинских и русских записей нужна отдельная LLM. По нашему правилу (90 % памяти, которую показывает драйвер, минус 3 ГиБ) L40S на 48 ГБ с включенным ECC оставляет около 37 ГиБ: gpt-oss-20b на 13,8 ГБ и Whisper turbo на 6 ГБ занимают 18,4 ГиБ, остальное уходит на диаризатор и кеш LLM. RTX PRO 5000 на 48 ГБ оставляет около 40,0 ГиБ. gpt-oss-120b занимает 65,3 ГБ и рядом с распознаванием требует RTX PRO 6000 на 96 ГБ. Для контакт-центра подходит сервер с четырьмя RTX PRO 6000: одна карта распознает, на каждой из трех остальных работает своя копия gpt-oss-120b. Расчет для более крупных моделей есть в статье о видеопамяти под LLM. Установить faster-whisper, Parakeet, диаризацию и модель итогов при необходимости помогают инженеры Vixen.UNO.
Какие видеокарты подходят для сервера распознавания
| Карта | Память, потребление | Охлаждение, формат | Назначение, наша оценка |
|---|---|---|---|
| RTX PRO 2000 | 16 ГБ, 70 Вт | активное, 2,7 × 6,6 дюйма, два слота | одна модель на минимуме NIM в 16 ГБ, в матрице NIM не названа |
| RTX PRO 4000 SFF | 24 ГБ, 70 Вт | активное, низкий профиль, два слота | небольшие площадки без серверного обдува |
| RTX PRO 4500 | 32 ГБ, 200 Вт | активное, два слота | распознавание и небольшая LLM |
| RTX PRO 5000 | 48 ГБ, 300 Вт | активное, два слота | распознавание, диаризация и LLM на 20B |
| L40S | 48 ГБ, 350 Вт | пассивное, два слота | живые звонки по опубликованным цифрам NVIDIA |
| RTX PRO 6000 Server Edition | 96 ГБ, до 600 Вт | пассивное, два слота | распознавание рядом с LLM класса 120B |
Источник: память и потребление по страницам продуктов NVIDIA, прочитано 09.10.2026; назначение: наша оценка по цифрам этой статьи.
Пассивным картам нужен поток воздуха серверного корпуса, а RTX PRO с активным охлаждением подходят для рабочих станций. L4 (24 ГБ, 72 Вт, пассивная) есть в матрице ASR NIM и подходит для пакетной транскрибации.
faster-whisper распространяется под MIT и не требует лицензии NVIDIA AI Enterprise, а промышленная эксплуатация NIM, согласно FAQ NVIDIA о NIM от 06.08.2026, требует такой лицензии на каждую GPU. Сервер с несколькими картами по 600 Вт планируют вместе с ИБП и генератором, потому что в Украине бывают отключения.
Записи разговоров, Закон № 2297-VI и безопасность сервера
Записи звонков и совещаний, по которым можно узнать людей, являются персональными данными. В Украине действует Закон № 2297-VI, а приближенный к GDPR законопроект № 8153 по состоянию на ноябрь 2026 года не принят. Нужно одно из шести оснований статьи 11 (согласие, договор, законный интерес и т. д.), а по статье 12 человеку заранее сообщают, кто ведет запись, с какой целью и какие у него права. На практике в начале разговора предупреждают о записи и называют цель, а аудио и стенограммы хранят ровно столько, сколько требует эта цель. Собственный сервер убирает внешнего обработчика, но не заменяет правовое основание. Эта справка не является юридической консультацией.
Технически проверьте, что ни один компонент не отправляет аудио во внешний сервис: карточка pyannote, например, предлагает модель Precision-2 через API на серверах pyannoteAI. Храните записи на сервере под вашим контролем, ограничьте доступ к его API и защитите контроллер управления, драйверы и среду контейнеров.
Частые вопросы
Сколько видеопамяти нужно Whisper large-v3?
OpenAI указывает около 10 ГБ для large и около 6 ГБ для turbo, профиль ASR NIM резервирует 12,5 ГБ при пакете 1 024. faster-whisper для large-v2 использует около 6,1 ГБ в float16, на который и стоит ориентироваться на RTX PRO Blackwell.
Whisper или Parakeet: что точнее распознает украинский?
В статье NVIDIA на украинском FLEURS у Whisper large-v3 WER 6,51 %, у Parakeet v3 6,79 %, но Parakeet на A100 работает примерно в 23 раза быстрее. Для русского Whisper точнее: 4,17 % против 5,51 %. Проверьте обе модели на собственных записях.
Какая видеокарта нужна для транскрибации в реальном времени?
Нужна потоковая модель вроде Parakeet CTC, Parakeet RNNT или Nemotron ASR Streaming. По цифрам NVIDIA, одна L40S обслуживает до 190 живых англоязычных потоков Parakeet 0.6B CTC при фрагментах по 160 мс. Для украинского, L4 и RTX PRO таких цифр нет, поэтому нужен тест.
Можно ли распознавать речь локально без лицензий NVIDIA?
Да. Whisper распространяется под MIT, Parakeet и Canary под CC BY 4.0, и все они работают на сервере под вашим контролем. faster-whisper лицензии NVIDIA AI Enterprise не требует, а промышленное использование ASR NIM требует.
Сколько GPU нужно серверу транскрибации?
Для живых звонков считайте пиковое число потоков, для записей разделите часы аудио на доступные часы обработки. По нашей оценке, 100 одновременных англоязычных звонков помещаются на одну L40S при одном потоке на звонок или на две при отдельных каналах для оператора и клиента. Диаризация и итоги добавляют нагрузку.
Что из этого есть в ETE
- NVIDIA L40S 48 ГБ: опубликованные NVIDIA цифры живых потоков и около 37 ГиБ полезной памяти под распознавание, диаризацию и LLM на 20B.
- NVIDIA RTX PRO 5000 Blackwell 48 ГБ: активное охлаждение и около 40 ГиБ полезной памяти для сервера совещаний.
- NVIDIA RTX PRO 6000 Server Edition 96 ГБ: распознавание рядом с gpt-oss-120b на одной карте.
- ETE AI Server RTX PRO: четыре RTX PRO 6000 по 96 ГБ для контакт-центра, где одна карта распознает, а три считают итоги.
Нужен сервер распознавания под ваши звонки и записи?
Напишите, сколько часов аудио в день вы обрабатываете, сколько звонков идет одновременно в пик, на каких языках говорят и нужны ли разметка спикеров и итоги. ETE рассчитает конфигурацию, а при необходимости инженеры Vixen.UNO установят модели распознавания и итогов.