Для сервиса транскрибации на видеокартах NVIDIA основным движком обычно становится faster-whisper: он запускает модели Whisper на CTranslate2, обрабатывает записи пакетами и требует меньше всего кода. WhisperX работает поверх него и добавляет метки времени для каждого слова и разметку спикеров, которые нужны для субтитров и стенограмм интервью. whisper.cpp написан на C/C++ для процессоров и небольших устройств, но считает и на CUDA, почти так же быстро, как faster-whisper без пакетов.

Ниже собраны состояние проектов на октябрь 2026 года, опубликованные скорости, установка на RTX PRO Blackwell, украинский и русский языки и случаи, когда модель Parakeet от NVIDIA даёт больше, чем более быстрый движок. Память моделей и число живых потоков на карту рассчитаны в статье о сервере распознавания речи под Whisper.

Коротко

  • В тесте из README faster-whisper 13 минут аудио на карте с 8 ГБ обработаны за 63 секунды без пакетов и за 17 секунд с пакетом 8; эталонному коду OpenAI понадобилось 2 мин 23 с.
  • WhisperX добавляет метки слов через выравнивание wav2vec2 и спикеров через pyannote; whisper.cpp на CUDA в том же тесте справился за 65 секунд.
  • Последняя версия faster-whisper 1.2.1 (31.10.2025), но CTranslate2 под ним уже 4.8.4 (25.10.2026); WhisperX 3.8.6, whisper.cpp v1.9.5.
  • На RTX PRO Blackwell (sm_120) нужен CTranslate2 от 4.6.3, а INT8 для sm_120 отключён, поэтому рассчитывайте на float16.
  • На украинском FLEURS у Whisper large-v3 WER 6,51 %, у Parakeet TDT 0.6B v3 6,79 %, при этом на A100 Parakeet примерно в 23 раза быстрее.

Движки Whisper: версии и лицензии на октябрь 2026

Когда ищут самую быструю реализацию Whisper, обычно находят семь проектов. Сравниваем три движка; остальные служат эталоном или альтернативой для более крупного сервиса.

Проект Лицензия Основа Последняя версия
faster-whisper MIT CTranslate2 1.2.1, 31.10.2025
WhisperX BSD-2-Clause faster-whisper, wav2vec2, pyannote 3.8.6, 25.05.2026
whisper.cpp MIT ggml, C/C++ v1.9.5 (пометка Latest)
openai-whisper MIT PyTorch 20250625, 26.06.2025
insanely-fast-whisper MIT Transformers 0.0.15, 27.05.2024
NeMo (Parakeet, Canary) Apache 2.0 PyTorch 3.0.0, 07.08.2026
vLLM Apache 2.0 PyTorch 18.10.2026, активная разработка

Источник: страницы пакетов на PyPI; страницы faster-whisper, WhisperX и whisper.cpp на GitHub (год для v1.9.5 не указан); документация vLLM от 19.10.2026; прочитано 30.10.2026.

faster-whisper не обновлялся с 31 октября 2025 года, зато CTranslate2, который он вызывает, развивается: в 4.8.1 (3 июля 2026) исправлен путь выравнивания Whisper, в 4.8.4 появились новые реализации операций для аудиомоделей на CPU и GPU. Поэтому ставьте faster-whisper 1.2.1 вместе со свежим CTranslate2. У insanely-fast-whisper нет релизов с мая 2024 года, а PyPI описывает его как проект, который держится только на сообществе, так что для корпоративного сервиса это шаткая основа. В WhisperX на GitHub уже указан кандидат 3.8.7rc1, поэтому в рабочей среде оставайтесь на 3.8.6.

Опубликованные цифры скорости и что за ними стоит

Цифр для RTX PRO Blackwell нет ни в одном README, а независимого замера всех трёх движков на одной GPU мы не нашли. Самое полное сравнение опубликовал сам faster-whisper: 13 минут аудио, Whisper large-v2, beam size 5, GeForce RTX 3070 Ti на 8 ГБ, CUDA 12.4.

Реализация Тип вычислений Время Память GPU
openai-whisper fp16 2 мин 23 с 4 708 МБ
Transformers (SDPA) fp16 1 мин 52 с 4 960 МБ
whisper.cpp, Flash Attention fp16 1 мин 05 с 4 127 МБ
faster-whisper fp16 1 мин 03 с 4 525 МБ
faster-whisper, пакет 8 fp16 17 с 6 090 МБ
faster-whisper, пакет 8 int8 16 с 4 500 МБ

Источник: README faster-whisper на GitHub, прочитано 30.10.2026; версии openai-whisper v20240930, whisper.cpp v1.7.2, Transformers 4.46.3, faster-whisper 1.1.0. Замерял проект faster-whisper, не мы.

По нашему подсчёту, 780 секунд аудио за 63 секунды дают примерно 12-кратную скорость относительно реального времени, и whisper.cpp показывает почти то же. Разводит движки пакетная обработка: с пакетом 8 faster-whisper вышел примерно на 46-кратную скорость. На одном файле они почти равны, а для очереди записей на сервере всё решает BatchedInferencePipeline, который README называет прямой заменой обычного вызова transcribe.

WhisperX обещает пакетную обработку в 70 раз быстрее реального времени на large-v2 и меньше 8 ГБ видеопамяти, но карту не называет. insanely-fast-whisper на A100 80 ГБ обработал 150 минут аудио за 1 мин 38 с (large-v3, Transformers, пакет 24, Flash Attention 2) против 9 мин 23 с у faster-whisper (large-v2, beam size 1, без пакетов), то есть примерно в 92 и 16 раз быстрее реального времени. Это сравнение 2024 года на разных моделях показывает прежде всего пользу пакетов.

Реальная скорость зависит от размера пакета, beam size, модели (large-v3, turbo или дистиллированная), типа вычислений, доли тишины и длины файлов, поэтому надёжную цифру даст час ваших собственных записей.

Метки времени слов и разметка спикеров

Сам Whisper ставит метки на сегменты, и README WhisperX предупреждает, что они привязаны к целым высказываниям и могут сдвигаться на несколько секунд.

Функция faster-whisper WhisperX whisper.cpp
Метки слов word_timestamps=True принудительное выравнивание wav2vec2 экспериментально, -ml 1
Метки спикеров в README не описано pyannote community-1 экспериментальный tinydiarize
Фильтр голосовой активности Silero VAD VAD перед пакетами Silero VAD с --vad
Пакетная транскрибация да да в README не описано
Режим сервера в README не описано в README не описано whisper-server

Источник: README faster-whisper, WhisperX и whisper.cpp на GitHub, прочитано 30.10.2026.

WhisperX выравнивает слова отдельной фонемной моделью. Для английского, французского, немецкого, испанского и итальянского стандартные модели берутся из torchaudio, и четыре неанглийские (VoxPopuli) распространяются под некоммерческой лицензией CC BY-NC 4.0. Для украинского и русского WhisperX по умолчанию загружает модели с Hugging Face: Yehor/wav2vec2-xls-r-300m-uk-with-small-lm и jonatasgrosman/wav2vec2-large-xlsr-53-russian (файл alignment.py, прочитано 13.11.2026). Перед коммерческим использованием проверьте лицензию на карточке модели; при необходимости другую модель задают через --align_model. Точность меток слов проверьте на своём аудио. Числа и знаки валют остаются без меток. Спикеров размечает pyannote speaker-diarization-community-1 (нужны принятые условия и токен Hugging Face); по README она плохо справляется с наложением речи, а DER для украинского карточка не приводит. Подробнее в статье о диаризации на собственном сервере.

faster-whisper выдаёт метки слов с word_timestamps=True и отсеивает тишину моделью Silero. Стандартный фильтр убирает только паузы длиннее 2 секунд и в пакетном режиме включён по умолчанию. Карточка Whisper предупреждает о тексте, которого в аудио никто не произносил, так что фильтр тишины нужен. Для совещаний, где украинский перемешан с русским, сравните параметры language (фиксированный язык) и multilingual (язык для каждого сегмента): замеров на смешанных совещаниях и суржике мы не нашли.

whisper.cpp помечает метки слов и поиск смены спикера как экспериментальные; второй работает на английской модели small и только ставит отметку смены, не называя спикера. Его сильные стороны: программа без Python, квантованные модели и whisper-server, HTTP-сервер транскрибации с API в стиле OpenAI.

Установка на RTX PRO Blackwell: CUDA 12.8, CTranslate2 и INT8

Карты RTX PRO Blackwell имеют вычислительную способность 12.0, то есть sm_120. По примечаниям NVIDIA, поддержку компилятора для SM_100, SM_101 и SM_120 добавила CUDA 12.8, минимальный драйвер для неё 570.26 в Linux и 570.65 в Windows. Программы, собранные под более старые CUDA, падают с ошибкой «no kernel image is available».

Для faster-whisper ключевой компонент CTranslate2. В 4.6.2 (5 декабря 2025) его журнал изменений содержит «Disable INT8 for sm120 - Blackwell GPUs», а 4.6.3 (6 января 2026) добавляет «Support for CUDA 12.8» и делает cuDNN необязательным. До 4.8.4 INT8 на sm_120 не вернули. Ставьте CTranslate2 4.6.3 или новее, работайте во float16 или bfloat16, а строки INT8 из старых тестов считайте цифрами других GPU. Доступные типы вычислений показывает ctranslate2.get_supported_compute_types("cuda").

WhisperX в основной ветке фиксирует PyTorch 2.8 из индекса для CUDA 12.8 и просит заранее поставить CUDA 12.8 toolkit, но от CTranslate2 требует лишь 4.5.0, так что 4.6.3 закрепляйте сами. whisper.cpp собирают командой cmake -B build -DGGML_CUDA=1 с CUDA 12.8 или новее. pywhispercpp 1.5.1 на PyPI есть только в пакетах для CPU, для GPU его собирают из исходников. То же касается приложений на этих движках: Scriberr, например, выпускает отдельный образ для Blackwell. ETE может поставить станцию отдельно, а инженеры Vixen.UNO при необходимости установят на неё движки и модели.

Когда Parakeet или vLLM дадут больше

Когда нужно прогнать много часов записей, другая модель помогает сильнее, чем более быстрый движок. В статье об Open ASR Leaderboard (arXiv 2510.06961v3, декабрь 2025) Parakeet TDT 0.6B v3 на одной A100 обрабатывал около 3 333 секунд аудио за секунду вычислений, Whisper large-v3 145,5, то есть, по нашему подсчёту, Parakeet быстрее примерно в 23 раза.

Модель Аудио за 1 с вычислений, A100 WER uk, FLEURS, % WER ru, FLEURS, %
Whisper large-v3 145,5 с 6,51 4,17
Parakeet TDT 0.6B v3 около 3 333 с 6,79 5,51

Источник: скорость по arXiv 2510.06961v3 (декабрь 2025); WER по статье NVIDIA arXiv 2509.14128, таблицы 11 и 13, прочитано 13.11.2026.

Точность на украинском у них близкая, на русском Whisper заметно точнее. В рейтинге Handy (FLEURS, веса Q8_0) цифры другие: Parakeet v3 6,84 %, Whisper large-v3 6,28 %, поэтому значения из разных источников не смешивайте. На совещаниях ошибок будет больше, чем на прочитанных предложениях FLEURS. Parakeet охватывает 25 европейских языков, в том числе украинский и русский, распространяется под CC BY 4.0 и работает в NeMo или в речевом NIM от NVIDIA. Модели для украинского, суржик и диалекты разобраны в статье о локальном распознавании украинского языка.

vLLM отдаёт Whisper через совместимую с OpenAI точку /v1/audio/transcriptions со стандартным лимитом файла 25 МБ, который поднимает переменная окружения. Документация от 19 октября 2026 года называет beam search для Whisper крайне неэффективным, так что там планируйте жадное декодирование. Speaches оборачивает faster-whisper в сервер с API OpenAI, но его v0.9.0-rc.3 пока лишь кандидат на релиз. Потоковые серверы для живых субтитров описаны в статье о живых субтитрах на собственном сервере.

Какая видеокарта нужна на каждом этапе

OpenAI называет около 10 ГБ видеопамяти для Whisper large и 6 ГБ для turbo, так что карту определяет то, что работает рядом, и количество одновременных задач. Полезная память по нашему правилу: 90 % показанной драйвером минус 3 ГиБ.

Этап Карта и память Что работает Для кого Запас памяти
Разработка 1 × RTX PRO 4000 SFF Blackwell, 24 ГБ три движка, Whisper large с выравниванием и pyannote, по одному пакету разработчик конвейера 18,5 ГиБ полезных, после Whisper large около 9,2 ГиБ
Сравнительные тесты 1 × RTX PRO 6000 Workstation Edition, 96 ГБ Whisper large-v3, turbo, Parakeet и модель резюме вместе, большие пакеты команда, сравнивающая движки на своём аудио 83,0 ГиБ полезных, после обеих Whisper и gpt-oss-20b около 55 ГиБ
Сервер транскрибации L40S 48 ГБ или RTX PRO 6000 Server Edition с MIG сервис за NIM или vLLM, очереди нескольких отделов речевой сервис компании MIG изолирует движки на одной карте; стоечное охлаждение для непрерывных очередей

Источник: полезная память по нашему правилу; Whisper large около 10 ГБ, turbo около 6 ГБ (репозиторий OpenAI); веса gpt-oss-20b 12,8 ГиБ (Hugging Face); до четырёх экземпляров MIG на RTX PRO 6000 (NVIDIA). Наша оценка, не замер.

На RTX PRO 4000 Whisper large занимает 9,3 ГиБ: остатка хватает, чтобы собрать конвейер, но большим пакетам рядом с другими моделями тесно. На RTX PRO 6000 Workstation Edition обе модели Whisper занимают около 14,9 ГиБ, вместе с gpt-oss-20b 27,7 ГиБ. Если модель резюме работает в vLLM, снизьте --gpu-memory-utilization со стандартных 0,92, потому что vLLM резервирует эту долю карты при запуске.

L40S не поддерживает MIG, так что одна карта обслуживает один движок или один NIM. По FAQ NVIDIA, NIM в рабочей среде требует лицензии NVIDIA AI Enterprise; открытым движкам она не нужна. MIG делит RTX PRO 6000 Server Edition на изолированные экземпляры, до четырёх на карту. Сервер с двумя такими картами, по нашей оценке, потребляет около 1,8 кВт, и с учётом отключений его планируют вместе с ИБП и генератором (о питании станции с несколькими GPU). Опубликованных RTFx этих движков на RTX PRO нет, поэтому пропускную способность покажет тестовый прогон. Конфигурацию под ваши часы аудио и языки ETE считает от реальной нагрузки.

План теста перед выбором

Проверка на собственных записях занимает день.

  1. Возьмите час типичного аудио: совещание, звонок, запись с длинными паузами и, если бывает, смешанный украинско-русский разговор.
  2. Прогоните его через faster-whisper без пакетов и с пакетом 8 или 16, через WhisperX и через whisper.cpp под CUDA, с одной моделью во float16.
  3. Запишите время на час аудио и пиковую память GPU из nvidia-smi.
  4. Сравните WER с вычитанной человеком стенограммой и проверьте паузы на выдуманный текст.
  5. Для субтитров и поискового индекса проверьте метки на числах и именах.

faster-whisper подходит для сервиса, который вызывает ваш код; WhisperX для субтитров, интервью и всего, где нужны спикеры; whisper.cpp для CPU, периферийных устройств и одного файла без Python. Parakeet оправдан для больших объёмов.

Частые вопросы

Что быстрее на GPU: faster-whisper или whisper.cpp?

На одном файле они почти равны: 63 и 65 секунд на 13 минут аудио с large-v2 в тесте README faster-whisper. С пакетом 8 faster-whisper справился за 17 секунд, так что для очереди записей быстрее он.

Чем WhisperX отличается от faster-whisper?

WhisperX транскрибирует через faster-whisper и добавляет метки слов через выравнивание wav2vec2 и спикеров через pyannote. faster-whisper даёт метки слов как опцию, а спикеров не размечает. Для украинского WhisperX по умолчанию берёт модель выравнивания с Hugging Face; её лицензию и точность меток проверьте отдельно.

Работает ли faster-whisper на RTX PRO Blackwell?

Да, с CTranslate2 4.6.3 или новее и драйвером от 570.26 в Linux. INT8 на sm_120 отключён, поэтому работайте во float16 или bfloat16 и первым прогоном проверьте, что задействована видеокарта.

Сколько видеопамяти нужно faster-whisper и WhisperX?

Около 10 ГБ для Whisper large и 6 ГБ для turbo по данным OpenAI. В тесте faster-whisper модель large-v2 во float16 заняла 4 525 МБ, с пакетом 8 6 090 МБ; WhisperX заявляет меньше 8 ГБ. Выравнивание и диаризация добавляются сверху.

Parakeet или Whisper для украинского языка?

Parakeet TDT 0.6B v3 примерно в 23 раза быстрее Whisper large-v3 на A100. На украинском FLEURS их WER 6,79 % и 6,51 %, на русском 5,51 % и 4,17 %. Parakeet охватывает 25 европейских языков, Whisper значительно больше.

Какая видеокарта нужна для сервера Whisper?

Для разработки хватает RTX PRO 4000 SFF Blackwell на 24 ГБ, для тестов с несколькими моделями RTX PRO 6000 Workstation Edition на 96 ГБ, для сервиса компании сервер с L40S или RTX PRO 6000 Server Edition.

Что из этого есть в ETE

Нужна конфигурация под сервис транскрибации?

Напишите, сколько часов аудио в неделю вы обрабатываете, на каких языках и нужны ли метки слов или разметка спикеров. ETE посчитает конфигурацию, а при необходимости инженеры Vixen.UNO установят faster-whisper, WhisperX или whisper.cpp вместе с моделями.

Обсудить задачу

Автор: Инженер ETE