Для служби транскрибації на відеокартах NVIDIA основним рушієм зазвичай стає faster-whisper: він запускає моделі Whisper на CTranslate2, обробляє записи пакетами й вимагає найменше коду. WhisperX працює поверх нього і додає мітки часу для кожного слова та розмітку мовців, потрібні для субтитрів і стенограм інтерв'ю. whisper.cpp написаний на C/C++ для процесорів і малих пристроїв, але рахує й на CUDA майже так само швидко, як faster-whisper без пакетів.
Нижче версії на жовтень 2026 року, опубліковані швидкості, встановлення на RTX PRO Blackwell, українська мова і випадки, коли краще взяти Parakeet від NVIDIA. Пам'ять моделей і кількість живих потоків на карту розраховано в статті про сервер розпізнавання мовлення під Whisper.
Коротко
- У тесті з README faster-whisper 13 хвилин аудіо на карті з 8 ГБ оброблено за 63 секунди без пакетів і за 17 секунд із пакетом 8; еталонний код OpenAI витратив 2 хв 23 с.
- WhisperX додає мітки слів через вирівнювання wav2vec2 і мовців через pyannote; whisper.cpp на CUDA в тому самому тесті впорався за 65 секунд.
- Остання версія faster-whisper 1.2.1 (31.10.2025), але CTranslate2 під ним уже 4.8.4 (25.10.2026); WhisperX 3.8.6, whisper.cpp v1.9.5.
- На RTX PRO Blackwell (sm_120) потрібен CTranslate2 від 4.6.3, а INT8 для sm_120 вимкнено, тож розраховуйте на float16.
- На українському FLEURS Whisper large-v3 має WER 6,51 %, Parakeet TDT 0.6B v3 6,79 %, а на A100 Parakeet приблизно у 23 рази швидший.
Рушії Whisper: версії й ліцензії станом на жовтень 2026
Із семи проєктів, які трапляються в пошуку швидкого Whisper, порівнюємо три; решта слугують еталоном або альтернативою для більшого сервісу.
| Проєкт | Ліцензія | Основа | Остання версія |
|---|---|---|---|
| faster-whisper | MIT | CTranslate2 | 1.2.1, 31.10.2025 |
| WhisperX | BSD-2-Clause | faster-whisper, wav2vec2, pyannote | 3.8.6, 25.05.2026 |
| whisper.cpp | MIT | ggml, C/C++ | v1.9.5 (позначка Latest) |
| openai-whisper | MIT | PyTorch | 20250625, 26.06.2025 |
| insanely-fast-whisper | MIT | Transformers | 0.0.15, 27.05.2024 |
| NeMo (Parakeet, Canary) | Apache 2.0 | PyTorch | 3.0.0, 07.08.2026 |
| vLLM | Apache 2.0 | PyTorch | 18.10.2026, активна розробка |
Джерело: сторінки пакетів на PyPI; сторінки faster-whisper, WhisperX і whisper.cpp на GitHub (рік для v1.9.5 не вказано); документація vLLM від 19.10.2026; прочитано 30.10.2026.
faster-whisper не оновлювався з 31 жовтня 2025 року, проте CTranslate2, який він викликає, розвивається: у 4.8.1 (3 липня 2026) виправлено шлях вирівнювання Whisper, у 4.8.4 додано нові реалізації операцій для аудіомоделей на CPU та GPU. Тож ставте faster-whisper 1.2.1 зі свіжим CTranslate2. insanely-fast-whisper не випускав релізів з травня 2024 року і, за PyPI, тримається лише на спільноті: для корпоративного сервісу це хитка основа. WhisperX на GitHub уже містить кандидат 3.8.7rc1, тому в робочому середовищі лишайтеся на 3.8.6.
Опубліковані цифри швидкості й що за ними стоїть
Цифр для RTX PRO Blackwell немає в жодному README, а незалежного вимірювання трьох рушіїв на одній GPU ми не знайшли. Найповніше порівняння опублікував сам faster-whisper: 13 хвилин аудіо, Whisper large-v2, beam size 5, GeForce RTX 3070 Ti на 8 ГБ, CUDA 12.4.
| Реалізація | Тип обчислень | Час | Пам'ять GPU |
|---|---|---|---|
| openai-whisper | fp16 | 2 хв 23 с | 4 708 МБ |
| Transformers (SDPA) | fp16 | 1 хв 52 с | 4 960 МБ |
| whisper.cpp, Flash Attention | fp16 | 1 хв 05 с | 4 127 МБ |
| faster-whisper | fp16 | 1 хв 03 с | 4 525 МБ |
| faster-whisper, пакет 8 | fp16 | 17 с | 6 090 МБ |
| faster-whisper, пакет 8 | int8 | 16 с | 4 500 МБ |
Джерело: README faster-whisper на GitHub, прочитано 30.10.2026; версії openai-whisper v20240930, whisper.cpp v1.7.2, Transformers 4.46.3, faster-whisper 1.1.0. Вимірював проєкт faster-whisper, не ми.
За нашим підрахунком, 780 секунд аудіо за 63 секунди означають приблизно 12-кратну швидкість відносно реального часу, і whisper.cpp дає майже те саме. Розводить рушії пакетна обробка: з пакетом 8 faster-whisper вийшов приблизно на 46-кратну швидкість. Для одного файлу вони майже рівні, а для черги записів на сервері вирішує BatchedInferencePipeline, який README називає прямою заміною звичайного виклику transcribe.
WhisperX обіцяє пакетну обробку в 70 разів швидшу за реальний час на large-v2 і менш як 8 ГБ відеопам'яті, але карту не називає. insanely-fast-whisper на A100 80 ГБ обробив 150 хвилин аудіо за 1 хв 38 с (large-v3, Transformers, пакет 24, Flash Attention 2) проти 9 хв 23 с у faster-whisper (large-v2, beam size 1, без пакетів), тобто приблизно 92 і 16 разів швидше за реальний час. Це порівняння 2024 року на різних моделях показує передусім користь пакетів.
Реальна швидкість залежить від пакета, beam size, моделі (large-v3, turbo чи дистильована), типу обчислень, частки тиші й довжини файлів, тож надійну цифру дає година ваших записів.
Мітки часу слів і розмітка мовців
Сам Whisper ставить мітки на сегменти, і README WhisperX попереджає, що вони прив'язані до цілих висловлювань і можуть зсуватися на кілька секунд.
| Функція | faster-whisper | WhisperX | whisper.cpp |
|---|---|---|---|
| Мітки слів | word_timestamps=True |
примусове вирівнювання wav2vec2 | експериментально, -ml 1 |
| Мітки мовців | у README не описано | pyannote community-1 | експериментальний tinydiarize |
| Фільтр голосової активності | Silero VAD | VAD перед пакетами | Silero VAD з --vad |
| Пакетна транскрибація | так | так | у README не описано |
| Режим сервера | у README не описано | у README не описано | whisper-server |
Джерело: README faster-whisper, WhisperX і whisper.cpp на GitHub, прочитано 30.10.2026.
WhisperX вирівнює слова окремою фонемною моделлю. Для англійської, французької, німецької, іспанської та італійської типові моделі беруться з torchaudio, і чотири неанглійські (VoxPopuli) мають некомерційну ліцензію CC BY-NC 4.0. Для української й російської WhisperX за замовчуванням завантажує моделі з Hugging Face: Yehor/wav2vec2-xls-r-300m-uk-with-small-lm і jonatasgrosman/wav2vec2-large-xlsr-53-russian (файл alignment.py, прочитано 13.11.2026). Перед комерційним використанням перевірте ліцензію на картці моделі; за потреби іншу модель задають через --align_model. Точність міток слів перевірте на своєму аудіо. Числа й знаки валют лишаються без міток. Мовців розмічає pyannote speaker-diarization-community-1 (прийняті умови й токен Hugging Face), яка, за README, погано справляється з мовленням, що накладається, а DER для української не наводить; детальніше в статті про діаризацію на власному сервері.
faster-whisper дає мітки слів з word_timestamps=True і відсіює тишу моделлю Silero. Типовий фільтр прибирає лише паузи, довші за 2 секунди, і в пакетному режимі ввімкнений за замовчуванням. Картка Whisper попереджає про текст, якого в аудіо ніхто не вимовляв, тож фільтр тиші потрібен. Для нарад, де українська перемішана з російською, порівняйте параметри language (фіксована мова) і multilingual (мова для кожного сегмента): вимірювань на мішаних нарадах і суржику ми не знайшли.
whisper.cpp позначає мітки слів і пошук зміни мовця як експериментальні; другий працює на англійській моделі small і лише ставить позначку зміни, не називаючи мовця. Його сильні сторони: програма без Python, квантовані моделі й whisper-server, HTTP-сервер транскрибації з API у стилі OpenAI.
Встановлення на RTX PRO Blackwell: CUDA 12.8, CTranslate2 і INT8
Карти RTX PRO Blackwell мають обчислювальну здатність 12.0, тобто sm_120. За примітками NVIDIA, підтримку компілятора для SM_100, SM_101 і SM_120 додала CUDA 12.8, мінімальний драйвер для неї 570.26 у Linux і 570.65 у Windows. Програми, зібрані під старіші CUDA, падають з помилкою «no kernel image is available».
Для faster-whisper ключовий компонент CTranslate2. У 4.6.2 (5 грудня 2025) його журнал змін містить «Disable INT8 for sm120 - Blackwell GPUs», а 4.6.3 (6 січня 2026) додає «Support for CUDA 12.8» і робить cuDNN необов'язковим. До 4.8.4 INT8 на sm_120 не повернули. Тож ставте CTranslate2 4.6.3 або новіший, працюйте у float16 чи bfloat16, а рядки INT8 зі старих тестів вважайте цифрами інших GPU. Доступні типи обчислень показує ctranslate2.get_supported_compute_types("cuda").
WhisperX в основній гілці фіксує PyTorch 2.8 з індексу для CUDA 12.8 і просить заздалегідь поставити CUDA 12.8 toolkit, але від CTranslate2 вимагає лише 4.5.0, тож 4.6.3 закріплюйте самі. whisper.cpp збирають командою cmake -B build -DGGML_CUDA=1 з CUDA 12.8 або новішою. pywhispercpp 1.5.1 має на PyPI лише пакети для CPU, для GPU його збирають з вихідного коду. Те саме стосується застосунків на цих рушіях: Scriberr, наприклад, випускає окремий образ для Blackwell. ETE може поставити станцію окремо, а інженери Vixen.UNO за потреби встановлять на ній рушії та моделі.
Коли Parakeet або vLLM дадуть більше
Коли треба прогнати багато годин записів, інша модель допомагає більше, ніж швидший рушій. У статті про Open ASR Leaderboard (arXiv 2510.06961v3, грудень 2025) Parakeet TDT 0.6B v3 на одній A100 обробляв близько 3 333 секунд аудіо за секунду обчислень, Whisper large-v3 145,5, тобто, за нашим підрахунком, Parakeet швидший приблизно у 23 рази.
| Модель | Аудіо за 1 с обчислень, A100 | WER uk, FLEURS, % | WER ru, FLEURS, % |
|---|---|---|---|
| Whisper large-v3 | 145,5 с | 6,51 | 4,17 |
| Parakeet TDT 0.6B v3 | близько 3 333 с | 6,79 | 5,51 |
Джерело: швидкість за arXiv 2510.06961v3 (грудень 2025); WER за статтею NVIDIA arXiv 2509.14128, таблиці 11 і 13, прочитано 13.11.2026.
Точність для української в них близька, для російської Whisper помітно точніший. У рейтингу Handy (FLEURS, ваги Q8_0) цифри інші: Parakeet v3 6,84 %, Whisper large-v3 6,28 %, тому значення з різних джерел не змішуйте. На нарадах помилок буде більше, ніж на прочитаних реченнях FLEURS. Parakeet охоплює 25 європейських мов, серед них українську й російську, має ліцензію CC BY 4.0 і працює в NeMo або мовному NIM від NVIDIA. Моделі для української, суржик і діалекти розібрано в статті про локальне розпізнавання української мови.
vLLM віддає Whisper через сумісну з OpenAI точку /v1/audio/transcriptions з типовим лімітом файлу 25 МБ, який піднімає змінна середовища. Документація від 19 жовтня 2026 року називає beam search для Whisper дуже неефективним, тож там плануйте жадібне декодування. Speaches загортає faster-whisper у сервер з API OpenAI, але його v0.9.0-rc.3 лише кандидат на реліз. Потокові сервери для живих субтитрів описано в статті про живі субтитри на власному сервері.
Яка відеокарта потрібна на кожному етапі
OpenAI називає близько 10 ГБ відеопам'яті для Whisper large і 6 ГБ для turbo, тож карту визначає те, що працює поруч, і кількість одночасних завдань. Корисна пам'ять за нашим правилом: 90 % показаної драйвером мінус 3 ГіБ.
| Етап | Карта й пам'ять | Що працює | Для кого | Запас пам'яті |
|---|---|---|---|---|
| Розробка | 1 × RTX PRO 4000 SFF Blackwell, 24 ГБ | три рушії, Whisper large з вирівнюванням і pyannote, по одному пакету | розробник конвеєра | 18,5 ГіБ корисних, після Whisper large близько 9,2 ГіБ |
| Порівняльні тести | 1 × RTX PRO 6000 Workstation Edition, 96 ГБ | Whisper large-v3, turbo, Parakeet і модель підсумків разом, більші пакети | команда, що порівнює рушії на своєму аудіо | 83,0 ГіБ корисних, після обох Whisper і gpt-oss-20b близько 55 ГіБ |
| Сервер транскрибації | L40S 48 ГБ або RTX PRO 6000 Server Edition з MIG | сервіс за NIM або vLLM, черги кількох відділів | мовний сервіс компанії | MIG ізолює рушії на одній карті; стійкове охолодження для безперервних черг |
Джерело: корисна пам'ять за нашим правилом; Whisper large близько 10 ГБ, turbo близько 6 ГБ (репозиторій OpenAI); ваги gpt-oss-20b 12,8 ГіБ (Hugging Face); до чотирьох екземплярів MIG на RTX PRO 6000 (NVIDIA). Наша оцінка, не вимірювання.
На RTX PRO 4000 Whisper large займає 9,3 ГіБ: решти вистачає для збирання конвеєра, але великим пакетам поруч з іншими моделями тісно. На RTX PRO 6000 Workstation Edition обидві моделі Whisper займають близько 14,9 ГіБ, разом із gpt-oss-20b 27,7 ГіБ. Якщо модель підсумків працює у vLLM, знизьте --gpu-memory-utilization від типових 0,92, бо vLLM резервує цю частку карти під час запуску.
L40S не має MIG, тож одна карта обслуговує один рушій або один NIM. За FAQ NVIDIA, NIM у робочому середовищі потребує ліцензії NVIDIA AI Enterprise; відкритим рушіям вона не потрібна. MIG ділить RTX PRO 6000 Server Edition на ізольовані екземпляри, до чотирьох на карту. Сервер із двома такими картами, за нашою оцінкою, бере близько 1,8 кВт, і з огляду на відключення його планують із ДБЖ і генератором (про живлення станції з кількома GPU). Опублікованих RTFx цих рушіїв на RTX PRO немає, тож пропускну здатність покаже тестовий прогін. Конфігурацію під ваші години аудіо й мови ETE рахує від реального навантаження.
План тесту перед вибором
Перевірка на власних записах займає день.
- Візьміть годину типового аудіо: нараду, дзвінок, запис із довгими паузами і, якщо буває, мішану українсько-російську розмову.
- Проженіть її через faster-whisper без пакетів і з пакетом 8 або 16, через WhisperX і через whisper.cpp під CUDA, з однією моделлю у float16.
- Запишіть час на годину аудіо й пікову пам'ять GPU з
nvidia-smi. - Порівняйте WER із вичитаною людиною стенограмою і перевірте паузи на вигаданий текст.
- Для субтитрів і пошукового індексу перевірте мітки на числах та іменах.
faster-whisper пасує до сервісу, який викликає ваш код; WhisperX до субтитрів, інтерв'ю й усього, де потрібні мовці; whisper.cpp до CPU, периферійних пристроїв і одного файлу без Python. Parakeet виправданий для великих обсягів.
Часті питання
Що швидше на GPU: faster-whisper чи whisper.cpp?
Для одного файлу вони майже рівні: 63 і 65 секунд на 13 хвилин аудіо з large-v2 у тесті README faster-whisper. З пакетом 8 faster-whisper упорався за 17 секунд, тож для черги записів швидший він.
Чим WhisperX відрізняється від faster-whisper?
WhisperX транскрибує через faster-whisper і додає мітки слів через вирівнювання wav2vec2 та мовців через pyannote. faster-whisper дає мітки слів як опцію, а мовців не розмічає. Для української WhisperX за замовчуванням бере модель вирівнювання з Hugging Face; її ліцензію й точність міток перевірте окремо.
Чи працює faster-whisper на RTX PRO Blackwell?
Так, з CTranslate2 4.6.3 або новішим і драйвером від 570.26 у Linux. INT8 на sm_120 вимкнено, тому працюйте у float16 або bfloat16 і першим прогоном перевірте, що задіяна відеокарта.
Скільки відеопам'яті потрібно faster-whisper і WhisperX?
Близько 10 ГБ для Whisper large і 6 ГБ для turbo за даними OpenAI. У тесті faster-whisper large-v2 у float16 зайняв 4 525 МБ, з пакетом 8 6 090 МБ; WhisperX заявляє менш як 8 ГБ. Вирівнювання й діаризація додаються зверху.
Parakeet чи Whisper для української мови?
Parakeet TDT 0.6B v3 приблизно у 23 рази швидший за Whisper large-v3 на A100. На українському FLEURS їхній WER 6,79 % і 6,51 %, на російському 5,51 % і 4,17 %. Parakeet охоплює 25 європейських мов, Whisper значно більше.
Яка відеокарта потрібна для сервера Whisper?
Для розробки вистачає RTX PRO 4000 SFF Blackwell на 24 ГБ, для тестів із кількома моделями RTX PRO 6000 Workstation Edition на 96 ГБ, для сервісу компанії сервер з L40S або RTX PRO 6000 Server Edition.
Що з цього є в ETE
- NVIDIA RTX PRO 4000 SFF Blackwell 24 ГБ: 24 ГБ для етапу розробки в компактному виконанні на 70 Вт.
- ETE AI Workstation: RTX PRO 6000 Blackwell на 96 ГБ для порівняння рушіїв і моделей поруч.
- NVIDIA RTX PRO 6000 Server Edition 96 ГБ: серверна карта, яку MIG ділить на екземпляри (до чотирьох) під різні рушії.
- NVIDIA L40S 48 ГБ: одна карта під один рушій або NIM у спільному сервісі.
Потрібна конфігурація під сервіс транскрибації?
Напишіть, скільки годин аудіо на тиждень ви обробляєте, якими мовами і чи потрібні мітки слів або розмітка мовців. ETE порахує конфігурацію, а за потреби інженери Vixen.UNO встановлять faster-whisper, WhisperX чи whisper.cpp разом із моделями.