Живые субтитры для совещания, лекции или конференции можно полностью делать на собственном оборудовании: звук с микшерного пульта идёт на сервер в здании, потоковая модель на GPU за долю секунды превращает его в текст, а страница в браузере выводит текст на экран или проектор. На октябрь 2026 года для этого есть открытые WhisperLiveKit и WhisperLive от Collabora, а для первого зала хватает станции с одной NVIDIA RTX PRO 4000 Blackwell. Ни звук, ни текст здание не покидают.

Материал для организаторов мероприятий, университетов, HR-команд и органов власти с публичными заседаниями. Задержка здесь означает время между сказанным словом и его появлением на экране, а WER считает неправильные, пропущенные и лишние слова на 100 слов правильной стенограммы. Обработка записей после мероприятия описана в статье о протоколах совещаний с локальным AI.

Коротко

  • Задержка локальных субтитров составляет от 80 миллисекунд до 2,4 секунды в зависимости от модели и настройки.
  • Voxtral Mini 4B Realtime и Qwen3-ASR украинский не поддерживают; в WhisperLiveKit для него остаются Whisper через faster-whisper и Canary, а Nemotron 3.5 ASR Streaming знает оба языка, но его нужно интегрировать.
  • Открытые инструменты: WhisperLiveKit 0.2.26 (Apache 2.0, своя страница, спикеры в реальном времени) и WhisperLive 0.10.0 от Collabora (MIT, faster-whisper, TensorRT или OpenVINO).
  • Звук в зале значит не меньше модели: по карточке Parakeet TDT 0.6B v3, на записях совещаний WER 11,31 % против 1,93 % на чистой читаемой речи.
  • RTX PRO 4000 Blackwell на 24 ГБ держит Whisper large-v3 (около 10 ГБ) для одного зала; кампусу нужен сервер с картами L40S или RTX PRO 6000 Server Edition.

Как работают живые субтитры в зале

Шаг Что происходит Оборудование
1. Захват микрофоны спикеров заходят в микшерный пульт имеющаяся звуковая система, свободный выход пульта
2. Передача небольшой компьютер транслирует звук на сервер субтитров аудиоинтерфейс и страница в браузере или клиент
3. Распознавание потоковая модель пишет текст небольшими шагами GPU в станции или сервере
4. Показ текст на экране, проекторе или втором мониторе страница браузера на весь экран
5. Сохранить или удалить стенограмму после мероприятия сохраняют или уничтожают правило хранения, заданное заранее

Источник: наша сводка; роли клиента и сервера по документации WhisperLiveKit и WhisperLive, прочитано 30.10.2026.

Качество субтитров начинается со звука. По карточке NVIDIA, Parakeet TDT 0.6B v3 даёт на записанных совещаниях AMI WER 11,31 %, а на LibriSpeech test-clean, прочитанном у микрофона, 1,93 %. Тест с шумом показывает то же: средняя доля ошибок растёт с 6,34 % на чистом звуке до 11,66 %, когда шум так же громок, как речь. В зале берите сигнал с пульта, где уже смешаны гарнитуры и микрофоны на кафедре, без микрофонов для вопросов и музыки. В переговорной без пульта нужен как минимум конференц-микрофон посередине стола.

Страница WhisperLiveKit записывает через браузер микрофонный вход компьютера, на котором она открыта, и там же показывает субтитры. Ноутбук у пульта может одновременно передавать звук и выводить текст на проектор, а распознавание идёт на сервере в другой комнате.

Задержка, точность и украинский язык

Потоковая модель должна фиксировать слова до конца предложения, поэтому видит меньше контекста, и чем дольше ей разрешено ждать, тем меньше ошибок. Для украинского опубликованных данных мы не нашли. Для русского эту зависимость даёт карточка Voxtral Mini 4B Realtime: на FLEURS 6,02 % при 480 мс и 5,41 % при 2 400 мс. Mistral называет 480 мс оптимальным балансом; по нашему подсчёту, это ошибка примерно в каждом семнадцатом слове даже на чистой речи. На лекции одна-две секунды задержки дают более высокую точность, а в дискуссии полсекунды держит текст ближе к спикеру.

Сравнить модели для обоих языков в одинаковых условиях позволяет рейтинг Handy. Он измеряет готовые записи без потоковой задержки, так что вживую ошибок будет больше.

Модель WER uk, % WER ru, % Бэкенд в WhisperLiveKit
Whisper large-v3 6,28 4,96 да, через faster-whisper
Canary-1B v2 10,58 7,83 да, Canary-1B v2 через NeMo (модель по умолчанию)
Nemotron 3.5 ASR Streaming 0.6B 14,88 12,61 нет, нужна интеграция
Voxtral Mini 4B Realtime украинский не поддерживает 5,41 да
Qwen3-ASR-1.7B украинский не поддерживает 6,25 да

Источник: рейтинг Handy (models.handy.computer), тестовый сплит FLEURS, веса Q8_0, прочитано 13.11.2026; языки по карточкам моделей; бэкенды по README WhisperLiveKit на GitHub, прочитано 13.11.2026.

Whisper не является потоковой моделью: он работает с окнами по 30 секунд, и карточка large-v3 называет такую длину оптимальной. Живые инструменты оборачивают его в политику, которая перечитывает нарастающий звук и решает, какие слова уже стабильны: WhisperLiveKit по умолчанию использует SimulStreaming, а WhisperLive называет себя реализацией «почти вживую». README WhisperLiveKit предупреждает, что автоопределение языка у Whisper тяготеет к английскому, так что для украинского мероприятия задайте язык явно, а переключение спикеров между украинским и русским проверьте на репетиции. Модели для украинского разобраны в статье о локальном распознавании украинского языка.

Открытые инструменты на октябрь 2026 года

Инструмент или модель Лицензия Версия Что делает
WhisperLiveKit Apache 2.0 0.2.26, 29.08.2026 сервер и страница субтитров; faster-whisper, Voxtral, Qwen3-ASR, Canary; спикеры в реальном времени; перевод
WhisperLive (Collabora) MIT 0.10.0, 07.09.2026 сервер субтитров; faster-whisper, TensorRT или OpenVINO; расширения для Chrome и Firefox
Voxtral Mini 4B Realtime Apache 2.0 модель 13 языков, среди них русский, украинского нет; vLLM через realtime-точку
Nemotron 3.5 ASR Streaming OpenMDW-1.1 модель, 04.06.2026 40 локалей, 32 готовы к использованию; пунктуация встроена

Источник: страницы WhisperLiveKit и WhisperLive на PyPI, страница WhisperLiveKit на GitHub, карточки моделей на Hugging Face; прочитано 30.10.2026.

WhisperLiveKit описывает себя как конвейер распознавания со сверхнизкой задержкой для развёртывания у себя. Он отдаёт собственную страницу на порту 8000, имеет расширение Chrome для звука веб-страницы, REST-точку, совместимую с OpenAI, и WebSocket. По README, бэкенд обслуживает нескольких пользователей одновременно, доступ закрывается токеном API.

WhisperLive от Collabora запускает Whisper через faster-whisper, TensorRT или OpenVINO, а его расширения для Chrome и Firefox транскрибируют звук прямо из браузера. Для мероприятий важны значения по умолчанию: --max_clients равен 4, а --max_connection_time 600 секундам, так что без изменения настройки сессия завершится через десять минут.

Voxtral Mini 4B Realtime 2602 от Mistral принимает задержку шагами по 80 мс от 80 до 1 200 мс или 2 400 мс, а vLLM отдаёт её через /v1/realtime по WebSocket; из украинского и русского она знает только русский. Nemotron 3.5 ASR Streaming 0.6B от NVIDIA распознаёт оба языка, имеет встроенные пунктуацию и заглавные буквы и работает фрагментами от 80 мс до 1,12 с в NeMo или Transformers от 5.13.0. Ни один инструмент субтитров не называет его бэкендом, так что подключение станет отдельной интеграцией.

Кто говорит и перевод субтитров

Спикеры. WhisperLiveKit размечает от одного до четырёх спикеров в реальном времени моделью Streaming Sortformer от NVIDIA; по README, каждый момент она приписывает одному спикеру, поэтому наложение голосов не видно, а лишние спикеры могут получить чужую метку. Nemotron 3 Diarization (NVIDIA, 23.09.2026, OpenMDW License 1.1) различает до восьми спикеров и имеет профиль задержки 0,32 секунды; на совещаниях AMI с одним удалённым микрофоном её DER в этом профиле 12,95 % против 11,14 % офлайн. Если у каждого участника свой микрофон, отдельные потоки определят спикера без всякой модели. Подробнее в статье о диаризации на собственном сервере.

Перевод. WhisperLive переводит с любого языка на английский, а серверный поток перевода может работать и на другой язык. --target-language в WhisperLiveKit использует NLLW на основе дистиллированной NLLB для 200 языков, а карточка NLLB-200 distilled 600M имеет пометку CC BY-NC 4.0 и называет модель исследовательской, не предназначенной для промышленного использования. Для бизнеса нужна модель с коммерческой лицензией, например через бэкенд alignatt, который переводит языковой моделью вместо NLLB. С украинским под Apache 2.0 работают OPUS-MT uk-en (с украинского на английский) и Dragoman (только с английского на украинский), но их подключение к WhisperLiveKit мы не проверяли; сравнение есть в статье о машинном переводе на собственном сервере. Два языка означают две страницы и два экрана.

Коллеги с нарушениями слуха, гибридные совещания и персональные данные

Заранее согласуйте с коллегами, которые не слышат или слышат плохо, задержку, место текста на экране и то, хватит ли автоматических субтитров, в которых будут ошибки. Чтобы зрители следили с телефонов, нужна страница, которая рассылает субтитры зала на много устройств; ни один README её не описывает, поэтому её готовят при внедрении.

Для гибридных совещаний оба проекта захватывают звук из вкладки браузера, но тогда локальной остаётся только обработка субтитров: звук совещания идёт через сервис видеосвязи.

Сказанное людьми, которых можно идентифицировать, является персональными данными даже без сохранения, поэтому по Закону Украины № 2297-VI нужно одно из шести оснований статьи 11 (согласие, договор, законный интерес и т. д.), а спикеров и участников заранее информируют по статье 12: кто обрабатывает, с какой целью и какие у них права. Сохранённую стенограмму держите лишь столько, сколько нужно для цели. Приближенный к GDPR законопроект № 8153 по состоянию на ноябрь 2026 года не принят; это не юридическая консультация, детали подтвердит ваш юрист.

Какое железо нужно: от переговорной до конференц-центра

Зрители нагрузки на GPU не добавляют; железо определяют число залов одновременно, модель, задержка, разметка спикеров и перевод. Данных о количестве потоков для украинского или карт RTX PRO мы не нашли. Ближайшая цифра английская: страница производительности ASR NIM от NVIDIA (07.10.2026) даёт одной L40S до 190 живых потоков Parakeet 0.6B CTC с фрагментами 160 мс и 64 потока при средней задержке 33,9 мс на файле LibriSpeech. Voxtral на 4 млрд параметров требует на поток намного больше вычислений.

Уровень Железо Что работает Залов одновременно
Начальная станция 1 × RTX PRO 4000 Blackwell, 24 ГБ (145 Вт; версия SFF 70 Вт) Whisper large-v3 в WhisperLiveKit; для русскоязычных мероприятий Voxtral Mini 4B Realtime один зал; с моделью 0.6B больше, после теста
Средняя станция 1 × RTX PRO 5000 Blackwell, 48 ГБ, 300 Вт потоковая модель, спикеры в реальном времени и модель перевода с коммерческой лицензией несколько залов или два языка субтитров
Сервер кампуса карты L4 (24 ГБ, 72 Вт каждая) или L40S (48 ГБ) одна потоковая модель на карту лекционные залы и переговорные параллельно
Общий сервер компании 2 × RTX PRO 6000 Server Edition субтитры в экземпляре MIG рядом с корпоративным ассистентом когда субтитры лишь один сервис из нескольких

Источник: память и потребление карт по NVIDIA; полезная память по нашему правилу 18,5 ГиБ на 24 ГБ и 40,0 ГиБ на 48 ГБ; память моделей по цитируемым карточкам; число залов является нашей оценкой, которую подтверждает тест.

Начальная станция. По нашему правилу (90 % памяти, которую показывает драйвер, минус 3 ГиБ) RTX PRO 4000 Blackwell даёт 18,5 ГиБ. Этого хватает для Whisper large-v3 или для Voxtral Mini 4B Realtime, которому, по карточке, нужна GPU от 16 ГБ. Для одного из своих потоковых бэкендов WhisperLiveKit советует планировать одну сессию реального времени на GPU. Модель на 0,6 млрд параметров оставляет больше места: матрица поддержки речевого NIM 26.05.0 указывает для профиля Nemotron ASR Streaming 6 ГБ при пакете 32.

Средняя станция. RTX PRO 5000 Blackwell с 48 ГБ даёт 40,0 ГиБ: по нашей оценке, этого хватает на потоковую модель, спикеров и перевод, но карточка диаризации память не указывает, так что распределение подтверждает тест. На этой карте Nemotron 3 Diarization в профиле 0,32 секунды работает в 12,5 раза быстрее реального времени (пакет 1, без компиляции) и в 292 раза (пакет 32, скомпилированная модель), так что для нескольких залов спикеры нагружают карту мало.

Сервер. Для кампуса стоечный сервер с несколькими L4 (24 ГБ, 72 Вт, низкопрофильные) или L40S на 48 ГБ даёт каждому залу свою карту. Сервер с двумя RTX PRO 6000 Server Edition по 96 ГБ запускает субтитры в экземпляре MIG рядом с чат-ассистентом компании; он потребляет около 1,8 кВт (наша оценка), поэтому с учётом отключений его планируют с ИБП и генератором. Конфигурацию под количество залов и языков ETE считает от реальной нагрузки, а инженеры Vixen.UNO при необходимости настраивают WhisperLiveKit или WhisperLive с моделью под украинский.

Что настраивает ИТ на сервере субтитров

  • Сеть. Звук и субтитры идут по WebSocket. WhisperLiveKit советует Gunicorn с Uvicorn за Nginx с заголовками WebSocket upgrade, wss:// с --ssl-certfile и --ssl-keyfile, плюс --api-token, --cors-origins и --forwarded-allow-ips; в WhisperLive поднимите лимиты сессий.
  • Установка. WhisperLiveKit имеет дополнительный пакет cu129 для CUDA 12.9 и Dockerfile для GPU (docker run --gpus all -p 8000:8000); бэкенду Qwen3 на vLLM нужно отдельное окружение, а некоторые дополнительные пакеты конфликтуют.
  • Voxtral Realtime требует актуального vLLM и mistral_common от 1.9.0, а для аудиосессий Mistral советует WebSocket. Если на карте работают ещё спикеры или перевод, снизьте --gpu-memory-utilization в vLLM со стандартных 0,92, потому что vLLM резервирует эту долю памяти при запуске.
  • Лицензии. Модель определения языка AmberNet поставляется из NVIDIA NGC на собственных условиях, SenseVoiceSmall имеет собственную лицензию, а стандартная модель спикеров Sortformer распространяется под CC BY 4.0 с требованием указывать авторство.
  • Репетиция. В реальном зале с реальными микрофонами измерьте задержку, зачитайте список имён и названий, а шрифт выберите с последнего ряда.

Частые вопросы

Можно ли делать живые субтитры без облачного сервиса?

Да. Потоковая модель работает на GPU в вашем здании, WhisperLiveKit или WhisperLive берёт звук из зала, а страница в браузере показывает субтитры на экране. Звук и текст остаются на вашем оборудовании.

Какая модель даёт живые субтитры на украинском?

Voxtral Mini 4B Realtime и Qwen3-ASR украинский не поддерживают. В WhisperLiveKit остаются Whisper через faster-whisper и Canary-1B v2: в рейтинге Handy на украинском FLEURS у Whisper large-v3 6,28 %, у Canary-1B v2 10,58 %. Nemotron 3.5 ASR Streaming украинский распознаёт (14,88 % в Handy), но его нужно интегрировать.

Какая задержка у живых субтитров?

Её задаёт настройка. Voxtral Mini 4B Realtime принимает от 80 мс до 1,2 секунды шагами по 80 мс или 2,4 секунды, по умолчанию 480 мс; Nemotron 3.5 ASR Streaming работает фрагментами от 80 мс до 1,12 секунды. Более длинная задержка даёт меньше ошибок.

Какая видеокарта нужна для субтитров на мероприятии?

Для одного зала хватает RTX PRO 4000 Blackwell на 24 ГБ с Whisper large-v3. RTX PRO 5000 на 48 ГБ добавляет спикеров в реальном времени и перевод. Кампусу нужен сервер с картами L4 или L40S, по одной на зал.

Можно ли переводить живые субтитры на другой язык?

Да, если за распознаванием стоит модель перевода. WhisperLive переводит на английский, а модель на основе NLLB в WhisperLiveKit имеет некоммерческую лицензию, так что для корпоративного мероприятия нужна модель с коммерческой.

Что из этого есть в ETE

Нужны живые субтитры в ваших залах?

Напишите, сколько залов вы субтитрируете одновременно, на каких языках говорят спикеры и как сегодня сведён звук. ETE посчитает конфигурацию, а при необходимости инженеры Vixen.UNO установят WhisperLiveKit или WhisperLive с моделью под ваш язык.

Обсудить задачу

Автор: Инженер ETE