Для транскрибации и резюме звонков контакт-центра на собственных серверах нужны два этапа на GPU: распознавание речи для каждой минуты разговора и один проход языковой модели на каждый звонок. Оба рассчитывают от двух чисел: сколько разговоров идет одновременно в час пик и сколько минут звонков набирается за сутки. По нашей оценке, подсказки оператору в реальном времени для 1 000 операторов требуют от 4 до 16 NVIDIA L40S только на речь, а резюме звонков для такой же смены помещаются на одну RTX PRO 6000 Server Edition.

Модели распознавания, их память и скорость описаны в статье о сервере распознавания речи под Whisper и Parakeet.

Коротко

  • Отдельные каналы для оператора и клиента убирают диаризацию, но удваивают потоки: 1 000 одновременных разговоров дают 2 000 потоков.
  • NVIDIA указывает до 190 живых английских потоков на одну L40S с Parakeet 0.6B CTC при фрагментах 160 мс и до 900 при 960 мс; по нашей оценке, это от 4 до 16 L40S на 1 000 операторов.
  • В MLPerf Inference v6.1 (запись 6.1-0050) восемь RTX PRO 6000 Server Edition выдали 50 965,3 токена/с на Llama 3.1 8B в офлайн-сценарии; резюме для 1 000 операторов, по нашей оценке, помещаются на одну карту.
  • Потоковые цифры NVIDIA для L40S охватывают английский, испанский, вьетнамский и мандаринский; для украинского и русского число потоков определяет тест на ваших записях.
  • Записи разговоров являются персональными данными: о записи и ее цели предупреждают в начале звонка, а сроки хранения определяют заранее.

Распознавание речи и языковая модель: какие модели на каждом этапе

Распознавание превращает каждую минуту разговора в текст, а языковая модель один раз читает стенограмму и пишет резюме: причину обращения и следующий шаг. Для живого распознавания нужна потоковая модель, например Parakeet CTC или многоязычная Parakeet RNNT 1.1B, поскольку NVIDIA ASR NIM запускает Whisper только офлайн. После звонка подойдут офлайн-модели, например Parakeet TDT 0.6B v3 на 25 европейских языков, среди которых есть украинский и русский.

Если телефонная платформа позволяет, пишите оператора и клиента в отдельные каналы: метку говорящего тогда дает канал, и модель диаризации не нужна. На смешанной записи диаризация может стоить больше времени GPU, чем распознавание: по странице NVIDIA ASR NIM от 7 октября 2026 года Parakeet 0.6B CTC на одной L40S при 32 параллельных запросах показывает офлайн RTFx 3 638 без диаризации и 101,5 с ней. Для моно-записей стоит протестировать Nemotron 3 Diarization (OpenMDW-1.1, 100M параметров, до восьми спикеров), о которой рассказано в статье о диаризации на собственном сервере.

Этап языковой модели читает длинный текст и пишет короткий. Тот же профиль у теста Llama 3.1 8B в MLPerf Inference: по описанию MLCommons, модель резюмирует новости CNN/DailyMail, в среднем 778 токенов на входе и 73 на выходе. Его результаты мы берем за ориентир для модели класса 8B.

Этап Класс модели Опубликованная цифра Карта
Распознавание в реальном времени потоковая, Parakeet 0.6B CTC до 190 английских потоков при 160 мс, 900 при 960 мс, одна L40S L40S
После звонка, английский офлайн, Parakeet 0.6B CTC RTFx 3 638 при 32 параллельных запросах, одна L40S L40S
Резюме звонка LLM класса 8B, пакетная обработка 50 965,3 токена/с, восемь карт, офлайн RTX PRO 6000 Server Edition
Подсказки оператору LLM класса 8B, с ограничением задержки 49 523,3 токена/с, восемь карт, сценарий server RTX PRO 6000 Server Edition

Источник: страница производительности NVIDIA ASR NIM, обновлена 07.10.2026 (L40S, английский, максимальное число потоков по NVIDIA); MLPerf Inference v6.1, data center, closed, available systems, Llama 3.1 8B, запись 6.1-0050, HPE ProLiant Compute DL380a Gen12 с восемью RTX PRO 6000 Blackwell Server Edition, получено с mlcommons.org 16.10.2026, результаты проверены MLCommons Association; сценарий server держит время до первого токена не более 2 с и время на выходной токен не более 100 мс. MLPerf является торговой маркой MLCommons Association.

Подсказки в реальном времени или обработка после звонка

После звонка запись распознают и резюмируют в очереди. Если резюме должно быть готово к следующему звонку, железо рассчитывают на час пик, а если оно может подождать до утра, то на суточный объем.

В режиме подсказок система распознает оба канала во время разговора и каждый раз, когда клиент договорил, просит языковую модель предложить ответ, поэтому железо считают под пик. По цифрам NVIDIA для L40S, 512 английских потоков с фрагментами 960 мс имели среднюю задержку 198,8 мс, а текст приходит шагами примерно в один фрагмент. С фрагментами 160 мс 64 потока имели 33,9 мс, но максимум падает с 900 до 190 потоков, так что карт нужно почти впятеро больше.

Каждый запрос подсказки отправляет весь разговор с начала. Автоматическое кеширование префиксов в vLLM повторно использует KV-кеш предыдущих запросов с общим началом, поэтому запрос считает в основном новую реплику. Целевое время до первого токена и время на токен проверьте при нагрузке часа пик.

Украинский и русский в потоковом распознавании

Потоковые результаты на L40S, которые мы смогли прочитать на странице NVIDIA, охватывают английский, испанский, вьетнамский и мандаринский. Для украинского или русского число потоков на карту определяет тест на ваших записях.

Открытая потоковая модель с обоими языками есть: Nemotron 3.5 ASR Streaming 0.6B (Hugging Face, 4 июня 2026 года, OpenMDW-1.1, 40 локалей, из них 32 без дообучения). В рейтинге Handy на FLEURS у нее WER 14,88 % для украинского и 12,61 % для русского, тогда как у офлайновой Parakeet TDT 0.6B v3 там же 6,84 % и 6,54 %. Замеров на суржике или смешанных разговорах мы не нашли. Какие открытые модели лучше распознают оба языка, рассказано в статье о локальном распознавании украинского и русского.

Как рассчитать GPU от часа пик

  1. Возьмите число одновременных разговоров в час пик, а как верхнюю границу число операторов в сети.
  2. Умножьте на два для отдельных каналов: получите число живых потоков и часов аудио в час пик.
  3. Для подсказок разделите потоки на запланированное число потоков на карту; мы закладываем около 70 % от максимума NVIDIA.
  4. Для обработки после звонка этапу распознавания нужен RTFx не меньше числа каналов в час пик, если резюме должны успевать, или суточных канало-часов, деленных на часы окна обработки, если могут подождать.
  5. Для языковой модели умножьте число звонков, завершенных за час, на выходные токены резюме, добавьте токены подсказок и разделите на запланированную скорость одной карты.

Пример к шагу 4: если 1 000 операторов разговаривают по 5 часов в сутки в два канала, получается 10 000 канало-часов в сутки. В ночном окне на 12 часов это RTFx около 833, а чтобы успевать за часом пик, когда на линии все операторы, нужно 2 000.

Сколько GPU нужно на 200, 500 и 1 000 операторов

Операторы и звонки в пик Живые потоки После звонка, L40S В реальном времени, L40S LLM, RTX PRO 6000
200 операторов, 200 звонков 400 1 (английский) 1 при 960 мс, 4 при 160 мс 1, с подсказками или без
500 операторов, 500 звонков 1 000 1 (английский) 2 при 960 мс, 8 при 160 мс 1, с подсказками или без
1 000 операторов, 1 000 звонков 2 000 2 (английский) 4 при 960 мс, 16 при 160 мс 1 для резюме, 2 с подсказками

Источник: наши оценки, а не измерения, по цифрам первой таблицы: живые потоки на уровне 70 % от максимумов NVIDIA (133 и 630 на L40S, английский); распознавание после звонка на половине опубликованной скорости (RTFx 1 819 на L40S, успевает за часом пик); языковая модель на половине скорости на карту из MLPerf Inference v6.1 (3 185 токенов/с офлайн, 3 095 в сценарии server; это наше деление, а не метрика MLPerf).

Таблица предполагает, что в час пик на линии каждый оператор, звонок длится в среднем 6 минут, резюме содержит 150 выходных токенов, а подсказка дает 80 токенов каждые 20 секунд на звонок. Если распознавание работает в реальном времени, резюме берут живую стенограмму, и столбец «после звонка» не нужен. Более жесткая цель задержки для подсказок, чем 100 мс на выходной токен в сценарии server, снижает скорость на карту.

Для 1 000 операторов в час пик завершается 10 000 звонков, и их резюме дают около 417 выходных токенов/с, примерно 13 % от запланированного на одну RTX PRO 6000. Подсказки добавляют около 4 000 токенов/с, поэтому с ними карт для языковой модели вдвое больше. Для Parakeet TDT v3 (25 языков) опубликованной скорости на этих картах мы не нашли, так что карту определит тест на ваших записях. ETE собирает серверы под эту схему с L40S и RTX PRO 6000 Server Edition, а инженеры Vixen.UNO при необходимости разворачивают Parakeet, vLLM и модель резюме класса 8B.

Записи и стенограммы: объем и сроки хранения

Кодек ITU-T G.711 задает «8000 samples per second» по восемь бит, так что один канал занимает 64 кбит/с, или, по нашему расчету, 28,8 МБ в час. 10 000 канало-часов от 1 000 операторов дают 288 ГБ аудио в сутки, а стенограммы и резюме занимают малую долю от этого.

Записи, по которым можно узнать клиента или оператора, являются персональными данными. Отдельного закона о записи разговоров коммерческими компаниями в Украине нет, поэтому нужно одно из шести оснований обработки по статье 11 Закона № 2297-VI и предварительное информирование по статье 12. На практике клиент в начале звонка слышит, что разговор записывают и расшифровывают и с какой целью, а запись хранят столько, сколько нужно для этой цели. В потребительском кредитовании Закон № 1734-VIII (ст. 25 ч. 4) прямо требует фиксировать аудио- или видеосредствами каждое непосредственное взаимодействие кредитодателя и коллектора с потребителем, предупреждать о записи и хранить записи 3 года.

Аудио, стенограмма и резюме могут иметь разные сроки хранения, а удаление должно убирать стенограмму и из хранилища, и из поискового индекса. Данные о здоровье, которые клиенты упоминают в разговоре, статья 7 Закона № 2297-VI относит к особым категориям, поэтому доступ к стенограммам давайте по ролям и журналируйте поиск. Эта справка не является юридической консультацией.

Эмоции операторов, мониторинг работников и EU AI Act

Специальной нормы об анализе разговоров работников с помощью AI в Украине нет, поэтому действуют общие правила: работника заранее и под подпись знакомят с условиями труда, в том числе с мониторингом (ст. 29 КЗоТ), а по статье 8 (ч. 2 п. 13) Закона № 2297-VI человек имеет право на защиту от автоматизированного решения с правовыми последствиями. Поэтому премию или увольнение не стоит отдавать только оценке модели.

Закона об искусственном интеллекте в Украине пока нет. EU AI Act важен для украинского контакт-центра, если систему выводят на рынок ЕС или ее результаты используются в ЕС. Статья 5(1)(f) со 2 февраля 2025 года запрещает системы AI, которые определяют эмоции людей на рабочем месте и в учебных заведениях, кроме случаев по медицинским причинам или соображениям безопасности. Обзор CMS руководящих принципов Еврокомиссии от 4 февраля 2025 года среди запрещенных примеров приводит отслеживание эмоций сотрудников колл-центра по голосу. Распознавание эмоций клиентов по голосу под запрет не попадает, но статья 50(3) со 2 августа 2026 года требует информировать людей, а приложение III, пункт 1(c), относит такую систему к высокорисковым. Оценка операторов по стенограммам может подпадать под пункт 4(b) приложения III. Требования к высокорисковым системам приложения III действуют со 2 декабря 2027 года, а резюме, поиск и подсказки среди целей приложения III не названы.

Технически канал оператора не должен попадать ни в одну модель, которая оценивает эмоции по голосу, и отдельные каналы делают это простым правилом маршрутизации.

Два сервера для отказоустойчивости

Подсказки в реальном времени становятся частью рабочего дня оператора, поэтому отказ сервера нужно планировать. Два сервера, на каждом из которых работают и модели речи, и языковая модель, позволяют одному работать на половине мощности, пока второй ремонтируют или обновляют. Запись от GPU-серверов не зависит, а задачи после звонка ждут в очереди. Учитывая отключения в Украине, серверы стоит планировать вместе с ИБП и генератором.

L40S и RTX PRO 6000 Server Edition пассивные и требуют воздушного потока серверного корпуса. Контейнеры NVIDIA NIM для промышленной эксплуатации требуют лицензии NVIDIA AI Enterprise, тогда как открытые движки вроде vLLM работают без нее.

Частые вопросы

Может ли AI для контакт-центра работать на собственных серверах?

Да. Открытые модели речи, например Whisper и Parakeet, и открытые языковые модели для резюме работают на GPU-серверах компании, так что записи и стенограммы не покидают ее сеть.

Какой сервер нужен для транскрибации звонков?

Посчитайте одновременные разговоры в час пик и удвойте их для отдельных каналов. NVIDIA указывает до 900 живых английских потоков на L40S при фрагментах 960 мс и 190 при 160 мс, а мы закладываем около 70 % от этих максимумов. Среди потоковых цифр NVIDIA для L40S украинского и русского нет, поэтому нужен тест на ваших записях.

Сколько GPU нужно для резюме звонков языковой моделью?

Меньше, чем для распознавания. В MLPerf Inference v6.1 восемь RTX PRO 6000 Server Edition выдали 50 965,3 токена/с на Llama 3.1 8B, и на половине этой скорости одна карта, по нашей оценке, покрывает резюме 1 000 операторов.

Что нужно для подсказок оператору в реальном времени?

Потоковое распознавание обоих каналов каждого разговора и языковая модель, которая отвечает в пределах целевой задержки в час пик. По нашей оценке, 1 000 одновременных звонков требуют 4 L40S при фрагментах 960 мс или 16 при 160 мс, а также двух RTX PRO 6000 Server Edition для резюме и подсказок.

Можно ли анализировать эмоции операторов контакт-центра?

В Украине прямого запрета нет, но действуют правила мониторинга работников (ст. 29 КЗоТ) и защита от автоматизированных решений по Закону № 2297-VI. Если система или ее результаты используются в ЕС, статья 5(1)(f) EU AI Act со 2 февраля 2025 года запрещает определять эмоции людей на рабочем месте. Оценку конкретного случая дает юрист.

Что из этого есть в ETE

  • NVIDIA L40S 48 ГБ: карта, для которой NVIDIA публикует цифры потокового распознавания Parakeet в ASR NIM.
  • NVIDIA RTX PRO 6000 Server Edition 96 ГБ: одна карта покрывает резюме 1 000 операторов, две добавляют подсказки в реальном времени.
  • ETE AI Server RTX PRO: четыре RTX PRO 6000 Server Edition по 96 ГБ в корпусе 4U; два таких сервера дают отказоустойчивую пару, где каждый держит и речь, и языковую модель.
  • ETE AI XL43: восемь RTX PRO 6000 Server Edition, столько же карт, сколько в результате MLPerf 6.1-0050.

Нужны серверы для AI в вашем контакт-центре?

Напишите число операторов, одновременных разговоров в час пик, языки звонков и то, что нужно в первую очередь: резюме после звонка или подсказки в реальном времени. ETE рассчитает конфигурацию карт и серверов, а при необходимости инженеры Vixen.UNO развернут модели распознавания и резюме.

Обсудить задачу

Автор: Инженер ETE