Розпізнавання мовців: як транскрипт знає, хто говорив

Діаризація, яку в побуті часто називають розпізнаванням мовців, — це етап автоматичної транскрипції, що відповідає на питання «хто й коли говорив»: запис ділиться на сегменти, сегменти, схожі на той самий голос, групуються й отримують позначки «Мовець 1», «Мовець 2» і так далі. Імен система не знає: їх додаєте ви або система, якій учасники вже відомі. Діаризація добре працює на чистих записах із кількома виразними голосами й погано справляється з одночасним мовленням, схожими голосами, телефонним звуком і великими групами.

У цьому посібнику пояснюємо діаризацію простими словами: чим вона відрізняється від ідентифікації мовця, як працює всередині, що їй заважає і як отримати транскрипт із позначками мовців, яким можна довіряти.

Що таке діаризація мовців?

Сирий транскрипт — це суцільна стіна тексту. Діаризація перетворює його на розмову:

Мовець 1  00:00:03  Дякую, що долучилися. Почнемо з бюджету?
Мовець 2  00:00:07  Звісно. На відрядження ми перевищили десь на десять відсотків.
Мовець 1  00:00:12  Гаразд, а що саме дає це перевищення?

Термін походить від англійського «diary» (щоденник): система веде журнал того, який голос звучить у кожен момент. У більшості сервісів транскрибування діаризація працює паралельно з розпізнаванням мовлення. Мовленнєва модель видає слова з мітками часу, модель діаризації — сегменти мовців із мітками часу, а потім їх зіставляють, щоб кожне слово чи речення отримало позначку мовця.

Якщо ви транскрибуєте інтерв'ю, наради чи подкасти, саме ці позначки роблять текст придатним до роботи: можна цитувати правильну людину, порахувати, хто говорив найбільше, і переглядати довгий дзвінок за мовцями.

Діаризація чи ідентифікація мовця

Ці поняття часто плутають, а на багатьох сторінках продуктів «розпізнаванням мовців» або «speaker identification» вільно називають і те, і те.

Деякі інструменти поєднують обидва підходи. Платформа нарад знає, чий мікрофон зараз активний, тож може показувати імена без жодного аналізу голосу. Деякі застосунки дають змогу один раз позначити голос, а потім намагаються впізнати його в наступних записах. Модель транскрипції з діаризацією від OpenAI, наприклад, приймає короткі еталонні фрагменти відомих мовців, згідно з її документацією. Звичайна діаризація завантаженого файлу, яку роблять більшість сервісів транскрибування, закінчується загальними позначками, які ви перейменовуєте.

Як працює діаризація

Сучасні системи відрізняються деталями, але більшість проходять ті самі загальні етапи. Відкритий набір інструментів pyannote.audio, одна з найпоширеніших бібліотек діаризації, у статті Ерве Бредена на Interspeech 2023 «pyannote.audio 2.1 speaker diarization pipeline: principle, benchmark, and recipe» описує свій конвеєр як три основні етапи: локальну сегментацію в коротких ковзних вікнах, ембединги мовців і глобальну кластеризацію.

1. Знайти, де є мовлення

Детектор голосової активності позначає частини запису з мовленням і відкидає тишу, музику та шум. Помилки тут тягнуться далі: пропущене мовлення не отримує позначки, а шум, прийнятий за мовлення, може створити фантомного мовця.

2. Поділити мовлення на сегменти

Мовлення розрізають на короткі фрагменти, де в ідеалі говорить лише одна людина. Новіші нейромережеві моделі аналізують по кілька секунд і оцінюють, які мовці активні в кожному кадрі, що також дає змогу позначати одночасне мовлення.

3. Перетворити кожен сегмент на ембединг голосу

Нейромережа перетворює кожен сегмент на ембединг — набір чисел, що описує, як звучить голос (висота, тембр, манера мовлення), а не що саме сказано. Сегменти однієї людини мають давати ембединги, розташовані близько один до одного.

4. Кластеризувати ембединги

Алгоритм кластеризації групує схожі ембединги. Кожна група стає мовцем. Найскладніше — визначити, скільки груп насправді: замало — і дві людини зливаються в одну позначку; забагато — і одну людину розкидає по кількох позначках. Деякі сервіси дають змогу вказати очікувану кількість мовців, щоб полегшити це.

5. Зіставити зі словами

Насамкінець сегменти мовців зіставляють із мітками часу слів від розпізнавання мовлення, щоб кожен рядок транскрипту отримав позначку. Помилки на межах трапляються часто: перше слово відповіді може потрапити до попереднього мовця.

Дослідники вимірюють якість показником DER (diarization error rate), що поєднує пропущене мовлення, хибні спрацювання й переплутаних мовців. Опубліковані цифри дуже різняться між наборами даних — від чистого ефірного звуку до галасливих нарад з багатьма учасниками, — тож одна цифра «точності» мало що скаже про ваші власні записи.

Що заважає розділенню мовців

• Одночасне мовлення. Коли двоє говорять разом, позначку зазвичай отримує один голос, а слова іншого можуть загубитися або приписатися не тому.
• Схожі голоси. Двоє людей схожого віку, статі й вимови дають близькі ембединги, які можуть злитися.
• Телефонний і стиснений звук. Вузькосмугові телефонні лінії й сильно стиснені голосові повідомлення з Telegram чи Viber втрачають багато деталей, на які спираються ембединги.
• Багато мовців. Кожен додатковий голос ускладнює кластеризацію, особливо якщо хтось говорить лише зрідка.
• Короткі репліки. «Ага», «так» та інші однослівні вставки надто короткі для надійного ембединга.
• Один віддалений мікрофон. Ноутбук посеред кімнати ловить відлуння й нерівну гучність; та сама людина звучить по-різному залежно від того, де сидить.
• Зміна умов. Мовця, який пересувається, перемикається з гарнітури на гучний зв'язок або починає шепотіти, може розділити на дві позначки.
• Фоновий шум і музика. Їх можна сплутати з мовленням, або вони розмивають характеристики голосу.

Як надійніше розділити мовців у транскрипті

Більшість покращень дає запис, а не програма. Якість звуку загалом описано в наших порадах щодо точності транскрипції; щодо мовців зокрема:

• Дайте кожному власний мікрофон, якщо можете, або хоча б посадіть усіх на однаковій відстані від спільного.
• Якщо можна записати кожну людину на окрему доріжку (як у подкастах або в стерео-записі дзвінка, де кожна сторона в окремому каналі), транскрибуйте доріжки окремо. Окремі канали надійніші за будь-яку кластеризацію голосів.
• Попросіть не перебивати одне одного в тих частинах, які потрібні дослівно, і робити коротку паузу перед відповіддю.
• Уникайте гучного зв'язку та звуку відеодзвінка через колонки в кімнаті, якщо можливий прямий запис.
• Попросіть кожного учасника назватися на початку. Модель це не навчає, але перейменування позначок стає швидким.
• Тримайте одну розмову в одному файлі, якщо можете. Якщо транскрибувати частинами, позначки не збігатимуться: «Мовець 1» у першій частині може стати «Мовцем 2» у другій.
• Перевірте перші кілька хвилин транскрипту. Якщо двох людей злито в одну, проблема зазвичай тягнеться через увесь файл.

Про розміщення мікрофона й згоду на запис читайте в посібнику з транскрибування інтерв'ю, а для дзвінків — у посібнику з транскрибування нарад у Google Meet, Zoom і Teams.

Перейменування й виправлення мовців в Audiotexta

Коли ви завантажуєте файл, вставляєте посилання або записуєте з мікрофона в Audiotexta, транскрипт повертається з позначками мовців і мітками часу. Щоб перетворити «Мовця 1» і «Мовця 2» на справжні імена, перейменуйте мовця в редакторі: нове ім'я застосується до всіх його сегментів у транскрипті. Редактор підсвічує слова під час відтворення й дає змогу клацнути будь-яке слово, щоб перейти до цього місця в аудіо, тож сумнівну репліку легко перевірити на слух і виправити.

Перейменовуйте й виправляйте до експорту, щоб імена потрапили в TXT, SRT і VTT (усі доступні на безкоштовному тарифі навіть без облікового запису) або в DOCX, PDF, CSV і JSON на тарифі Pro. У файлах субтитрів імена мовців допомагають глядачам стежити за діалогом, а в CSV чи JSON дають змогу аналізувати, хто що сказав.

Як і будь-яка система діаризації, Audiotexta найкраще працює на чистому звуці з виразними голосами й не переносить імена мовців з одного файлу в інший: кожен запис починається з нових анонімних позначок.

Сервіси, що транскрибують із позначками мовців

Позначки мовців тепер трапляються часто, але реалізовані по-різному. Ось короткий огляд на основі документації кожного постачальника або, де зазначено, сторонніх описів (перевірено в жовтні 2026 року; функції змінюються, тож звіряйтеся із сайтом постачальника).

Платформи нарад тут мають реальну перевагу: коли кожен заходить зі свого облікового запису, вони знають імена без жодних здогадок за голосом. Застосунки, що запам'ятовують «відбитки голосу», як-от Otter, економлять час на перейменуванні, якщо ви часто записуєте тих самих людей. Для завантажених записів інтерв'ю, телефонних дзвінків чи подкастів діаризація за голосом — єдиний варіант, а швидка перевірка й перейменування в редакторі — звичайна частина роботи.