Puhujantunnistus litteroinnissa: miten tiedetään, kuka puhui

Puhujantunnistus (englanniksi speaker diarization) on automaattisen litteroinnin vaihe, joka vastaa kysymykseen "kuka puhui milloin": se jakaa tallenteen jaksoihin, ryhmittelee samalta ääneltä kuulostavat jaksot ja merkitsee ne nimillä Puhuja 1, Puhuja 2 ja niin edelleen. Se ei tiedä kenenkään nimeä; sinä tai osallistujat jo tunteva järjestelmä lisäätte nimet jälkikäteen. Se toimii hyvin selkeissä tallenteissa, joissa on muutama erottuva ääni, ja kompastelee päällekkäiseen puheeseen, samankaltaisiin ääniin, puhelinääneen ja suuriin ryhmiin.

Tämä opas selittää puhujien erottelun selkokielellä: miten se eroaa puhujan tunnistamisesta, miten se toimii konepellin alla, mikä sen sotkee ja miten saat litteraatin, jonka puhujamerkintöihin voi luottaa.

Mitä puhujantunnistus on?

Raaka litteraatti on yhtenäinen tekstimassa. Puhujien erottelu tekee siitä keskustelun:

Puhuja 1  00:00:03  Kiitos, että tulitte. Aloitetaanko budjetista?
Puhuja 2  00:00:07  Toki. Matkakuluissa ollaan noin kymmenen prosenttia yli.
Puhuja 1  00:00:12  Selvä, mistä se johtuu?

Englanninkielinen termi diarization tulee sanasta "diary", päiväkirja: järjestelmä pitää kirjaa siitä, mikä ääni on äänessä kullakin hetkellä. Useimmissa litterointityökaluissa erottelu tapahtuu puheentunnistuksen rinnalla. Puhemalli tuottaa sanat aikaleimoineen, diarisaatiomalli tuottaa puhujajaksot aikaleimoineen, ja ne kohdistetaan toisiinsa niin, että jokainen sana tai lause saa puhujamerkinnän.

Jos litteroit haastatteluja, kokouksia tai podcasteja, juuri nämä merkinnät tekevät tekstistä käyttökelpoista: voit lainata oikeaa henkilöä, laskea, kuka puhui eniten, ja silmäillä pitkää puhelua puhujittain.

Puhujien erottelu vai puhujan tunnistaminen

Nämä kaksi sekoitetaan usein, ja monet tuotesivut käyttävät sanaa "puhujantunnistus" väljästi molemmista.

Jotkin työkalut yhdistävät nämä. Kokousalusta tietää, kenen kirjautuneen osallistujan mikrofoni on aktiivinen, joten se voi näyttää nimet ilman minkäänlaista ääni-analyysiä. Joissakin sovelluksissa äänen voi merkitä kerran, minkä jälkeen sovellus yrittää tunnistaa sen myöhemmissä tallenteissa. Esimerkiksi OpenAI:n diarisoiva litterointimalli hyväksyy dokumentaationsa mukaan lyhyitä vertailuleikkeitä tunnetuista puhujista. Pelkkä puhujien erottelu ladatussa tiedostossa, jota useimmat litterointipalvelut tekevät, päättyy yleisnimiin, jotka nimeät itse uudelleen.

Miten puhujantunnistus toimii

Nykyiset järjestelmät eroavat yksityiskohdissa, mutta useimmat noudattavat samoja päävaiheita. Avoimen lähdekoodin pyannote.audio on yksi käytetyimmistä diarisaatiokirjastoista, ja Hervé Bredinin Interspeech 2023 -artikkeli "pyannote.audio 2.1 speaker diarization pipeline: principle, benchmark, and recipe" kuvaa sen putken kolmena päävaiheena: paikallinen segmentointi lyhyissä liukuvissa ikkunoissa, puhujaupotukset ja globaali klusterointi.

1. Etsi, missä on puhetta

Puheaktiivisuuden tunnistus merkitsee, missä tallenteen kohdissa on puhetta, ja hylkää hiljaisuuden, musiikin ja melun. Virheet kertautuvat: ohitettu puhe ei saa merkintää, ja puheeksi luultu melu voi synnyttää haamupuhujan.

2. Pilko puhe jaksoihin

Puhe leikataan lyhyiksi paloiksi, joissa ihanteellisesti puhuu vain yksi ihminen. Uudemmat neuroverkkomallit tarkastelevat muutamaa sekuntia kerrallaan ja arvioivat, mitkä puhujat ovat äänessä kussakin kehyksessä, mikä auttaa niitä myös merkitsemään päällekkäisen puheen.

3. Muunna jokainen jakso ääniupotukseksi

Neuroverkko muuntaa jokaisen jakson upotukseksi eli lukulistaksi, joka kuvaa, miltä ääni kuulostaa (sävelkorkeus, äänensävy, puhetapa), eikä sitä, mitä sanotaan. Saman ihmisen jaksojen upotusten pitäisi asettua lähelle toisiaan.

4. Klusteroi upotukset

Klusterointialgoritmi ryhmittelee samankaltaiset upotukset. Jokaisesta ryhmästä tulee puhuja. Vaikeinta on päättää, montako ryhmää on: liian vähän, ja kaksi ihmistä sulautuu yhdeksi merkinnäksi; liian monta, ja yksi ihminen pilkkoutuu useaksi. Joissakin palveluissa voit kertoa odotetun puhujamäärän tämän helpottamiseksi.

5. Kohdista sanoihin

Lopuksi puhujajaksot sovitetaan puheentunnistuksen sana-aikaleimoihin, jotta litteraatin jokainen rivi saa merkinnän. Rajakohtien virheet ovat yleisiä: vastauksen ensimmäinen sana voi päätyä edelliselle puhujalle.

Tutkijat mittaavat laatua diarisaation virheasteella (DER), joka yhdistää ohitetun puheen, väärät hälytykset ja sekoitetut puhujat. Julkaistut luvut vaihtelevat valtavasti aineistojen välillä selkeästä yleisradioäänestä meluisiin monen hengen kokouksiin, joten yksittäinen "tarkkuusluku" kertoo vähän omista tallenteistasi.

Mikä sotkee puhujien erottelun

• Päällekkäinen puhe. Kun kaksi puhuu yhtä aikaa, toinen ääni yleensä voittaa merkinnän, ja toisen sanat voivat kadota tai päätyä väärälle puhujalle.
• Samankaltaiset äänet. Kahden saman ikäisen, sukupuolisen ja murteisen ihmisen upotukset asettuvat lähelle toisiaan ja voivat sulautua.
• Puhelin- ja pakattu ääni. Kapeakaistaiset puhelinlinjat ja voimakkaasti pakatut ääniviestit poistavat paljon yksityiskohtia, joihin upotukset nojaavat.
• Monta puhujaa. Jokainen lisä-ääni vaikeuttaa klusterointia, varsinkin jos osa puhuu vain hetken.
• Lyhyet puheenvuorot. "Joo", "aivan" ja muut yhden sanan välihuudahdukset ovat liian lyhyitä luotettavan upotuksen tuottamiseen.
• Yksi kaukana oleva mikrofoni. Huoneen keskellä oleva kannettava poimii kaikua ja epätasaisia tasoja; sama ihminen voi kuulostaa erilaiselta istumapaikastaan riippuen.
• Muuttuvat olosuhteet. Puhuja, joka liikkuu, vaihtaa kuulokkeista kaiuttimeen tai alkaa kuiskata, voi jakautua kahdeksi merkinnäksi.
• Taustamelu ja musiikki. Molemmat voidaan luulla puheeksi tai ne voivat sumentaa äänen piirteitä.

Näin erotat puhujat litteraatissa luotettavammin

Suurin osa hyödystä tulee äänityksestä, ei ohjelmistosta. Vinkkimme litteroinnin tarkkuuteen käsittelevät äänenlaatua yleisesti; puhujien osalta:

• Anna jokaiselle oma mikrofoni, jos mahdollista, tai pidä ainakin kaikki samalla etäisyydellä yhteisestä mikrofonista.
• Jos voit äänittää jokaisen omalle raidalleen (podcast-kokoonpano tai stereopuhelutallenne, jossa kumpikin osapuoli on omalla kanavallaan), litteroi raidat erikseen. Erilliset kanavat ovat luotettavampia kuin mikään äänten klusterointi.
• Pyydä ihmisiä olemaan puhumatta päällekkäin niissä kohdissa, jotka tarvitset sanatarkasti, ja jättämään pieni tauko ennen vastaamista.
• Vältä kaiutinpuhelinta ja huonekaiuttimien kautta kulkevaa videopuheluääntä, kun suora äänitys on mahdollinen.
• Pyydä jokaista osallistujaa sanomaan nimensä alussa. Se ei kouluta mallia, mutta nopeuttaa merkintöjen nimeämistä.
• Pidä yksi keskustelu yhdessä tiedostossa aina kun voit. Jos litteroit sen osissa, merkinnät eivät täsmää: ensimmäisen osan Puhuja 1 voi olla toisen osan Puhuja 2.
• Tarkista litteraatin ensimmäiset minuutit. Jos kaksi ihmistä on sulautunut yhteen, ongelma jatkuu yleensä koko tiedoston ajan.

Haastatteluista mikrofonien sijoittelua ja suostumusta käsittelee haastattelujen litterointioppaamme; puheluista kerromme oppaassa kokousten litterointi Google Meetissä, Zoomissa ja Teamsissa.

Puhujien nimeäminen ja korjaaminen Audiotextassa

Kun lataat tiedoston, liität linkin tai äänität mikrofonilla Audiotextassa, litteraatti palautuu puhujamerkintöineen ja aikaleimoineen. Jos haluat Puhuja 1:n ja Puhuja 2:n tilalle oikeat nimet, nimeä puhuja uudelleen editorissa; uusi nimi koskee puhujan jaksoja koko litteraatissa. Editori korostaa sanat toiston aikana, ja sanaa napsauttamalla hyppäät kyseiseen kohtaan äänitteessä, joten epäilyttävän puheenvuoron voi nopeasti tarkistaa korvakuulolta ja korjata.

Nimeä ja korjaa ennen vientiä, jotta nimet siirtyvät TXT-, SRT- ja VTT-tiedostoihin (kaikki saatavilla ilmaisessa paketissa, ilman tiliä) tai Pro-paketin DOCX-, PDF-, CSV- ja JSON-tiedostoihin. Tekstitystiedostoissa puhujien nimet auttavat katsojaa seuraamaan dialogia; CSV- ja JSON-muodossa niiden avulla voit analysoida, kuka sanoi mitä.

Kuten jokainen puhujantunnistusjärjestelmä, Audiotexta toimii parhaiten selkeällä äänellä ja erottuvilla äänillä, eikä se siirrä puhujien nimiä tiedostosta toiseen: jokainen tallenne alkaa uusilla, nimettömillä merkinnöillä.

Työkalut, jotka litteroivat puhujamerkinnöin

Puhujamerkinnät ovat nykyään yleisiä, mutta ne on toteutettu eri tavoin. Tässä lyhyt katsaus, joka perustuu kunkin toimittajan dokumentaatioon tai, kun niin on mainittu, kolmansien osapuolten kuvauksiin (tarkistettu lokakuussa 2026; ominaisuudet muuttuvat, joten varmista tiedot toimittajan sivustolta).

Kokousalustoilla on tässä todellinen etu: kun kaikki liittyvät omalta tililtään, alusta tietää nimet arvaamatta niitä äänistä. Äänijälkiä muistavat sovellukset, kuten Otter, säästävät nimeämisaikaa, jos äänität samoja ihmisiä usein. Haastatteluista, puheluista tai podcasteista ladatuissa tallenteissa äänipohjainen puhujien erottelu on ainoa vaihtoehto, ja nopea tarkistus ja nimeäminen editorissa kuuluu työhön.