Αναγνώριση ομιλητών (diarization): πώς ξέρει ποιος μίλησε

Η αναγνώριση ομιλητών (speaker diarization) είναι το βήμα της αυτόματης απομαγνητοφώνησης που απαντά στο «ποιος μίλησε πότε»: χωρίζει μια ηχογράφηση σε τμήματα, ομαδοποιεί όσα ακούγονται σαν την ίδια φωνή και τα ονομάζει Ομιλητής 1, Ομιλητής 2 κ.ο.κ. Δεν ξέρει το όνομα κανενός· τα ονόματα τα προσθέτετε εσείς ή ένα σύστημα που ήδη γνωρίζει τους συμμετέχοντες. Λειτουργεί καλά σε καθαρές ηχογραφήσεις με λίγες, διακριτές φωνές και δυσκολεύεται με ταυτόχρονες ομιλίες, φωνές που μοιάζουν, τηλεφωνικό ήχο και μεγάλες ομάδες.

Ο οδηγός αυτός εξηγεί με απλά λόγια τι είναι το diarization, σε τι διαφέρει από την αναγνώριση φωνής, πώς δουλεύει στο παρασκήνιο, τι το χαλάει και πώς παίρνετε απομαγνητοφώνηση με ετικέτες ομιλητών που μπορείτε να εμπιστευτείτε.

Τι είναι η αναγνώριση ομιλητών (speaker diarization);

Μια «ωμή» απομαγνητοφώνηση είναι ένας τοίχος κειμένου. Το diarization τη μετατρέπει σε συζήτηση:

Ομιλητής 1  00:00:03  Ευχαριστώ που ήρθατε. Ξεκινάμε με τον προϋπολογισμό;
Ομιλητής 2  00:00:07  Βεβαίως. Στα ταξίδια είμαστε περίπου δέκα τοις εκατό πάνω.
Ομιλητής 1  00:00:12  Εντάξει, από πού προέρχεται αυτό;

Ο όρος προέρχεται από το αγγλικό «diary» (ημερολόγιο): το σύστημα κρατά ένα αρχείο με το ποια φωνή είναι ενεργή κάθε στιγμή. Στα περισσότερα εργαλεία απομαγνητοφώνησης, το diarization τρέχει παράλληλα με την αναγνώριση ομιλίας. Το μοντέλο ομιλίας παράγει λέξεις με χρονοσημάνσεις, το μοντέλο diarization παράγει τμήματα ομιλητών με χρονοσημάνσεις, και τα δύο ευθυγραμμίζονται ώστε κάθε λέξη ή πρόταση να πάρει ετικέτα ομιλητή.

Αν απομαγνητοφωνείτε συνεντεύξεις, συσκέψεις ή podcasts, αυτές οι ετικέτες κάνουν το κείμενο χρήσιμο: παραθέτετε το σωστό πρόσωπο, βλέπετε ποιος μίλησε περισσότερο και διατρέχετε μια μεγάλη κλήση ανά ομιλητή.

Diarization ή αναγνώριση φωνής;

Τα δύο συχνά μπερδεύονται και πολλές σελίδες προϊόντων χρησιμοποιούν χαλαρά τον όρο «αναγνώριση ομιλητή» και για τα δύο.

Κάποια εργαλεία συνδυάζουν τα δύο. Μια πλατφόρμα συσκέψεων ξέρει ποιου συνδεδεμένου συμμετέχοντα το μικρόφωνο είναι ενεργό, οπότε μπορεί να δείχνει ονόματα χωρίς καμία ανάλυση φωνής. Κάποιες εφαρμογές σάς αφήνουν να επισημάνετε μια φωνή μία φορά και μετά προσπαθούν να την αναγνωρίσουν σε επόμενες ηχογραφήσεις. Το μοντέλο απομαγνητοφώνησης με diarization της OpenAI, για παράδειγμα, δέχεται σύντομα δείγματα αναφοράς για γνωστούς ομιλητές, σύμφωνα με την τεκμηρίωσή του. Το απλό diarization σε ένα αρχείο που ανεβάζετε, που είναι αυτό που κάνουν οι περισσότερες υπηρεσίες, καταλήγει σε γενικές ετικέτες που μετονομάζετε εσείς.

Πώς λειτουργεί το speaker diarization

Τα σύγχρονα συστήματα διαφέρουν στις λεπτομέρειες, αλλά τα περισσότερα ακολουθούν τα ίδια βασικά στάδια. Η εργαλειοθήκη ανοιχτού κώδικα pyannote.audio, μία από τις πιο διαδεδομένες βιβλιοθήκες diarization, περιγράφει τη ροή της στην εργασία του Hervé Bredin στο Interspeech 2023 «pyannote.audio 2.1 speaker diarization pipeline: principle, benchmark, and recipe» σε τρία κύρια στάδια: τοπική κατάτμηση σε σύντομα κυλιόμενα παράθυρα, ενσωματώσεις φωνής (embeddings) και καθολική ομαδοποίηση.

1. Εντοπισμός της ομιλίας

Η ανίχνευση φωνητικής δραστηριότητας σημειώνει ποια μέρη της ηχογράφησης περιέχουν ομιλία και απορρίπτει σιωπή, μουσική και θόρυβο. Τα λάθη εδώ μεταφέρονται παρακάτω: ομιλία που χάθηκε δεν παίρνει ετικέτα, και θόρυβος που περάστηκε για ομιλία μπορεί να δημιουργήσει έναν «φανταστικό» ομιλητή.

2. Κατάτμηση της ομιλίας

Η ομιλία κόβεται σε μικρά κομμάτια όπου, ιδανικά, μιλά μόνο ένα άτομο. Τα νεότερα νευρωνικά μοντέλα εξετάζουν λίγα δευτερόλεπτα κάθε φορά και εκτιμούν ποιοι ομιλητές είναι ενεργοί σε κάθε καρέ, κάτι που τους επιτρέπει να επισημαίνουν και τις ταυτόχρονες ομιλίες.

3. Μετατροπή κάθε τμήματος σε embedding φωνής

Ένα νευρωνικό δίκτυο μετατρέπει κάθε τμήμα σε embedding: μια σειρά αριθμών που αποτυπώνει πώς ακούγεται η φωνή (τονικό ύψος, χροιά, τρόπος ομιλίας) και όχι τι λέγεται. Τα τμήματα του ίδιου ατόμου πρέπει να δίνουν embeddings που βρίσκονται κοντά μεταξύ τους.

4. Ομαδοποίηση των embeddings

Ένας αλγόριθμος ομαδοποίησης (clustering) συγκεντρώνει τα παρόμοια embeddings. Κάθε ομάδα γίνεται ένας ομιλητής. Το δύσκολο είναι να αποφασιστεί πόσες ομάδες υπάρχουν: πολύ λίγες και δύο άνθρωποι ενώνονται σε μία ετικέτα· πάρα πολλές και ένα άτομο σπάει σε πολλές ετικέτες. Κάποιες υπηρεσίες σάς αφήνουν να δηλώσετε τον αναμενόμενο αριθμό ομιλητών για να βοηθήσετε.

5. Ευθυγράμμιση με τις λέξεις

Τέλος, τα τμήματα ομιλητών αντιστοιχίζονται με τις χρονοσημάνσεις λέξεων της αναγνώρισης ομιλίας, ώστε κάθε γραμμή της απομαγνητοφώνησης να πάρει ετικέτα. Τα λάθη στα όρια είναι συνηθισμένα: η πρώτη λέξη μιας απάντησης μπορεί να καταλήξει στον προηγούμενο ομιλητή.

Οι ερευνητές μετρούν την ποιότητα με το ποσοστό σφάλματος diarization (DER), που συνδυάζει ομιλία που χάθηκε, ψευδείς συναγερμούς και μπερδεμένους ομιλητές. Τα δημοσιευμένα νούμερα διαφέρουν πάρα πολύ από σύνολο δεδομένων σε σύνολο δεδομένων, από καθαρό ραδιοτηλεοπτικό ήχο μέχρι θορυβώδεις συσκέψεις πολλών ατόμων, οπότε ένας μοναδικός αριθμός «ακρίβειας» λέει λίγα για τις δικές σας ηχογραφήσεις.

Τι χαλάει τον διαχωρισμό ομιλητών

• Ταυτόχρονες ομιλίες. Όταν δύο άνθρωποι μιλούν μαζί, η μία φωνή συνήθως «κερδίζει» την ετικέτα και τα λόγια της άλλης μπορεί να χαθούν ή να αποδοθούν λάθος.
• Φωνές που μοιάζουν. Δύο άτομα παρόμοιας ηλικίας, φύλου και προφοράς δίνουν embeddings κοντά μεταξύ τους που μπορεί να ενωθούν.
• Τηλεφωνικός και συμπιεσμένος ήχος. Οι στενόζωνες τηλεφωνικές γραμμές και τα πολύ συμπιεσμένα φωνητικά μηνύματα αφαιρούν μεγάλο μέρος της λεπτομέρειας στην οποία βασίζονται τα embeddings.
• Πολλοί ομιλητές. Κάθε επιπλέον φωνή δυσκολεύει την ομαδοποίηση, ειδικά αν κάποιοι μιλούν μόνο για λίγο.
• Σύντομες παρεμβάσεις. Τα «ναι», «σωστά» και άλλες μονολεκτικές παρεμβάσεις είναι πολύ σύντομες για να δώσουν αξιόπιστο embedding.
• Ένα μακρινό μικρόφωνο. Ένας φορητός υπολογιστής στη μέση της αίθουσας πιάνει αντήχηση και άνισες εντάσεις· το ίδιο άτομο μπορεί να ακούγεται διαφορετικά ανάλογα με το πού κάθεται.
• Μεταβαλλόμενες συνθήκες. Ένας ομιλητής που κινείται, περνά από ακουστικά σε ανοιχτή ακρόαση ή αρχίζει να ψιθυρίζει μπορεί να χωριστεί σε δύο ετικέτες.
• Θόρυβος και μουσική στο φόντο. Μπορεί να περαστούν για ομιλία ή να θολώσουν τα χαρακτηριστικά της φωνής.

Πώς να ξεχωρίζετε πιο αξιόπιστα τους ομιλητές σε μια απομαγνητοφώνηση

Τα περισσότερα κέρδη έρχονται από την ηχογράφηση, όχι από το λογισμικό. Οι συμβουλές μας για ακρίβεια στην απομαγνητοφώνηση καλύπτουν την ποιότητα ήχου γενικά· ειδικά για τους ομιλητές:

• Δώστε σε κάθε άτομο δικό του μικρόφωνο αν μπορείτε, ή τουλάχιστον κρατήστε όλους σε παρόμοια απόσταση από ένα κοινό.
• Αν μπορείτε να ηχογραφήσετε κάθε άτομο σε ξεχωριστό κανάλι (στήσιμο podcast ή στερεοφωνική ηχογράφηση κλήσης με μία πλευρά ανά κανάλι), απομαγνητοφωνήστε τα κανάλια χωριστά. Τα ξεχωριστά κανάλια είναι πιο αξιόπιστα από οποιαδήποτε ομαδοποίηση φωνών.
• Ζητήστε από τους συμμετέχοντες να μη μιλούν ο ένας πάνω στον άλλον στα σημεία που χρειάζεστε κατά λέξη και να αφήνουν μια μικρή παύση πριν απαντήσουν.
• Αποφύγετε την ανοιχτή ακρόαση και τον ήχο βιντεοκλήσης από ηχεία δωματίου όταν είναι δυνατή η απευθείας ηχογράφηση.
• Ζητήστε από κάθε συμμετέχοντα να πει το όνομά του στην αρχή. Δεν εκπαιδεύει το μοντέλο, αλλά κάνει γρήγορη τη μετονομασία των ετικετών.
• Κρατήστε μία συζήτηση σε ένα αρχείο όπου μπορείτε. Αν την απομαγνητοφωνήσετε σε κομμάτια, οι ετικέτες δεν θα ταιριάζουν: ο Ομιλητής 1 στο πρώτο μέρος μπορεί να είναι ο Ομιλητής 2 στο δεύτερο.
• Ελέγξτε τα πρώτα λεπτά της απομαγνητοφώνησης. Αν δύο άτομα έχουν ενωθεί, το πρόβλημα συνήθως συνεχίζεται σε όλο το αρχείο.

Για συνεντεύξεις, ο οδηγός μας για την απομαγνητοφώνηση συνεντεύξεων καλύπτει την τοποθέτηση μικροφώνου και τη συναίνεση· για κλήσεις, δείτε τον οδηγό για την απομαγνητοφώνηση συσκέψεων σε Google Meet, Zoom και Teams.

Μετονομασία και διόρθωση ομιλητών στο Audiotexta

Όταν ανεβάζετε ένα αρχείο, επικολλάτε έναν σύνδεσμο ή ηχογραφείτε από το μικρόφωνο στο Audiotexta, η απομαγνητοφώνηση επιστρέφει με ετικέτες ομιλητών και χρονοσημάνσεις. Για να γίνουν ο Ομιλητής 1 και ο Ομιλητής 2 πραγματικά ονόματα, μετονομάστε τον ομιλητή στον επεξεργαστή· το νέο όνομα εφαρμόζεται σε όλα τα τμήματα αυτού του ομιλητή σε όλη την απομαγνητοφώνηση. Ο επεξεργαστής επισημαίνει τις λέξεις κατά την αναπαραγωγή και σας αφήνει να κάνετε κλικ σε οποιαδήποτε λέξη για να πάτε σε εκείνο το σημείο του ήχου, οπότε ελέγχετε γρήγορα με το αυτί μια αμφίβολη εναλλαγή και τη διορθώνετε.

Μετονομάστε και διορθώστε πριν από την εξαγωγή, ώστε τα ονόματα να περάσουν σε TXT, SRT και VTT (διαθέσιμα στο δωρεάν πλάνο, και χωρίς λογαριασμό) ή σε DOCX, PDF, CSV και JSON στο Pro. Στα αρχεία υπότιτλων, τα ονόματα ομιλητών βοηθούν τον θεατή να παρακολουθεί τον διάλογο· σε CSV ή JSON σάς επιτρέπουν να αναλύσετε ποιος είπε τι.

Όπως κάθε σύστημα diarization, το Audiotexta αποδίδει καλύτερα σε καθαρό ήχο με διακριτές φωνές και δεν μεταφέρει ονόματα ομιλητών από ένα αρχείο στο επόμενο: κάθε ηχογράφηση ξεκινά με νέες, ανώνυμες ετικέτες.

Εργαλεία που απομαγνητοφωνούν με ετικέτες ομιλητών

Οι ετικέτες ομιλητών είναι πλέον συνηθισμένες, αλλά υλοποιούνται διαφορετικά. Ακολουθεί μια σύντομη επισκόπηση με βάση την τεκμηρίωση κάθε κατασκευαστή ή, όπου σημειώνεται, περιγραφές τρίτων (έλεγχος Οκτώβριος 2026· οι λειτουργίες αλλάζουν, οπότε επιβεβαιώστε στον ιστότοπο του κατασκευαστή).

Οι πλατφόρμες συσκέψεων έχουν εδώ πραγματικό πλεονέκτημα: όταν όλοι συνδέονται από τον δικό τους λογαριασμό, ξέρουν τα ονόματα χωρίς να μαντεύουν από τις φωνές. Οι εφαρμογές που θυμούνται φωνητικά αποτυπώματα, όπως το Otter, γλιτώνουν χρόνο μετονομασίας αν ηχογραφείτε συχνά τους ίδιους ανθρώπους. Για ηχογραφήσεις που ανεβάζετε από συνεντεύξεις, τηλεφωνικές κλήσεις ή podcasts, το diarization με βάση τη φωνή είναι η μόνη επιλογή, και ένας γρήγορος έλεγχος και μετονομασία στον επεξεργαστή είναι μέρος της δουλειάς.