זיהוי דוברים בתמלול: איך התמליל יודע מי דיבר ומתי

זיהוי דוברים (speaker diarization) הוא השלב בתמלול אוטומטי שעונה על השאלה "מי דיבר ומתי": הוא מחלק את ההקלטה למקטעים, מקבץ את המקטעים שנשמעים כמו אותו קול, ומתייג אותם כדובר 1, דובר 2 וכן הלאה. הוא לא יודע את השם של אף אחד; אתם, או מערכת שכבר מכירה את המשתתפים, מוסיפים את השמות אחר כך. הוא עובד היטב בהקלטות ברורות עם כמה קולות נבדלים, ומתקשה בדיבור חופף, בקולות דומים, באודיו טלפוני ובקבוצות גדולות.

המדריך מסביר את התהליך בפשטות, במה הוא שונה מזיהוי קולי של דובר, איך הוא עובד מאחורי הקלעים, מה משבש אותו, ואיך מקבלים תמליל עם תוויות דוברים שאפשר לסמוך עליהן.

מה זה speaker diarization?

תמליל גולמי הוא קיר של טקסט. זיהוי דוברים הופך אותו לשיחה:

דובר 1  00:00:03  תודה שהצטרפתם. נתחיל מהתקציב?
דובר 2  00:00:07  בטח. אנחנו בערך עשרה אחוזים מעל בנסיעות.
דובר 1  00:00:12  אוקיי, מה גורם לזה?

המונח האנגלי מגיע מהמילה diary, יומן: המערכת מנהלת יומן של איזה קול פעיל בכל רגע. ברוב כלי התמלול, זיהוי הדוברים רץ במקביל לזיהוי הדיבור. מודל הדיבור מפיק מילים עם חותמות זמן, מודל ה-diarization מפיק מקטעי דוברים עם חותמות זמן, והשניים מיושרים כך שכל מילה או משפט מקבלים תווית דובר.

אם אתם מתמללים ראיונות, פגישות או פודקאסטים, התוויות האלה הן מה שהופך את הטקסט לשמיש: אפשר לצטט את האדם הנכון, לספור מי דיבר הכי הרבה, ולרפרף על שיחה ארוכה לפי דובר.

זיהוי דוברים מול זיהוי קולי

השניים מתבלבלים לעיתים קרובות, ודפי מוצר רבים משתמשים במונח "speaker identification" באופן רופף לשניהם.

יש כלים שמשלבים בין השניים. פלטפורמת פגישות יודעת איזה מיקרופון של משתתף מחובר פעיל, ולכן היא יכולה להציג שמות בלי שום ניתוח קולי. יש אפליקציות שמאפשרות לתייג קול פעם אחת ואז מנסות לזהות אותו בהקלטות הבאות. מודל התמלול עם זיהוי דוברים של OpenAI, למשל, מקבל קטעי ייחוס קצרים לדוברים מוכרים, לפי התיעוד שלו. זיהוי דוברים רגיל בקובץ שהועלה, וזה מה שרוב שירותי התמלול עושים, מסתיים בתוויות כלליות שאתם משנים את שמן.

איך עובד זיהוי דוברים

מערכות מודרניות שונות בפרטים, אבל רובן עוברות את אותם שלבים כלליים. ערכת הכלים בקוד פתוח pyannote.audio, אחת מספריות ה-diarization הנפוצות ביותר, מתארת את הצינור שלה במאמר של Hervé Bredin מ-Interspeech 2023, ‏"pyannote.audio 2.1 speaker diarization pipeline: principle, benchmark, and recipe", כשלושה שלבים עיקריים: פילוח מקומי בחלונות זזים קצרים, הטמעות דובר (embeddings) וקיבוץ גלובלי.

1. איתור הדיבור

זיהוי פעילות קולית מסמן אילו חלקים בהקלטה מכילים דיבור ומשליך שקט, מוזיקה ורעש. טעויות כאן מתגלגלות הלאה: דיבור שהוחמץ לא מקבל תווית, ורעש שנחשב בטעות לדיבור יכול ליצור דובר רפאים.

2. פילוח הדיבור

הדיבור נחתך לחלקים קצרים שבהם, באופן אידיאלי, מדבר רק אדם אחד. מודלים נוירוניים חדשים בוחנים כמה שניות בכל פעם ומעריכים אילו דוברים פעילים בכל פריים, וכך הם יכולים גם לסמן דיבור חופף.

3. הפיכת כל מקטע להטמעת קול

רשת נוירונית ממירה כל מקטע להטמעה (embedding): רשימת מספרים שמתארת איך הקול נשמע (גובה, גוון, סגנון דיבור) ולא מה נאמר. מקטעים של אותו אדם אמורים להפיק הטמעות שקרובות זו לזו.

4. קיבוץ ההטמעות

אלגוריתם קיבוץ (clustering) מקבץ הטמעות דומות. כל קבוצה הופכת לדובר. החלק הקשה הוא להחליט כמה קבוצות יש: מעט מדי, ושני אנשים מתמזגים לתווית אחת; יותר מדי, ואדם אחד מתפצל לכמה תוויות. יש שירותים שמאפשרים לציין מראש את מספר הדוברים הצפוי כדי לעזור בזה.

5. יישור מול המילים

לבסוף, מקטעי הדוברים מותאמים לחותמות הזמן של המילים מזיהוי הדיבור, כך שכל שורה בתמליל מקבלת תווית. טעויות בגבולות נפוצות: המילה הראשונה של תשובה עלולה לנחות אצל הדובר הקודם.

חוקרים מודדים איכות באמצעות שיעור השגיאה בזיהוי דוברים (DER), שמשלב דיבור שהוחמץ, התרעות שווא ובלבול בין דוברים. המספרים שמתפרסמים משתנים מאוד בין מאגרי נתונים, מאודיו שידור נקי ועד פגישות רועשות עם הרבה משתתפים, ולכן נתון "דיוק" יחיד אומר מעט מאוד על ההקלטות שלכם.

מה משבש את הפרדת הדוברים

• דיבור חופף. כששני אנשים מדברים יחד, קול אחד בדרך כלל זוכה בתווית, והמילים של השני עלולות ללכת לאיבוד או להיות משויכות לא נכון.
• קולות דומים. שני אנשים בגיל, במגדר ובמבטא דומים מפיקים הטמעות קרובות שעלולות להתמזג.
• אודיו טלפוני ודחוס. קווי טלפון צרי פס והודעות קוליות דחוסות מאוד מסירים חלק גדול מהפרטים שההטמעות נשענות עליהם.
• הרבה דוברים. כל קול נוסף מקשה על הקיבוץ, במיוחד אם חלק מהאנשים מדברים רק לרגע.
• תורות קצרים. "כן", "נכון" וקריאות ביניים אחרות של מילה אחת קצרות מדי כדי להפיק הטמעה אמינה.
• מיקרופון רחוק אחד. מחשב נייד במרכז החדר קולט הד ועוצמות לא אחידות; אותו אדם יכול להישמע אחרת לפי המקום שבו הוא יושב.
• תנאים משתנים. דובר שזז, עובר מאוזניות לרמקול או מתחיל ללחוש עלול להתפצל לשתי תוויות.
• רעשי רקע ומוזיקה. שניהם יכולים להיחשב בטעות לדיבור או לטשטש את מאפייני הקול.

איך מפרידים דוברים בתמליל בצורה אמינה יותר

רוב השיפור מגיע מההקלטה, לא מהתוכנה. הטיפים שלנו לדיוק בתמלול מכסים איכות אודיו באופן כללי; ולגבי דוברים במיוחד:

• תנו לכל אדם מיקרופון משלו אם אפשר, או לפחות הושיבו את כולם במרחק דומה ממיקרופון משותף.
• אם אפשר להקליט כל אדם בערוץ נפרד (מערך פודקאסט, או הקלטת שיחה בסטריאו עם צד אחד בכל ערוץ), תמללו את הערוצים בנפרד. ערוצים נפרדים אמינים יותר מכל קיבוץ קולות. ב-Zoom, למשל, הקלטה מקומית כוללת אפשרות לשמור קובץ אודיו נפרד לכל משתתף; בדקו בהגדרות ההקלטה של הגרסה שלכם.
• בקשו מהמשתתפים לא לדבר אחד על השני בקטעים שאתם צריכים מילה במילה, ולהשאיר רגע לפני שעונים.
• הימנעו מרמקול טלפון ומאודיו של שיחת וידאו שמושמע דרך רמקולי החדר כשאפשר להקליט ישירות.
• בקשו מכל משתתף לומר את שמו בהתחלה. זה לא מאמן את המודל, אבל זה הופך את שינוי שמות התוויות למהיר.
• שמרו שיחה אחת בקובץ אחד כשאפשר. אם מתמללים אותה בחלקים, התוויות לא יתאימו: דובר 1 בחלק הראשון עשוי להיות דובר 2 בחלק השני.
• בדקו את הדקות הראשונות של התמליל. אם שני אנשים מוזגו, הבעיה בדרך כלל נמשכת לאורך כל הקובץ, ולכן כדאי לתקן את מערך ההקלטה לפני הפגישה הבאה במקום לתקן ידנית עוד ועוד תמלילים שלמים.

לראיונות, המדריך שלנו לתמלול ראיונות מכסה מיקום מיקרופונים והסכמה; לשיחות, ראו את המדריך לתמלול פגישות ב-Google Meet, ב-Zoom וב-Teams.

שינוי שמות ותיקון דוברים ב-Audiotexta

כשאתם מעלים קובץ, מדביקים קישור או מקליטים מהמיקרופון ב-Audiotexta, התמליל חוזר עם תוויות דוברים וחותמות זמן. כדי להפוך את דובר 1 ודובר 2 לשמות אמיתיים, שנו את שם הדובר בעורך; השם החדש חל על כל המקטעים של אותו דובר לאורך התמליל. העורך מדגיש מילים בזמן ההשמעה ומאפשר ללחוץ על כל מילה כדי לקפוץ לאותה נקודה באודיו, וכך מהיר לבדוק באוזן תור מפוקפק ולתקן אותו. כשאתם משנים שמות, כתבו אותם בדיוק כפי שהם צריכים להופיע בייצוא, למשל "ד"ר כהן" או "מראיינת", כי זה מה שיופיע בכל שורה של הקובץ.

שנו שמות ותקנו לפני הייצוא, כדי שהשמות יעברו ל-TXT,‏ SRT ו-VTT (כולם זמינים במסלול החינמי, גם בלי חשבון) או ל-DOCX,‏ PDF,‏ CSV ו-JSON במסלול Pro. בקובצי כתוביות, שמות הדוברים עוזרים לצופים לעקוב אחרי הדיאלוג; ב-CSV או ב-JSON הם מאפשרים לנתח מי אמר מה.

כמו כל מערכת לזיהוי דוברים, Audiotexta עובד הכי טוב על אודיו ברור עם קולות נבדלים, והוא לא מעביר שמות דוברים מקובץ לקובץ: כל הקלטה מתחילה עם תוויות חדשות ואנונימיות.

כלים שמתמללים עם זיהוי דוברים

תוויות דוברים נפוצות היום, אבל הן ממומשות בדרכים שונות. הנה סקירה קצרה על סמך התיעוד של כל ספק או, היכן שצוין, תיאורים של צד שלישי (נבדק באוקטובר 2026; התכונות משתנות, אז כדאי לוודא באתר הספק).

לפלטפורמות פגישות יש כאן יתרון אמיתי: כשכל אחד מצטרף מהחשבון שלו, הן יודעות את השמות בלי לנחש מהקול. אפליקציות שזוכרות טביעות קול, כמו Otter, חוסכות זמן בשינוי שמות אם אתם מקליטים את אותם אנשים לעיתים קרובות. בהקלטות שהועלו מראיונות, משיחות טלפון או מפודקאסטים, זיהוי דוברים מבוסס קול הוא האפשרות היחידה, ובדיקה מהירה ושינוי שמות בעורך הם חלק מהעבודה.