화자 분리란? 녹취록에서 누가 말했는지 구분하는 원리

화자 분리(Speaker Diarization)는 자동 녹취에서 "누가 언제 말했는가"에 답하는 단계입니다. 녹음을 여러 구간으로 나누고, 같은 목소리로 들리는 구간끼리 묶어 화자 1, 화자 2처럼 라벨을 붙입니다. 시스템은 누구의 이름도 모르므로, 이름은 사용자나 참여자를 이미 알고 있는 시스템이 나중에 붙입니다. 목소리가 뚜렷이 다른 몇 사람이 또렷하게 녹음된 파일에서는 잘 작동하지만, 동시 발화, 비슷한 목소리, 전화 음성, 많은 인원에서는 어려움을 겪습니다.

이 글에서는 화자 분리를 쉬운 말로 설명하고, 화자 인식과의 차이, 내부 작동 방식, 실패하는 이유, 그리고 믿을 만한 화자 라벨이 붙은 녹취록을 얻는 방법을 다룹니다.

화자 분리란 무엇인가요?

가공하지 않은 녹취록은 글자 덩어리일 뿐입니다. 화자 분리는 이것을 대화로 바꿔 줍니다.

화자 1  00:00:03  참석해 주셔서 감사합니다. 예산부터 시작할까요?
화자 2  00:00:07  네. 출장비가 10% 정도 초과됐습니다.
화자 1  00:00:12  그렇군요, 원인이 뭔가요?

영어 용어 diarization은 "일지(diary)"에서 왔습니다. 시스템이 매 순간 어떤 목소리가 말하고 있는지 기록하기 때문입니다. 대부분의 녹취 도구에서 화자 분리는 음성 인식(STT)과 나란히 실행됩니다. 음성 모델은 타임스탬프가 붙은 단어를, 화자 분리 모델은 타임스탬프가 붙은 화자 구간을 만들고, 이 둘을 맞춰 각 단어나 문장에 화자 라벨을 붙입니다.

인터뷰, 회의, 팟캐스트를 녹취한다면 이 라벨 덕분에 텍스트를 실제로 쓸 수 있게 됩니다. 올바른 사람의 말을 인용하고, 누가 가장 많이 말했는지 세고, 긴 통화를 화자별로 훑어볼 수 있습니다.

화자 분리 vs 화자 인식

두 개념은 자주 혼동되며, 많은 제품 페이지가 "화자 식별"이라는 말을 두 가지 모두에 느슨하게 씁니다.

두 가지를 섞어 쓰는 도구도 있습니다. 회의 플랫폼은 로그인한 참여자 중 누구의 마이크가 켜져 있는지 알기 때문에 음성 분석 없이도 이름을 보여 줄 수 있습니다. 어떤 앱은 한 번 목소리에 태그를 달면 이후 녹음에서 그 목소리를 알아보려고 시도합니다. 예를 들어 OpenAI의 화자 분리 전사 모델은 문서에 따르면 알려진 화자의 짧은 참조 클립을 받을 수 있습니다. 반면 업로드한 파일에 일반적인 화자 분리만 적용하는 경우, 즉 대부분의 녹취 서비스가 하는 방식은 사용자가 이름을 바꿔 줘야 하는 일반 라벨로 끝납니다.

화자 분리는 어떻게 작동하나요

최신 시스템마다 세부 사항은 다르지만 대부분 비슷한 단계를 거칩니다. 가장 널리 쓰이는 화자 분리 라이브러리 중 하나인 오픈소스 pyannote.audio는 에르베 브레딘(Hervé Bredin)의 Interspeech 2023 논문 "pyannote.audio 2.1 speaker diarization pipeline: principle, benchmark, and recipe"에서 파이프라인을 세 가지 주요 단계로 설명합니다. 짧은 슬라이딩 윈도 단위의 국소 분할, 화자 임베딩, 전역 클러스터링입니다.

1. 말소리가 있는 곳 찾기

음성 구간 검출(VAD)이 녹음에서 말소리가 들어 있는 부분을 표시하고 침묵, 음악, 소음을 걸러 냅니다. 여기서 생긴 실수는 뒤 단계로 이어집니다. 놓친 말소리에는 라벨이 붙지 않고, 말소리로 오인된 소음은 존재하지 않는 화자를 만들어 낼 수 있습니다.

2. 말소리를 구간으로 나누기

말소리를 이상적으로는 한 사람만 말하는 짧은 조각으로 자릅니다. 새로운 신경망 모델은 한 번에 몇 초씩 보면서 각 프레임에서 어떤 화자가 말하고 있는지 추정하며, 이를 통해 동시 발화도 표시할 수 있습니다.

3. 각 구간을 음성 임베딩으로 바꾸기

신경망이 각 구간을 임베딩으로 변환합니다. 임베딩은 무슨 말을 했는지가 아니라 목소리가 어떻게 들리는지(음높이, 음색, 말투)를 담은 숫자 목록입니다. 같은 사람의 구간은 서로 가까운 임베딩을 만들어야 합니다.

4. 임베딩 클러스터링하기

클러스터링 알고리즘이 비슷한 임베딩끼리 묶습니다. 각 묶음이 한 명의 화자가 됩니다. 어려운 부분은 묶음이 몇 개인지 정하는 일입니다. 너무 적으면 두 사람이 한 라벨로 합쳐지고, 너무 많으면 한 사람이 여러 라벨로 쪼개집니다. 일부 서비스는 이를 돕기 위해 예상 화자 수를 입력하게 합니다.

5. 단어와 맞추기

마지막으로 화자 구간을 음성 인식이 만든 단어 타임스탬프와 맞춰, 녹취록의 각 줄에 라벨을 붙입니다. 경계에서의 오류가 흔합니다. 대답의 첫 단어가 앞 사람에게 붙는 식입니다.

연구자들은 놓친 말소리, 잘못된 검출, 화자 혼동을 합친 화자 분리 오류율(DER)로 품질을 측정합니다. 깨끗한 방송 오디오부터 시끄러운 다자간 회의까지 데이터셋에 따라 발표된 수치가 크게 다르므로, "정확도" 숫자 하나로는 내 녹음에서 어떨지 알기 어렵습니다.

화자 구분을 망치는 요인

• 동시 발화. 두 사람이 한꺼번에 말하면 보통 한 목소리가 라벨을 차지하고, 다른 사람의 말은 사라지거나 엉뚱한 사람에게 붙을 수 있습니다.
• 비슷한 목소리. 나이, 성별, 억양이 비슷한 두 사람은 서로 가까운 임베딩을 만들어 하나로 합쳐질 수 있습니다.
• 전화·압축 오디오. 대역이 좁은 전화 음성이나 강하게 압축된 음성 메시지는 임베딩이 의존하는 세부 정보를 많이 잃습니다.
• 많은 화자. 목소리가 하나 늘 때마다 클러스터링이 어려워지며, 일부 사람이 아주 잠깐만 말한다면 더 그렇습니다.
• 짧은 발화. "네", "맞아요" 같은 한 단어짜리 맞장구는 믿을 만한 임베딩을 만들기에 너무 짧습니다.
• 멀리 있는 마이크 하나. 방 한가운데 놓인 노트북은 울림과 고르지 않은 음량을 잡아내며, 같은 사람도 앉은 자리에 따라 다르게 들릴 수 있습니다.
• 바뀌는 환경. 자리를 옮기거나, 헤드셋에서 스피커폰으로 바꾸거나, 속삭이기 시작한 화자는 두 개의 라벨로 쪼개질 수 있습니다.
• 배경 소음과 음악. 둘 다 말소리로 오인되거나 목소리 특징을 흐릴 수 있습니다.

녹취록에서 화자를 더 정확하게 구분하는 방법

개선 효과의 대부분은 소프트웨어가 아니라 녹음에서 나옵니다. 오디오 품질 전반은 녹취 정확도를 높이는 팁에서 다루며, 화자 구분에 관해서는 다음을 권합니다.

• 가능하면 사람마다 마이크를 따로 쓰고, 최소한 공용 마이크와의 거리를 모두 비슷하게 맞추십시오.
• 사람마다 별도 트랙으로 녹음할 수 있다면(팟캐스트 장비, 또는 채널마다 한쪽씩 담기는 스테레오 통화 녹음) 트랙을 따로 녹취하십시오. 분리된 채널은 어떤 음성 클러스터링보다 믿을 만합니다.
• 그대로 받아 적어야 하는 부분에서는 서로 말을 겹치지 않도록 부탁하고, 대답하기 전에 잠깐 틈을 두게 하십시오.
• 직접 녹음이 가능하다면 스피커폰이나 방 스피커로 나오는 화상 회의 소리를 녹음하는 것은 피하십시오.
• 시작할 때 참여자마다 자기 이름을 말하게 하십시오. 모델을 학습시키지는 않지만 라벨 이름을 빠르게 바꿀 수 있습니다.
• 가능하면 한 대화는 한 파일에 담으십시오. 여러 조각으로 나눠 녹취하면 라벨이 맞지 않습니다. 첫 번째 조각의 화자 1이 두 번째 조각에서는 화자 2일 수 있습니다.
• 녹취록의 처음 몇 분을 확인하십시오. 두 사람이 합쳐졌다면 그 문제는 대개 파일 전체에 이어집니다.

인터뷰라면 인터뷰 녹취 가이드에서 마이크 배치와 녹음 동의를, 통화라면 구글 미트·줌·팀즈 회의 녹취 가이드를 참고하십시오.

Audiotexta에서 화자 이름 바꾸고 고치기

Audiotexta에서 파일을 업로드하거나 링크를 붙여 넣거나 마이크로 녹음하면, 녹취록이 화자 라벨과 타임스탬프와 함께 나옵니다. 화자 1과 화자 2를 실제 이름으로 바꾸려면 편집기에서 화자 이름을 바꾸십시오. 새 이름이 녹취록 전체에서 그 화자의 구간에 적용됩니다. 편집기는 재생하는 동안 단어를 강조하고, 아무 단어나 클릭하면 오디오의 그 지점으로 이동하므로 의심스러운 대목을 귀로 확인하고 바로 고칠 수 있습니다.

내보내기 전에 이름을 바꾸고 고쳐 두면 이름이 TXT, SRT, VTT(모두 무료 플랜에서 계정 없이 가능) 또는 Pro의 DOCX, PDF, CSV, JSON에 그대로 들어갑니다. 자막 파일에서는 화자 이름이 시청자가 대화를 따라가도록 돕고, CSV나 JSON에서는 누가 무엇을 말했는지 분석할 수 있게 해 줍니다.

다른 모든 화자 분리 시스템처럼 Audiotexta도 목소리가 뚜렷이 다른 깨끗한 오디오에서 가장 잘 작동하며, 화자 이름을 다음 파일로 넘겨주지 않습니다. 녹음마다 새로운 익명 라벨로 시작합니다.

화자 라벨을 붙여 주는 녹취 도구

화자 라벨은 이제 흔한 기능이지만 구현 방식은 제각각입니다. 각 업체의 문서, 또는 표시한 경우 제3자 설명을 바탕으로 간단히 정리했습니다(2026년 10월 확인, 기능은 바뀔 수 있으니 업체 사이트에서 확인하십시오).

여기서 회의 플랫폼은 확실한 장점이 있습니다. 모두가 자기 계정으로 들어오면 목소리로 추측할 필요 없이 이름을 압니다. Otter처럼 성문을 기억하는 앱은 같은 사람들을 자주 녹음한다면 이름 바꾸는 시간을 줄여 줍니다. 반면 인터뷰, 전화 통화, 팟캐스트처럼 업로드한 녹음에는 음성 기반 화자 분리가 유일한 방법이며, 편집기에서 빠르게 검토하고 이름을 바꾸는 일까지가 작업의 일부입니다.