Audio–Text Contrastive Representation Learning for Voice Assessment: Toward Assistive Clinical Applications

Kim, Kwang Hyeon; So, Yoonkyoung

doi:2026.37.1.33

J Korean Soc Laryngol Phoniatr Logop > Volume 37(1); 2026 > Article

음성 평가를 위한 오디오‒텍스트 대조 표현 학습 모델링: 임상 보조 응용 시스템 구현을 위한 사전 연구

Original Article

J Korean Soc Laryngol Phoniatr Logop 2026; 37(1): 33-42.

Published online: April 30, 2026

DOI: https://doi.org/10.22469/jkslp.2026.37.1.33

Audio–Text Contrastive Representation Learning for Voice Assessment: Toward Assistive Clinical Applications

Kwang Hyeon Kim¹

, Yoonkyoung So²

¹Clinical Research Support Center, Inje University Ilsan Paik Hospital, Goyang, Korea

²Department of Otorhinolaryngology-Head and Neck Surgery, Ilsan Paik Hospital, Inje University College of Medicine, Goyang, Korea

음성 평가를 위한 오디오‒텍스트 대조 표현 학습 모델링: 임상 보조 응용 시스템 구현을 위한 사전 연구

김광현¹

, 소윤경²

¹인제대학교 일산백병원 임상연구지원센터

²인제대학교 의과대학 일산백병원 이비인후과학교실

Corresponding Author Kwang Hyeon Kim, PhD Clinical Research Support Center, Inje University Ilsan Paik Hospital, 170 Juhwa-ro, Ilsanseo-gu, Goyang 10380, Korea Tel +82-31-910-9500 E-mail benedict.khkim@gmail.com

Received December 9, 2025 Revised January 12, 2026 Accepted January 23, 2026

This is an open access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Abstract

Background and Objectives

This study aims to develop and validate a bidirectional audio–text contrastive representation learning framework that enhances alignment between linguistic content and speech production characteristics, thereby exploring its potential utility for future clinical voice assessment applications.

Materials and Method

A dual-encoder multimodal contrastive model was trained using 12854 Korean speech–text pairs. Audio inputs were converted into 80-channel Mel spectrograms with SpecAugment, and text was processed using a KoBERT-based tokenizer. Joint embeddings were optimized via bidirectional cosine-similarity InfoNCE loss over 100 epochs. Retrieval-based evaluation quantified alignment performance between paired inputs.

Results

The dataset exhibited an average utterance duration of 3.60±1.01 second and 4.99± 1.73 words, with high variability in phonetic realizations reflected by an ASR baseline word error rate of 100.69% (p=0.0311 for utterance-length effects). Despite such heterogeneity, the proposed model achieved consistent multimodal alignment, with audio-to-text and text-to-audio retrieval Recall@10 of 0.523 and 0.520, respectively, and median ranks of 9.00 and 10.00.

Conclusion

The findings indicate that contrastive alignment can produce robust multimodal speech representations under diverse reading patterns. Although clinical validation using pathological speech remains necessary, this work establishes a proof-of-concept basis for future voice assessment applications leveraging retrieval-based embedding analysis.

Key words: Voice disorder diagnosis; Contrastive learning; Multimodal representation learning; Audio–Text alignment; Clinical voice assessment

중심 단어: 음성 장애 진단 보조; 대조학습; 멀티모달 표현학습; 음성-문자 정렬; 임상 음성 평가

서 론

음성 장애는 의사소통과 사회적 활동, 삶의 질에 큰 영향을 미치는 질환으로, 임상 이비인후과 특히 음성의학 분야에서 정확한 음성 기능 평가와 진단은 필수적이다[1,2]. 현재 임상에서는 청지각적 평가, 음향학적 분석, 공기역학적 검사, 그리고 후두내시경 영상 평가 등 여러 도구를 종합적으로 활용하여 진단이 이루어진다[3,4]. 그러나 이러한 평가는 검사 환경 의존성이 크고, 숙련도에 따른 주관성이 존재하며, 전문 장비를 필요로 한다는 한계가 있다. 이에 따라 진단의 객관성과 접근성을 높이기 위한 인공지능(artificial intelligence, AI) 기반 음성 분석 기술에 대한 관심이 점차 증대되고 있다[5,6].

최근 머신러닝 및 딥러닝 기술의 발전으로 자동 음성 분석이 활발히 연구되고 있으나, 대부분의 기존 방법은 음성 신호에 기반한 음향 특징을 주로 활용한다[5,7]. 이 경우 환자에게 읽게 하는 문장의 종류나 발화 방식이 달라지면 음향적 변동성이 증가하여, 질환의 병리적 음성 특성을 정확하게 분리해 내기 어렵다는 단점이 존재한다. 즉, “무엇을 말했는가”(언어적 내용)가 달라짐에 따라 “어떻게 말했는가”(발성 품질)를 정확히 비교하기가 제한된다. 이러한 모노모달 접근은 모델의 일반화 성능을 저해하고 실제 임상 적용에 한계를 보인다[8].

이러한 문제를 해결하기 위한 기술로 최근 주목받고 있는 것이 음성-문자(Audio-Text) 대조방법 기반 멀티모달 표현 학습(multimodal contrastive learning)이다[9]. 이 방법은 동일한 문장에 대해 문자 정보와 음향 정보를 함께 고려하여, 두 모달리티 간 연관성을 극대화하는 표현을 학습한다. 즉, 같은 문장을 읽었을 때 정상 음성과 병적 음성이 가지는 차이를 효과적으로 인식할 수 있도록 한다[9]. 대조학습을 통해 올바르게 매칭된 음성-문자 쌍은 가까이, 잘못 매칭된 쌍은 멀어지도록 학습함으로써, 문장 내용 차이가 아니라 발성 상태와 병리적 특성에 기반한 음성 표현을 얻을 수 있게 된다[10].

이 기술은 임상 음성 평가 과정과의 적합성의 관점에서, 음성클리닉에서 환자에게 표준 문장을 읽도록하여 음성의 안정성, 발화 중 휴지(pause), 거친 정도, 긴장도 등을 관찰할 경우, 본 연구에서 다루는 멀티모달 대조학습 기반 모델은 이러한 정형화된 임상 평가 시나리오와 자연스럽게 결합할 수 있으며, 후두 수술 전후의 음성 변화 추적, 음성 재활 과정 모니터링, 원격 의료 기반 스크리닝 등에서 높은 활용 가능성을 가질 수 있다[11,12]. 또한, 임상 의사간 청지각 평가 편차를 감소시키고, 빠르고 일관된 보조 진단을 제공함으로써 임상 의사결정(clinical decision support system, CDSS)을 효과적으로 지원할 수 있다[13].

그러나 현재까지 음성 장애 진단을 위한 음성-문자 대조학습 기반 멀티모달 AI 모델을 체계적으로 연구한 사례는 현재 진행중이다. 그동안의 멀티모달 연구는 주로 음성 인식이나 일반 음향 분류에 초점이 맞춰져 있었으며, 병적 발성의 생리적·음향적 지표를 반영하는 임상 특화 모델은 충분히 제시되지 않았다. 만약, 특정한 음성 장애 평가 기준 하에 애플리케이션 적용 기준이 마련된다면, 이비인후과 음성의학 분야에서 이러한 기술을 활용하기 위한 선행 연구가 필수적이다.

따라서 본 연구의 1차적 목표는 동일 발화 문장의 음성 정보와 문자 정보를 일관적으로 정렬할 수 있는 이중방향 음성-문자 대조방법 기반 표현 학습 모델을 개발하는 것이다. 즉, 음성-문자 정합도(audio-text alignment) 및 검색(retrieval) 성능을 통해 표현 학습 품질을 평가한다. 본 연구에서 제안한 멀티모달 음성 표현은 향후 발성 품질 기반 분석 프레임워크로 확장될 수 있는 가능성을 제시한다.

대상 및 방법

음성을 효과적으로 구별하기 위한 이중방향 음성-문자 대조방법 기반 멀티모달 표현 학습 모델을 개발하기 위하여 Fig. 1과 같은 모델링 절차를 수행하였다. 음성-문자 대조학습을 통해 음성 및 문자 멀티모달 표현을 학습하고, 이를 검색 기반 추론을 실시하는 과정을 보여준다. 이 모델은 16 kHz 음성과 한국어 문자 집합(n=12854)을 입력으로 받아, 음성은 멜 스펙트로그램(Mel spectrogram) 추출 및 스펙트로그램 증강(spectrogram augment)을 포함하는 음성 전처리를 거치고, 문자는 KoBERT 기반 토큰화를 포함하는 문자 전처리를 거친다. 이후, 음성 특징은 1차원 합성곱(1D convolution) 과 양방향 장단기 메모리 모델(bidirectional longshort term memory, Bi-LSTM) 기반의 음성 인코더(audio encoder)를, 문자 특징은 사전 훈련된 KoBERT 기반의 문자 인코더를 통과하여 각각 L2 정규화된 음성 임베딩(audio embedding)과 문자 임베딩(text embedding)을 생성한다. 이 두 임베딩 벡터는 코사인 유사도(cosine similarity)를 측정하고 양방향(Audio to Text, Text to Audio) 정보 노이즈 대조 추정 손실(information noise-contrastive estimation loss, InfoNCE loss)을 최소화하는 대조 표현 정렬(contrastive representation alignment) 학습을 통해 공유 잠재 의미 공간(shared latent semantic embedding space)으로 통합되며, 최종적으로 검색 기반 음성 검출(retrieval-based voice detection) 을 수행할 수 있도록 모델링된다. 이때, 코사인 유사도는 임베딩 벡터의 크기(magnitude)에 대한 영향을 제거하고 방향성(direction)만을 비교함으로써, 서로 다른 모달리티에서 추출된 표현 간의 의미적 정렬 정도를 효과적으로 측정할 수 있다. 특히, L2 정규화된 임베딩 공간에서는 코사인 유사도가 내적(dot product)과 동일한 해석을 가지므로, 학습 안정성과 계산 효율성 측면에서도 장점을 가진다. 또한, InfoNCE loss 는 주어진 음성-문자 쌍을 서로 일치하는 쌍으로, 동일 배치 내의 다른 음성 또는 문자 샘플을 불일치 쌍으로 구성하여, 올바른 대응 쌍의 유사도를 최대화하고 비대응(불일치) 쌍의 유사도를 최소화하도록 학습을 유도한다.

데이터셋

본 연구에서는 공개된 한국어 단일 화자 음성 데이터셋인 Korean Single Speaker Speech Dataset (KSS)을 사용하였다[14]. 이 데이터셋은 단일 화자가 수천 개의 한국어 문장을 다양한 억양과 속도로 녹음한 음성-문자 쌍을 포함하고 있어 음성-문자 매칭 기반의 멀티모달 학습에 적합하다. 우리의 실험에서는 전체 음성 파일과 대응 전사(transcript) 파일을 불러와 음성 파일명과 전사 문장을 쌍으로 정리하였다. 이후 무작위 셔플 후 90%는 학습용(training), 나머지 10% 는 검증용(validation)으로 분할하였다.

전처리

음성 전처리

각 음성(.wav) 파일은 torchaudio.load() 함수를 사용하여 불러오며 만약 다중 채널이라면 첫 번째 채널만 선택한다. 샘플링 속도(sample rate)가 16 k Hz가 아니라면 torchaudio. functional.resample 함수를 이용하여 16 kHz로 리샘플링 한다(cfg.sample_rate=16000). 이후, 입력 신호 x(t)에 대해 멜 스펙트로그램 변환을 수행한다. 멜 스펙트로그램은 음성 신호의 주파수 성분을 인간의 청각 인지 특성을 반영한 멜 스케일 상에서 표현한 시간-주파수 표현이다. 이는 발성의 기본 주파수, 포먼트 구조, 에너지 분포와 같은 음성의 음향적 특성을 효과적으로 포착할 수 있으며, 원시 파형(raw waveform)에 비해 잡음에 대한 강건성이 높고 학습 안정성이 우수하다는 장점을 가진다[15]. 구체적으로, 단시간 푸리에 변환(short-time fourier transform, STFT)을 적용한 후 멜 필터 뱅크를 사용하여 멜 스펙트로그램 M을 다음과 같이 정의한다:

M=MelBank(|STFT(x(t))|)

여기서 멜 필터의 개수는 n_mels=80으로 설정하였다.

배치 내 여러 음성 샘플은 길이가 상이할 수 있으므로 시간 축(t-axis)에 대해 패딩(padding)을 적용하여 배치 처리가 가능하도록 하였다. 또한 모델의 일반화 성능을 개선하기 위해 학습 중에는 시간 축 마스킹(time masking) 및 주파수 축 마스킹(frequency masking)을 포함한 스펙트럼 증강 기법을 적용하였다.

문자 전처리

전사 문자는 유니코드(unicode) 정규화(NFKC) 및 앞뒤 공백 제거(normalize+strip) 과정을 거쳤다. 이후, Hugging-Face의 AutoTokenizer.from_pretrained (“skt/kobert-basev1”) 를 사용하여 토큰화(tokenization)하였고, 최대 토큰 길이(max_text_len)를 128로 설정하여 패딩 또는 잘라내기(truncation)를 적용하였다. 모델 입력으로는 input_ids와 attention_mask를 사용하였다[16].

모델 구조

본 연구의 핵심은 음성-문자 이중 인코더(dual encoder) 구조를 사용하여 두 모달리티를 동일한 잠재 공간(latent space)으로 매핑하고, 대조학습을 통해 양방향 매칭을 학습하는 것이다.

음성 인코더

음성 인코더는 멜 스펙트로그램 M ∈ R^T×80 (T: time-frames), 1차원 컨볼루션(1D convolution) 층 두 개+GELU+Max Pool1d (채널 80 → 512 → 512), 양방향 장단기 메모리 모델, hidden size (256, 양방향 → 출력 차원 512), 시간축 평균 풀링(mean pooling)과 선형 프로젝션(linear layer)을 통한 차원 축소(projection dim=256), L2 정규화(normalized embedding) 후 최종 음성 임베딩으로 구성된다. 이때 사용한 LSTM은 입력 시퀀스의 장·단기 시간 의존성을 효과적으로 학습할 수 있는 순환 신경망 구조로, 음성 신호와 같이 시간에 따라 연속적으로 변화하는 데이터의 패턴을 모델링하는 데 적합하다[17]. 특히 양방향 LSTM은 순방향(forward)과 역방향(backward)으로 시퀀스를 동시에 처리함으로써, 특정 시점의 음성 특징을 과거 정보뿐만 아니라 미래 문맥 정보까지 함께 고려할 수 있다. 이는 발화 내 음소 전이, 포먼트 변화, 발성 강도의 시간적 변동과 같은 음성의 연속적 특성을 보다 정밀하게 포착하는데 기여한다. 따라서, e_a는 다음과 같이 정의된다:

ea=WaPool(LSTM(Conv(M)))‖WaPool(LSTM(Conv(M)))‖

여기서 Wa는 투영층(projection layer)의 가중치 행렬이다.

문자 인코더(Text encoder)

문자 인코더는 사전학습된 한국어 BERT 모델(KoBERT)을 활용한다[16]. 토크나이저로 얻은 token IDs와 어텐션 마스크를 입력으로 AutoModel.from_pretrained (“skt/kobert-base-v1”)를 통해 CLS (분류) 토큰 임베딩을 추출한 후, CLS 임베딩, ht ∈ Rdbert, 선형 프로젝션과 L2 정규화를 통해서 문자 임베딩을 수행한다.

et=WtHt‖WtHt‖

여기서 Wt는 투영층의 가중치 행렬이다.

이를 통하여 음성과 문자는 동일한 차원의 임베딩 공간에 정규화된 벡터로 매핑된다.

대조학습 및 훈련 절차

학습 단계에서는 동일한 발화의 멜 스펙트로그램과 전사 문자를 양성쌍(positive pair)으로, 동일 배치 내의 다른 샘플들 간은 음성쌍(negative pair)으로 간주하여 대조학습(손실 함수의 계산)을 수행한다. 구체적으로 코사인 유사도를 활용하며 두 방향 모두에서 InfoNCE 손실을 계산한다. 우선 두 임베딩 간 유사도(similarity)는 다음과 같이 정의된다:

simea,et=ea⋅et‖ea‖‖et‖

온도 파라미터 τ (τ=0.07)를 적용하여 로그-소프트맥스 기반의 InfoNCE loss를 다음과 같이 계산한다:

LA→T=−1N∑i=1Nlogexpsimeai,eti/τ∑j=1Nexpsimeai′,eti/τLT→A=−1N∑i=1Nlogexpsimeti,eai/τ∑j=1Nexpsimeti,eaj/τ

최종 손실은 두 방향의 평균으로 정의된다:

Ltotal=LA→T+LT→A2

모델 최적화에는 아담 옵티마이저를 사용하였고 초기 학습률은 lr=10-5로 설정했다. 또한 학습 안정화를 위해 기울기 자르기(gradient clipping)(clip norm=1.0)를 적용하였다. 배치 크기는 32이며 전체 에포크(epoch) 수는 100으로 설정하였다. 학습률 변화를 위해 CosineAnnealingWarmRestarts 스케줄러를 사용하였다.

학습 중 매 스텝의 손실과 학습률, 에포크 종료 시의 평균 손실이 로그에 기록되었고, 텐서보드(TensorBoard)를 사용하여 실시간으로 모니터링하였다. 또한 검증 데이터셋을 활용하여 각 에포크 후에 임베딩을 추출하고 검색 성능을 평가하였다.

평가 및 retrieval 기반 성능 측정

검증 단계에서는 학습된 모델이 생성한 음성 임베딩 행렬 Ea ∈ R^N×256과 문자 임베딩 행렬 Et ∈ R^N×256을 기반으로, 모든 문자 쿼리에 대해서 데이터베이스 내 음성을 검색하는 형태의 평가를 수행하였다.

구체적으로 문자로부터 음성(T2A) 방향의 similarity matrix S ∈ R^N×N는 다음과 같이 계산되었다:

S=Et⋅EaT

각 행 i에 대해 유사도가 가장 높은 음성 인덱스를 top-K (K=1, 5, 10)로 선택하고, 정답 음성이 top-K에 포함되었는지를 기준으로 Recall@K를 산출하였다. 또한, 각 쿼리의 올바른 정답 순위로부터 역순위(reciprocal rank)를 계산해 평균 역순위를 산출하였으며, 평균 순위(mean rank) 및 중앙값 순위(median rank)도 기록하였다. 이와 같은 검색 기반 평가는 음성-문자 매칭 정확성과 임베딩 공간에서의 의미적 정렬(semantic alignment) 품질을 동시에 평가할 수 있도록 하였다.

평가 지표 계산 및 추론 과정

첫째, 훈련간 손실함수를 계산하여 100 에포크에 대한 평가를 하였다. 둘째, 음성-문자 중앙값 순위(Audio-to-Text median rank, A2T MedR)와 문자-음성 중앙값 순위(Text-to-Audio median rank, T2A MedR)의 두 가지 크로스 모달 검색 성능 및 각 방향 상위 10개 이내에서 정답을 찾을 능력치인 Recall@10을 계산하였다. 셋째, 유사도 분포와 t-SNE 분포를 도식화하여 음성-문자 쌍의 유사도와 밀집도를 계산하였다. 마지막으로 훈련을 완료한 후 모델을 이용하여, A2T, T2A에 대한 매칭을 실시하여 성공적인 쌍을 기록하였다.

프로그래밍 환경

프로그래밍은 PyTorch 1.x/torchaudio/HuggingFace Transformers 라이브러리를 기반으로 구현되었으며, Intel i9 processor, NVIDIA GeForce RTX 4060 GPU 환경에서 CUDA 가속을 활용하였다.

결 과

데이터셋의 통계 분석

총 12854개의 발화 샘플로 구성된 데이터셋을 대상으로 기초 통계 및 발화 길이에 따른 자동 음성 인식(automatic speech recognition, ASR) 성능의 통계적 유의성을 분석하였다(Table 1). 데이터셋의 평균 발화 길이는 3.60±1.01초, 평균 단어 수는 4.99±1.73개였으며, 전체 평균 단어 오류율(word error rate, WER)은 100.69%이다. 발화 길이의 중앙값인 3.50초를 기준으로 짧은 발화 그룹과 긴 발화 그룹으로 나누어 T-검정을 수행한 결과, 짧은 발화 그룹의 평균 WER은 100.56%, 긴 발화 그룹의 평균 WER은 100.80%로 관찰되었으며, 두 그룹 간의 평균 WER 차이에 대한 p-value=0.0311 (statistical significance＜0.05)로 계산되었다. 즉, 발화 길이가 길어질수록 ASR 성능에 영향을 미친다는 것이 통계적으로 유의미함을 입증하였으며, 이는 긴 발화 처리에 대한 본 모델의 잠재적 구조적 취약성을 야기할 수 있다는 것을 의미한다.

전처리 및 성능 평가 지표 계산

16 kHz 음성과 상응하는 한국어 문자 쌍을 입력으로 받아 음성 데이터를 STFT 기반 멜 스펙트로그램(80차원)으로 변환하고 SpecAugment를 적용하는 전처리 과정을 진행하였다(Fig. 2). 멜 스펙트로그램은 멀티모달 대조학습시 음성 특징을 추출하기 위함이며, 멜 스펙트로그램은 시간 축에 따른 주파수 성분 변화를 시각화한 스펙트로그램을 선형(linear) 스케일이 아닌 멜 스케일이라는 비선형적 척도로 변환하여 주파수 대역폭을 저주파수 영역에 집중시켜 표현한 것이다(Fig. 2).

대조학습 딥러닝 모델링의 결과를 손실 곡선(loss curve)으로 나타내었다(Fig. 3A). 전반적인 경향은 모델이 안정적이고 효율적으로 수렴하고 있음을 나타낸다. 훈련은 초기 손실값 3.004에서 시작하여 에포크 99에서 0.136까지 감소하는 일관된 패턴을 보였다. 특히, 학습 초반부인 에포크 0부터 에포크 20까지 손실이 가장 급격하게 감소하며(3.004 to 0.927), 모델이 데이터의 기본적인 특징을 빠르게 파악했음을 입증한다. 이후 에포크가 진행됨에 따라 손실 감소 속도는 점진적으로 둔화되어 Step 50 이후에는 낮은 값(0.274 부근)에서 안정적으로 수렴하는 양상을 나타낸다. 이러한 지속적이고 부드러운 손실 감소 패턴은 설정된 하이퍼파라미터(hyperparameters) 및 최적화 알고리즘(optimizer)이 적절히 진행되었음을 나타낸다.

A2T MedR과 T2A MedR의 두 가지 크로스 모달 검색 성능 지표의 훈련 결과를 도식화하였다(Fig. 3B). 이는 모델이 음성과 문자 쌍을 얼마나 정확하게 매칭하는지를 순위 중앙값을 통해 보여준다. 두 지표 모두 안정적이고 효율적인 학습을 통해 수렴했음을 보여준다. A2T MedR은 초기 177.0에서 시작하여 T2A MedR (201.0에서 시작)과 마찬가지로 에포크가 진행됨에 따라 급격히 감소하는 패턴을 보였다. 특히, 초기 20 에포크 동안 가장 큰 폭의 성능 개선이 이루어진 후, 두 지표 모두 낮은 값으로 점진적인 감소 및 안정화 단계에 진입하였다. 결론적으로, 두 지표 모두 낮은 중앙값에 안착했다는 것은 모델이 음성 및 문자 임베딩을 좀 더 효과적으로 정렬하여 양방향 크로스 모달 검색 능력을 향상하기 위한 학습을 진행했음을 의미한다.

Fig. 4A의 히스토그램은 대조학습 모델의 검증 단계에서 양성쌍(일치 쌍, 파란색)과 음성쌍(불일치 쌍, 빨간색) 간의 코사인 유사도 분포를 비교한 결과로, 일치쌍은 0.6에서 0.7 사이의 높은 유사도에 강하게 집중되어 모델이 일치하는 음성-문자 쌍을 임베딩 공간에서 가깝게 잘 매핑했음을 보여주며, 불일치쌍은 -0.4부터 0.4 근처에 넓게 분포되어 불일치쌍을 멀리 떨어뜨렸음을 나타내어, 두 분포 사이에 명확한 간격이 형성되고 중첩 영역이 최소화되어 모델이 분별력으로 의미적 관계를 학습하여 크로스-모달 검색이 가능함을 보여준다(Fig. 4A). 두 번째, t-SNE 시각화는 500개 샘플의 음성 임베딩(파란색 점)과 문자 임베딩(빨간색 X)을 2차원 공간에 투영한 결과이며 임베딩 공간의 구조를 보여준다(Fig. 4B). 일치쌍의 매핑 시각화에서 파란색 원과 빨간색 X 표시가 서로 매우 가까이 거의 겹치듯이 위치하고 이들이 점선으로 연결되어 있으며 양성쌍(음성-문자 일치 쌍)을 나타내는데, 이 선들의 길이가 매우 짧다는 것은 일치하는 음성 임베딩과 문자 임베딩이 공유 잠재 공간(shared latent space)에서 정렬(aligned)되었음을 의미한다. 군집(clustering) 측면에서는 데이터 포인트들이 특정 영역에 무작위로 흩어져 있지 않고 작은 군집들을 형성하는 경향을 보이며, 이는 모델이 단순히 쌍을 맞추는 것을 넘어 의미적 유사성(semantic similarity)을 기반으로 관련된 음성과 문자 임베딩을 근접하게 배치하고 있음을 의미한다.

그리고 A2T에서 Recall@10 결과는 모델이 52.3%로 수렴하였다. 이는 모델이 음성 쿼리를 사용하여 문자 데이터베이스에서 정답을 상위 10개 이내에 찾을 가능성을 의미하며, T2A 에서는 Recall@10 결과가 52%로 수렴하였다. 이는 모델이 문자 쿼리를 사용하여 음성 데이터베이스에서 정답을 상위 10개 이내에 찾을 가능성을 의미한다.

추론 결과

본 연구에서는 T2A 및 A2T rank 1 성공 분석 결과(Table 2)를 도출하였다. 이는 모델의 양방향 크로스-모달 검색 성능을 보여주는 지표이다. A2T 검색의 경우, 음성 임베딩을 쿼리(query)로 사용하여 정답 문자 임베딩을 검색하며, 제시된 5개 샘플 모두 정답을 rank 1에 위치시켰고, 이때 코사인 유사도는 0.7027에서 0.7364 사이의 범위를 형성했다(유사도에서 완전한 일치는 1). 반면, T2A 검색은 문자 임베딩을 쿼리로 사용하여 정답 음성 임베딩을 검색하는 시나리오로, 이 역시 5개 샘플 모두에서 정답을 rank 1에 위치시키는데 성공했으며, 코사인 유사도는 0.6906에서 0.7003 사이로 A2T 보다는 미세하게 낮지만 여전히 높은 신뢰도를 보였다. 결과적으로 모델은 양방향(음성-문자 및 문자-음성) 모두에서 0.69 이상의 높은 유사도를 가지고 정답 쌍을 첫 번째 순위로 정확하게 검색하여, 학습된 공유 잠재 공간이 크로스-모달 관계를 효과적으로 정렬했음을 입증한다.

고 찰

본 연구에서는 음성-문자 대조방법 기반의 이중방향 멀티 모달 표현 학습 모델을 구축하여, 음성과 문자 간 의미적 정렬을 기반으로 한 보조 진단 가능성을 탐색하였다. 기존 대부분의 음성 장애 분석 모델이 음성 신호 단일 모달에만 의존한 데 반해, 본 연구는 동일 문장에 대한 음성-문자 매칭 구조를 활용함으로써 “무엇을 말했는가”와 독립적으로 “어떻게 말했는가”를 분석할 수 있는 기반(발화한 정답이 찾아지는지 또는 문자 쿼리에 대한 음성 정답을 찾을 수 있는지)을 마련했다는 점에 의의가 있다. 이를 위하여, 학습 결과에서 확인한 손실 감소 경향(Fig. 3)은 모델이 안정적으로 수렴하며 음성-문자 매칭 능력이 점차 향상되었음을 입증한다. 상용화 된 자동 음성 인식 시스템은 음성을 가능한 한 정확하게 문자로 변환하는 것을 목표로 하며, 발성 품질의 저하나 비정상적 음성 특성은 인식 오류로 처리한다. 반면, 본 연구에서 제안한 음성-문자 대조 기반 분석은 음성과 문자 간 정렬 성능 자체를 분석 대상으로 삼아, 동일한 발화 내용에 대해 음성 신호가 언어적 의미와 얼마나 안정적으로 대응되는지를 평가한다는 점에서 차별성을 가진다. 따라서 T2A 및 A2T 성능의 변화는 단순한 문자 인식 정확도가 아니라, 발성 품질 변화가 음성-언어 정합성에 미치는 영향을 간접적으로 반영하는 지표로 해석될 수 있다. 이러한 접근은 기존 자동 음성 인식 기반 음성 검사 방식을 대체하기보다는, 발성 품질 평가를 보완하는 새로운 분석 관점으로 활용될 수 있을 것이다. 이는 대조 정렬(contrastive alignment)이 발화 내용과 독립적으로 음성-문자 간의 정렬된 표현을 형성할 수 있음을 시사한다. 단, 본 연구에서 사용한 검색 기반 평가지표는 이러한 표현 학습의 정합도와 안정성을 검증하기 위한 것으로, 실제 병적 음성 데이터가 포함된 데이터를 사용하지 않았으므로, 정상·병적 발성을 직접적으로 구분하거나 임상적 진단 성능을 입증하는 지표로 과도 해석할 수는 없다.

한편, 대조방법 기반 멀티모달 모델 학습은 단일모달 모델 대비 높은 연산 비용을 요구한다[18,19]. 한 배치(batch) 내 모든 샘플 간 쌍별 유사도(pairwise similarity) 계산은 많은 연산량을 필요로하고, 두 encoder (음성, 문자) 병렬 처리가 필요하므로, 그래픽 처리장치(GPU) 메모리의 점유를 증가시켜 음성 샘플(negative sample)이 많을수록 성능 향상 vs. 연산량이 기하급수적으로 증가하게 된다. 이 때문에 대규모 데이터 적용 시 속도 병목 및 GPU 자원 부담이 발생한다. 본 연구는 단일 화자 데이터셋 기반으로 비교적 제한된 환경에서 수행되었으나, 향후 임상 다기관 확장 시 효율적 배치 샘플링, 대형 임베딩 뱅크(embedding bank) 활용, 최적화된 유사도 인덱스 구축 등 최적화 방안이 필요하다. 또한 추론(inference) 단계에서는 문자-음성 검색을 수행하므로, 실시간 검색을 위한 경량화 전략도 필수적으로 요구된다.

또한, 데이터셋 기술 통계 분석을 통해 ASR 성능(WER)이 발화 길이에 유의한 영향을 받는다는 점이 확인되었다(Table 1). 긴 발화일수록 오류율이 증가하는 경향은 일반적인 음향 분석이나 음성 인식 기반 접근이 발화 내용 및 길이에 따른 모델 성능 변동성 문제를 갖고 있음을 의미한다. 반면, 본 연구의 검색 기반 평가 체계는 음성 인식 정확도에 직접 의존하지 않고 임베딩 유사도에 기반하여 음성을 정렬하기 때문에, 향후 실제 임상에서 발화 길이·문장 구성에 영향을 덜 받을 수 있다. 이러한 특성은 다양한 환자 발화 환경에서 객관적·재현가능한 진단 지원으로 이어질 수 있다.

멜 스펙트로그램 기반 음성 특징 표현(Fig. 2)은 음성 신호의 주파수 변화 양상을 시각적으로 나타내며, 병리적 음성과 정상 음성 간의 구조적 차이를 반영할 수 있는 기저 표현이다. 본 연구에서는 양방향 LSTM (Bi-LSTM)을 적용하여 시간 순차 정보를 유지하고, L2 정규화를 통해 임베딩의 방향성에 기반한 유사도 비교가 가능하도록 하였기에, 향후 동일 문장을 반복적으로 읽는 임상 평가 시나리오에서 수술 전후 음성 변화 추적 및 재활 과정 모니터링에 유용하게 적용될 수 있다.

종합하면, 본 연구는 음성-문자 대조학습이 발화 내용과 발성 특성을 분리하여 표현할 수 있는 멀티모달 임베딩을 형성할 수 있음을 보여주며, 이는 향후 임상 음성 평가를 위한 보조적 분석 도구 개발의 기저 기술로 활용될 수 있는 가능성을 제시한다. 특히 진료실 및 원격 모니터링 환경에서, 본 모델은 전문 장비 없이도 표준 문장 읽기만으로 간편한 음성 평가 자동화를 지원할 수 있다면, 임상 의사결정 보조 시스템으로 확장될 잠재력을 갖는다.

한계점

그럼에도 불구하고 본 연구는 다음과 같은 중요한 한계를 갖는다. 첫째, 본 연구는 단일 정상 화자 데이터(KSS)로 학습되었다는 점에서, 실제 음성 장애 환자의 병리적 음성 특성이 반영되지 않았다. 즉, 이로 인해 다화자 환경, 다양한 녹음 조건, 그리고 병적 음성의 이질성이 존재하는 실제 임상 환경으로의 일반화 가능성을 충분히 평가하기 어렵다. 임상 음성 데이터에서는 화자 간 발성 습관, 성별, 연령, 음향 환경 등에 따른 변이가 중요한 요소로 작용하나, 본 연구에서는 이러한 화자 간 변이를 명시적으로 모델링하지 않았다. 향후 연구에서는 외부 다화자 음성 데이터셋 및 병적 음성 코호트를 포함하여, 제안한 멀티모달 표현 학습 프레임워크의 화자 간 일반화 성능과 임상 환경에서의 강건성을 체계적으로 검증할 예정이다. 그리고, 향후 임상 적용 시 모델이 병적 음성을 학습하지 않은 상태에서 판단을 수행하게 되어, 진단적 활용도 확보에 제한이 있을 수 있다. 다양한 병인(성대결절, 성대마비, 근 긴장성 발성장애 등)에 따른 음성 변화를 반영하기 위해서는 병적 데이터 기반 파인 튜닝(fine-tuning) 또는 전이 학습(transfer learning) 전략이 필수적이다. 또한, 본 연구에서는 교차모달 검색 성능(Recall@K, Median Rank)을 중심으로 멀티모달 표현 학습의 정렬 품질을 평가하였으며, 이는 음성 장애의 진단 정확도, 중증도 분류, 또는 치료 반응 예측과 같은 임상적 결과를 직접적으로 검증하는 지표는 아니다. 다시 말해, 본 연구의 성능 평가는 임상적 타당도를 입증하기보다는 발화 내용과 독립적인 음성-문자 정렬 표현이 안정적으로 학습되었는지를 확인하기 위한 선행 단계의 평가로 해석되어야 한다. 둘째, 발화 문자 종류가 제한적이고 단일 화자에 편중된 데이터 구조이므로 음향적 다양성과 언어적 변이가 충분히 반영되지 못했다. 실제 임상에서는 환자 특성에 따라 다양한 억양, 속도, 조음 습관이 존재하며 다화자·비정형 발화에서도 견고한 성능을 보장해야 한다. 셋째, 검색 기반 평가지표만 사용하여 임베딩 정렬 능력은 확인했으나, 질환 분류나 음성 장애 심각도 예측 등 임상 지표와 직접 연결되는 평가가 수행되지 않았다. 즉, 본 모델이 실질적으로 질환 판단에 유효한지에 대한 근거가 부족하다. 넷째, 멜 스펙트로그램 기반 특성 추출은 신호의 전역적 음향 정보를 포함하지만, 후두 구조, 발성 생리학적 기전, 공기역학적 요소는 직접 반영하지 못한다[20]. 병적 발성에서 발생하는 국소적 성대 진동 이상을 구조적으로 반영하기 위해서는 영상을 포함한 다른 임상 데이터와의 멀티모달 융합(audio-video-text)이 필요할 수 있다[5,6]. 다섯째, 대조학습은 임베딩 공간 정렬에 의존하므로 임상적 해석 가능성(explainability)이 제한된다. 모델이 어떤 병리적 발성 특징을 활용하여 판단을 수행하는지 명확히 설명할 수 있는 분석 도구의 도입이 요구된다. 마지막으로, 본 연구는 한국어 전용 모델로 설계되었으며, 다국어 확장성에 대한 검증이 이루어지지 않았다. 언어 구조가 상이한 환경에서는 음소 단위 조음 패턴 차이가 진단 성능에 영향을 줄 수 있다.

향후 연구에서는 앞서 제시한 한계를 극복하기 위해 병적 음성 코호트 확대 및 전이 학습을 적용하며, 다양한 음성 장애 환자를 포함한 데이터 기반 파인 튜닝의 수행이 요구된다. 즉, 기존 모델이 멜 스펙트로그램 기반 음향 임베딩(ea)을 중심으로 발화 내용에 대한 의미적 표현을 정렬하는데 초점을 두었다면, 발성 변화(phonation changes)를 통합하기 위해서는 지터(jitter), 쉬머(shimmer), 조화음 대 소음비(harmonicsto-noise ratio), 캡스트럼 정점 돌출도(cepstral peak prominence), F0 변동성 등과 같은 임상적 음성 지표를 별도의 음 성질(phonatory quality) 특징 추출기에서 벡터로 산출하여, 이를 멜 기반 음성 인코더로부터 얻어지는 의미적 임베딩과 함께 발성 품질 인코더(phonation quality encoder) 분기를 통해 다중 특성 융합을 수행함으로써 수정된 음성 표현(ea’)을 형성하고, 병적·정상 간 분포 차이를 보다 명확히 반영하는 임상 지표 정렬 손실이나 특징 일관성 손실 함수(feature consistency loss)를 추가하여, 최종적으로는 음성-문자 검색 기반 표현 학습과 더불어 발성 품질 이상을 탐지하고, 음성-문자 불일치 정도를 활용한 발성 변화 검출을 가능하게 하는 방향으로 모델을 확장할 수 있을 것이다. 그리고, 음성-문자 데이터셋의 경우 다화자·자연 발화 기반을 사용함으로써, 대조학습 모델의 일반화 성능 향상이 필수적 요소로 필요할 것이다. 이때, 딥러닝 모델의 블랙 박스 설명성 향상을 위하여 설명가능한 인공지능(explainable AI) 기법을 적용한 임상 신뢰도를 확보할 필요성이 제기된다[21].

결 론

본 연구에서는 음성과 문자 간의 의미적 정렬을 고도화하기 위해 멀티모달 대조 방법 기반의 통합 표현 학습 모델을 제안하였다. 제안 모델은 음성-문자 간 상호 연관성을 단일 잠재 공간에서 효과적으로 학습함으로써, 발화 내용과 발성 특성이 임상적으로 유의미한 방식으로 반영될 수 있음을 확인하였다. 이러한 결과는 음성 기반 디지털 바이오마커 개발을 위한 표현 학습 단계에서의 가능성을 제시하며, 실제 임상 의사결정지원 시스템(CDSS)으로의 적용을 위해서는 병적 음성 데이터 및 임상 지표를 포함한 추가적인 검증이 필수적이다. 향후, 다양한 병적 음성 데이터 및 실제 임상 환경에서의 검증을 통해 모델의 일반화 가능성과 임상적 활용 잠재 가능성을 단계적으로 확인할 예정이다.

NOTES

Funding Statement

None

Acknowledgments

None

Conflicts of Interest

The authors have no financial conflicts of interest.

Authors’ Contribution

Conceptualization: Kwang Hyeon Kim, Yoonkyoung So. Data curation: Kwang Hyeon Kim. Formal analysis: Kwang Hyeon Kim. Investigation: Kwang Hyeon Kim. Methodology: Kwang Hyeon Kim, Yoonkyoung So. Project administration: Kwang Hyeon Kim. Resources: Kwang Hyeon Kim. Software: Kwang Hyeon Kim. Supervision: Kwang Hyeon Kim. Validation: Kwang Hyeon Kim, Yoonkyoung So. Visualization: Kwang Hyeon Kim. Writing—original draft: Kwang Hyeon Kim. Writing—review & editing: Kwang Hyeon Kim. Approval of final manuscript: all authors.

Fig. 1.

Research flowdiagram of the audio–text contrastive learning-based multimodal representation learning model. The architecture utilizes a dual-encoder structure where audio (Mel spectrogram+SpecAugment) and text (KoBERT tokenization) inputs are mapped to a shared latent semantic embedding space via their respective encoders and optimized using Bidirectional InfoNCE Loss for contrastive representation alignment and retrieval.

Fig. 2.

Preprocessing result for speech feature extraction. Displays the Mel spectrogram (80-channel) of the original speech waveform, illustrating the frequency component representation transformed using the non-linear Mel scale to prepare the audio input for the audio encoder.

Fig. 3.

Contrastive learning model training progression results. A: Training loss over 100 epochs, showing stable and efficient convergence (from 3.004 to 0.136), with the steepest drop occurring in the initial 20 epochs. B: Median rank of audio–text pair matching accuracy (A2T MedR and T2A MedR), illustrating the improvement in cross-modal retrieval performance as the rank median converges toward a low value (near 0).

Fig. 4.

Similarity distribution and t-SNE visualization of embeddings. A: Histogram of cosine similarity clearly distinguishing positive pairs (high similarity, concentrated at 0.6–0.7) from negative pairs (widely distributed near 0), demonstrating the discriminative ability of the model. B: t- SNE visualization of 500 samples, showing the tight alignment (short connecting dashed lines) and clustering of corresponding audio (blue dots) and text (red x) embeddings in the shared latent space.

Table 1.

Descriptive statistical analysis for the dataset

Category	Value
Data size & duration
Total number of sentences (samples) (n)	12854.00
Total utterance duration (sec)	46292.80
Mean utterance duration (sec)	3.60±1.01
Mean word count (words)	4.99±1.73
Performance (WER)
Overall average WER (%)	100.69
Comparison criterion (median) (sec)	3.50
Group comparison (t-test)
Short utterance group WER (%)^*	100.56
Long utterance group WER (%)^†	100.80

Data are presented as mean±standard deviation or %.

^* duration <3.50 seconds;

^† duration ≥3.50 seconds; p=0.0311. WER, word error rate.

Table 2.

Bidirectional query results using audio and text embeddings (rank 1 success analysis)

Modality	Query frame	Query text	Rank 1	Similarity
A2T	4_2946	여기 접시 좀 치워 주시겠어요?	TRUE	0.7364925
	4_5491	이번 행사는 3일간 서울에서 열려요.	TRUE	0.72557575
	1_0344	저를 기억하시겠어요?	TRUE	0.7172562
	4_4200	이 냉장고의 판매 가격은 얼마예요?	TRUE	0.7098061
	4_4099	저희 호텔의 손님들은 대부분 외국인 관광객들입니다.	TRUE	0.70275426
T2A	2_0585	이 모델은 화질이 아주 선명합니다.	TRUE	0.70037013
	2_1045	그 사람은 능력이 탁월하다.	TRUE	0.69685286
	4_4709	한 시간 후에 다시 전화해 주시겠습니까?	TRUE	0.6938955
	3_4944	이제 집에 가도 돼요?	TRUE	0.6907771
	4_4440	사이다 한 잔 더 갖다 주시겠어요?	TRUE	0.69064385

REFERENCES

1. Merrill RM, Roy N, Lowe J. Voice-related symptoms and their effects on quality of life. Ann Otol Rhinol Laryngol 2013;122(6):404-11.

2. Roy N, Barkmeier-Kraemer J, Eadie T, Sivasankar MP, Mehta D, Paul D, et al. Evidence-based clinical voice assessment: a systematic review. Am J Speech Lang Pathol 2013;22(2):212-26.

3. Payten CL, Weir KA, Madill CJ. Investigating current clinical practice in assessment and diagnosis of voice disorders: a cross-sectional multidisciplinary global web survey. Int J Lang Commun Disord 2024;59(6):2786-805.

4. Estes CM, Johnson AM. Practical considerations for instrumental acoustic and aerodynamic assessment of voice: discussion points from an open forum of clinicians. Perspect ASHA Spec Interest Groups 2023;8(6):1354-62.

5. Brockmann-Bauser M. How well will AI help recognize voice disorders? A state-of-the-art review of current acoustic assessment strategies and future applications. World J Otorhinolaryngol Head Neck Surg 2025;11(4):518-23.

6. Nudelman CJ, Tardini V, Bottalico P. Artificial intelligence to detect voice disorders: an AI-supported systematic review of accuracy outcomes. J Voice In press 2025. http://doi.org/10.1016/j. jvoice.2025.09.021

7. Costantini G, Cesarini V, Di Leo P, Amato F, Suppa A, Asci F, et al. Artificial intelligence-based voice assessment of patients with Parkinson’s disease off and on treatment: machine vs. deep-learning comparison. Sensors (Basel) 2023;23(4):2293

8. Rehman MU, Shafique A, Azhar QUA, Jamal SS, Gheraibia Y, Usman A. Voice disorder detection using machine learning algorithms: an application in speech and language pathology. Eng Appl Artif Intell 2024;133(A):108047

9. Hu T, Xiang X, Qin J, Tan Y. Audio–text retrieval based on contrastive learning and collaborative attention mechanism. Multimed Syst 2023;29(6):3625-38.

10. Yuan X, Lin Z, Kuen J, Zhang J, Wang Y, Maire M, et al. Multimodal contrastive training for visual representation learning. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2021 June 20-25. Nashville, TN, USA: IEEE;2021;6995-7004.

11. Yujia Xiao, Xi Wang, Xu Tan, Lei He, Xinfa Zhu, Sheng Zhao, et al. Contrastive context-speech pretraining for expressive text-to-speech synthesis. Proceedings of the 32nd ACM International Conference on Multimedia (MM ‘24). 2024 October 28 - November 1. Melbourne VIC Australia: Association for Computing Machinery, New York, NY, USA;2024, p.2099-107.

12. Miliaresi I, Pikrakis A. A computationally efficient fully convolutional network for respiratory sound classification. 2025 33rd European Signal Processing Conference (EUSIPCO). 2025 September 8-12. Palermo, Italy: IEEE;2025, p.1612-6.

13. Frisinger A, Papachristou P. The voice of healthcare: introducing digital decision support systems into clinical practice - a qualitative study. BMC Prim Care 2023;24(1):67

14. Park K. KSS dataset: Korean single speaker speech dataset [Internet] [cited 2025 June 2]. Available from: https://www.kaggle.com/datasets/bryanpark/korean-single-speaker-speech-dataset.

15. Abdul ZK, Al-Talabani AK. Mel frequency cepstral coefficient and its applications: a review. IEEE Access 2022;10:122136-58.

16. SKTBrain. KoBERT: Korean BERT pre-trained cased (KoBERT) [Internet] [cited 2025 June 2]. Available from: https://github.com/SKTBrain/KoBERT.

17. Graves A, Jaitly N, Mohamed AR. Hybrid speech recognition with deep bidirectional LSTM [Internet] [cited 2025 June 2]. Available from: http://doi.org/10.1109/ASRU.2013.6707742.

18. Huang W, Han A, Chen Y, Cao Y, Xu Z, Suzuki T. On the comparison between multi-modal and single-modal contrastive learning [Internet] [cited 2025 June 2]. Available from: http://doi.org/10.52202/079017-2592.

19. Liu K, Xue F, Guo D, Sun P, Qian S, Hong R. Multimodal graph contrastive learning for multimedia-based recommendation. IEEE Trans Multimedia 2023;25:9343-55.

20. Kim SY, Lee HM, Lim CY, Kim HW. Detection of abnormal symptoms using acoustic-spectrogram-based deep learning. Appl Sci 2025;15(9):4679

21. Kim KH, Koo HW, Lee BJ, Yoon SW, Sohn MJ. Cerebral hemorrhage detection and localization with medical imaging for cerebrovascular disease diagnosis and treatment using explainable deep learning. J Korean Phys Soc 2021;79(3):321-7.