Disparate Performance of Audiologists and Whisper Artificial Intelligence in Recognizing Korean Consonant-Vowel Syllables Produced by Elderly Hearing Loss
Article information
Abstract
This study aimed to evaluate the accuracy of the multilingual automatic speech recognition (ASR) model Whisper large-v3 (OpenAI, San Francisco, CA, USA) in recognizing isolated Korean monosyllables (consonant-vowel and consonant-vowel-consonant structures) produced by two older adults with sensorineural hearing loss, using expert audiologists as the perceptual reference standard. Two older Korean adults (87-year-old male, 78-year-old female) each produced 130 Korean monosyllables. Four audiologists independently transcribed the tokens under blinded conditions. The same audio files were processed using Whisper large-v3 (OpenAI) in an offline environment with Korean language settings. Phoneme-level accuracy, inter-rater agreement, and error patterns were compared across raters, speakers, and phoneme categories. Audiologist transcription showed moderate agreement (mean accuracy: 59.7% for S-001 and 61.7% for S-002; perfect agreement: 55.4% and 62.0%, respectively), reflecting variability in elderly speech perception. In contrast, Whisper demonstrated substantially lower accuracy (13.1% and 13.8%), with high error rates. Errors were primarily observed in specific phoneme categories, including tense consonants, fricatives, liquids, and mid-front vowels, whereas nasals and high vowels were relatively preserved. Whisper did not achieve higher transcription accuracy than audiologists for any monosyllable tested. Whisper large-v3 (OpenAI) shows substantially lower performance than human audiologists in phoneme-level transcription of Korean monosyllables produced by older adults with sensorineural hearing loss. These findings suggest that general-purpose ASR systems have limited clinical applicability in this population and should currently be considered as assistive tools rather than replacements for expert evaluation. Further development, including elderly- and Korean-specific model adaptation, is required.
INTRODUCTION
전 세계적으로 자동 음성인식(automatic speech recognition, ASR)과 음성 합성 기술이 빠르게 발전하면서 콜센터, 스마트폰, 의료 기록, 차량 인포테인먼트 등 다양한 환경에서 인간이 수행하던 발화 전사 작업이 점차 기계 기반 시스템으로 대체되고 있다[1]. 특히 대규모 음성·텍스트 데이터를 기반으로 학습된 최신 딥러닝 ASR 모델은 다국어, 다화자, 잡음 환경에서도 높은 강건성을 보이며 기존의 규칙 기반 또는 소규모 학습 모델을 빠르게 대체하고 있다[2]. 이러한 흐름 속에서 의료 분야에서도 환자-의료진 대화의 자동 전사, 진료 기록 요약, 음성 기반 인터페이스 등 다양한 응용이 확산되며 임상가의 업무 부담을 줄이고 전사 효율을 향상시키는 도구로 활용되고 있다[1].
한편 한국을 포함한 여러 국가에서 초고령 사회로의 진입이 가속화되면서 노화에 따른 음성 및 청각 기능 변화는 중요한 보건의료 문제로 부각되고 있다[3,4]. 노인은 성대 점막의 위축, 근 긴장도 감소, 호흡-발성 조절 저하 등에 따른 음성 쇠약(voice frailty)을 경험하며 동시에 노인성 난청으로 인한 말지각 저하를 동반하는 경우가 많다[5]. 이러한 변화는 발화의 음질, 조음 정확도, 명료도를 전반적으로 저하시켜 젊은 성인과는 다른 음성 특성을 형성한다[4].
특히 고령 화자의 음성은 기본 주파수 변동 증가, 포먼트 대역의 압축 및 이동, 성대 폐쇄 불완전으로 인한 잡음성 증가 등 복합적인 음향학적 변화를 보이며[3] 이는 기존 ASR 시스템과의 분포 불일치(domain shift)를 유발하는 주요 요인으로 지적된다[6]. 더 나아가 고령에서는 말 속도의 둔화, 조음 정밀도 저하, 자음 폭발 구간 약화 등이 동반되며 이러한 변화는 특히 경음·격음과 같은 자음 대립 및 모음 간 포먼트 구별을 어렵게 만든다[6]. 여기에 노인성 난청이 동반될 경우 말 산출과 지각의 저하가 상호작용하여 음소 변별의 어려움이 더욱 심화된다[7].
한국어는 평음-경음-격음의 삼항 대립과 비교적 풍부한 자음·모음 체계를 가지므로 이러한 조음 및 음향적 변화는 자음-모음 (consonant-vowel, CV) 수준의 고립 단음절에서도 음소 변별의 불안정성을 유발할 수 있다[5]. 따라서 고령 난청인의 발화를 대상으로 ASR 시스템의 성능을 평가할 때에는 단순한 문장 수준의 인식률뿐 아니라 음소 수준의 세밀한 오류 양상 분석이 필요하다.
최근 등장한 Whisper large-v3 (OpenAI, San Francisco, CA, USA)와 같은 대규모 다국어 ASR 모델은 다양한 언어와 환경을 포괄하는 방대한 데이터로 학습되었으나[8] 한국어 데이터의 비중이 제한적이며 특히 고령 화자의 발화는 충분히 반영되지 않은 것으로 알려져 있다. 이에 따라 이러한 모델을 노인 난청 화자의 발화에 그대로 적용할 경우 성능 저하 및 특정 음소군에서의 구조적 오류 가능성이 제기된다. 실제로 다국어 ASR 연구에서는 언어 및 화자 특성에 따라 인식 정확도와 오류 패턴이 크게 달라지며 특히 고령 화자나 비정형 발화에서 특정 자음군 및 모음군에 오류가 집중되는 경향이 보고되고 있다[2,6].
그럼에도 불구하고 실제 난청 노인 화자의 한국어 단음절 발화를 대상으로 최신 대규모 ASR 모델과 인간 전문가의 전사 수행을 직접 비교한 연구는 매우 제한적이다. 이러한 공백은 임상 현장에서 ASR 기술을 어떻게 활용할 것인지에 대한 근거를 마련하는 데 중요한 제약으로 작용한다.
이에 본 연구는 감각신경성 난청을 가진 두 명의 고령 화자가 산출한 한국어 단음절을 대상으로 인간 청능사와 Whisper large-v3 (OpenAI)의 전사 수행을 음소 수준에서 비교·분석하고자 하였다. 구체적으로 첫째, 동일한 자극에 대한 청능사 간 전사 일치도를 통해 인간 전사의 신뢰도 수준을 확인하고 화자 간 발화 명료도의 차이를 탐색하였다. 둘째, Whisper large-v3 (OpenAI)의 전사 정확도를 청능사 결과와 직접 비교하여 난청 노인의 단음절 발화 인식에서의 상대적 성능과 음소 유형별 강·약점을 분석하였다. 궁극적으로 인간 전사와 ASR 전사의 오류 패턴을 비교함으로써 고령 난청 음성의 특성과 범용 ASR 모델의 한계를 규명하고 향후 노인 및 한국어 특화 ASR 모델 개발 방향에 대한 시사점을 제시하고자 한다.
CASE REPORT
Participants
본 연구에는 한국어를 모국어로 사용하는 87세 남성(S-001)과 78세 여성(S-002) 노인 2명이 참여하였다. 본 연구는 통제된 집단 비교 연구가 아닌 실제 임상에서 관찰되는 노인 난청 화자의 이질성을 반영한 탐색적 사례 연구로 설계되었다. 이에 따라 서로 다른 청력 프로파일을 가진 두 사례를 포함하여 이러한 차이에도 불구하고 인간 청능사와 범용 ASR 간 전사 성능의 차이와 오류 양상이 공통적으로 나타나는지를 예비적으로 확인하고자 하였다.
두 대상자는 모두 인지 기능 선별 검사(Korean Version of the Mini-Mental State Examination)에서 25점 초과를 보였으며 신경학적 질환의 병력은 자가 보고상 확인되지 않았다. 또한 순음 청력 검사와 어음 청각 검사 결과 양측 대칭형 감각 신경성 난청이 확인되었다(Figure 1). 평소 보청기를 착용하는 S-001의 경우 녹음 조건의 일관성을 위해 모든 검사는 보청기를 제거한 맨 귀 조건에서 시행하였다. 이는 청각적 피드백 감소로 인해 발화 정확도에 영향을 미쳤을 가능성이 있으며 결과 해석 시 고려되어야 한다. 모든 대상자는 실험 참여 전 서면 동의를 제공하였으며 연구 절차는 한림대학교 생명윤리위원회의 승인을 받았다.
Pure-tone audiogram of two older adults with sensorineural hearing loss; S-001 (left panel) and S-002 (right panel). HL: hearing level.
청능사 전사는 청각학 전공 학사, 석사 또는 박사 과정을 포함하여 총 6년 이상의 교육을 이수하고 임상 경력 3년 이상의 음성 전사 및 청각 평가 경험을 보유한 청능사 4인이 수행하였다. 모든 전사는 블라인드 조건에서 독립적으로 이루어졌으며 평가자에게는 대상자의 청력 수준과 연구 목적에 대한 개괄적인 정보만 제공되었다. 각 발화 음성의 목표 음절 목록과 다른 평가자의 전사 결과는 전 과정에서 비공개로 유지되었다.
Speech materials and recording
음성 자극은 한국어 자음-모음(CV) 및 자음-모음-자음 (consonant-vowel-consonant [CVC]) 구조의 단음절 130개로 구성하였으며 한국어 초성 자음과 기본 모음 조합을 폭넓게 포함하도록 설계하였다. 특히 평음·경음·격음, 비음·유음, 모음 ㅏ·ㅓ·ㅗ·ㅜ·ㅣ 및 ㅐ·ㅔ 계열을 모두 포함하여 음운적 특성을 균형 있게 반영하였다[9].
두 대상자는 배경소음 30 dBA 이하의 조용한 실험실에서 충분한 연습 후 각 자극을 한 차례씩 발화하였다. 대상자는 마이크로폰으로부터 약 15~20 cm 거리를 유지한 상태에서 모니터에 제시된 한글 자극을 자연스러운 속도로 읽도록 하였다. 명백한 말실수나 기침, 잡음이 포함된 경우에만 동일 자극을 재녹음하였으며 최종 분석에는 각 목표 단음절당 1개의 토큰만 포함하였다.
음성 신호는 단일 채널 콘덴서 마이크(YMDVR32G, Habbsi, China)를 사용하여 44.1 kHz, 16-bit pulse code modulation 형식으로 녹음하였다. 이후 Praat ver. 6.4.45 [10]를 사용하여 발화 구간만 남기고 선행·후행 무음을 최소화하는 수준으로 편집하였다.
Transcription and data analysis
편집된 단음절 음성 파일은 개별 헤드폰을 통해 네 명의 청능사에게 제시되었다. 청능사는 조용한 환경에서 각 파일을 최대 두 번까지 청취한 후 들리는 대로 한글 CV/CVC 형태로 전사하였다. 전사 시간 제한은 없었으며 평가자 간 상호 논의는 허용되지 않았다. 청능사 전사 결과는 대상자, 목표 음절, 평가자(1~4)를 기준으로 정리하였다. 네 명의 전사가 모두 일치한 경우를 완전 일치로 정의하고 그 비율(%)을 산출하였다. 또한 평가자별 정답 수를 기반으로 개인별 전사 정확도(%)를 계산하고 이를 평균하여 청능사 평균 정확도를 산출하였다. 목표 음절에 대해 네 명 모두 일치한 경우를 고일치, 두 명 이하만 일치한 경우를 저일치로 분류하였다.
자동 음성인식은 OpenAI의 Whisper large-v3 (OpenAI) [11] 모델을 사용하여 수행하였다. 해당 모델은 약 68만 시간 이상의 다국어 음성 데이터를 기반으로 학습된 sequence-tosequence transformer 구조의 end-to-end ASR 시스템이다. 모델은 오프라인 환경에서 구동되었으며 언어 자동 감지 기능을 활성화하였다. 본 연구의 입력 음성은 모두 한국어로 구성되어 있어 언어 인식 오류 가능성은 낮다고 판단하였다.
노인 난청 화자의 발화 특성을 고려하여 전사 결과의 안정성을 확보하기 위해 보수적인 디코딩 전략을 적용하였다. 구체적으로 beam search (beam size = 5)와 greedy decoding (temperature = 0.0)을 결합하고 best_of = 5를 설정하였다. 또한 temperature fallback (0.0, 0.2, 0.4)을 적용하여 디코딩 신뢰도를 보완하였다. 출력 텍스트는 공백 및 문장 부호를 제거한 후 첫 음절만을 추출하여 목표 단음절과 비교하였다. 한글이 아닌 문자, 기호 또는 무응답은 [EMPTY]로 분류하였다. Whisper의 정확도는 목표 음절과 완전히 일치한 경우를 정답으로 정의하여 산출하였으며 대상자별 정확도(%), [EMPTY] 비율, 처리 완료율을 계산하였다. 오류 분석은 “목표음→인식결과” 쌍의 빈도를 기반으로 수행하였으며 자음 유형(예: 평음/경음/유음)과 모음 유형(기본 모음 vs. ㅐ·ㅔ 계열)에 따라 기술 통계적으로 정리하였다.
청능사와 Whisper의 성능 비교를 위해 완전 일치율, 청능사 평균 정확도, Whisper 정확도, 두 정확도의 차이(%)를 주요 지표로 사용하였다. 또한 두 대상자의 결과를 동일 축에서 비교하여 화자 특성이 전사 일치도 및 ASR 성능에 미치는 영향을 탐색하였다.
RESULTS
Inter-rater agreement among audiologists
네 명의 청능사의 전사 결과를 CV 단위로 분석한 결과(Table 1), S‑001에서는 130개 CV 중 72개에서 네 명 모두가 목표 음절과 동일하게 전사하여 완전 일치율은 55.4%였고 최소 세 명 이상이 동일하게 전사한 경우까지 포함하면 58.5%로 증가하였으나 증가 폭은 제한적이었다. S‑002에서는 130개 중 1개 음원이 누락되어 129개 CV를 분석하였다. 이 중 80개에서 네 명 모두가 목표 음절에 일치해 완전 일치율은 62.0%였고 세 명 이상 일치 기준에서는 61.2%로 S‑001보다 일관되게 높은 값을 보였다. 전반적으로 두 사례 모두에서 완전 일치율이 절반 전후에 머물러 고령 난청인의 CV 발화는 숙련된 청능사에게도 ‘중간 정도’의 신뢰도 수준을 갖는 난해한 자극이었다. 이는 고령 난청 화자의 단음절 발화가 조음 변이성과 음향적 불안정성으로 인해 인간 청취자에게도 일관된 전사를 어렵게 만드는 자극임을 시사한다.
Inter-rater agreement of four audiologists for CV transcription in two older adults with sensorineural hearing loss
자음·모음 유형별로 세분화하면 평음-경음-격음의 삼항 대립이 포함된 폐쇄음과 마찰음, /ㄹ/이 포함된 유음 CV에서 청능사 간 일치도가 상대적으로 낮은 반면, /ㄴ, ㅁ/ 비음과 /ㅣ, ㅜ/와 같이 포먼트가 안정적인 고모음에서는 네 명 평가자가 거의 항상 동일한 전사에 수렴하였다. 반면 /ㅐ, ㅔ/가 포함된 중전설 모음 CV와 경음 파열음이 결합된 음절(예: 까, 깨, 꼬, 꾸, 띠, 싸 등)은 두 대상자 모두에서 2명 이하만 정답에 도달하는 저일치 CV 목록에 자주 포함되어 본 두 대상자에서는 이들 음운 범주가 인간 청취자에게도 상대적으로 취약한 영역으로 관찰되었다.
Transcription performance of Whisper AI (OpenAI)
Whisper-large v3 (OpenAI)의 CV 전사 정확도는 두 대상자 모두에서 일관되게 낮았다. S-001에서 Whisper는 130개 CV 중 17개(13.1%)만을 목표 음절과 정확히 일치시켰고 111개(85.4%)에서 대치 오류, 2개(1.5%)에서 [EMPTY]로 처리되는 삭제 오류를 보였으며 문자 단위 오류율(consonant error rate/word error rate [CER/WER])은 86.9%에 달했다. S-002에서는 129개 CV 중 18개(13.8%)를 정확 인식하였고 103개(79.8%)에서 대치 오류, 8개(6.2%)에서 [EMPTY]가 발생했으며 CER/WER은 86.1%로 S-001과 유사한 수준이었다(Table 2).
Performance of Whisper large-v3 (OpenAI, San Francisco, CA, USA) for CV transcription in two older adults with sensorineural hearing loss
정확히 인식된 CV를 살펴보면 두 대상자 모두에서 Whisper가 공통적으로 잘 처리한 음절은 아, 오, 우, 이, 어와 같은 단순 모음 중심 CV와 가, 다, 타, 차, 파 등 명확한 파열음이 선행하는 CV, 일부 치음 계열 CV(차, 초, 치 등)로 고에너지 자음과 분명한 포먼트 구조가 결합된 경우에 한정되어 있었다. 반면 경음 파열음(까, 깨, 꼬, 꾸, 끼 등), 유음(/ㄹ/ 포함 CV), 중전설 모음(/ㅐ, ㅔ/)이 포함된 CV에서는 Whisper가 거의 모든 항목에서 오인식 하거나 [EMPTY]를 산출해 특정 음운 범주에 오류가 강하게 편중되는 양상이 관찰되었다. 종합하면 Whisper의 오류는 무작위가 아니라 특정 음운 범주에 체계적으로 편중된 양상을 보였다.
Direct comparison between audiologists and Whisper AI (OpenAI)
청능사 네 명의 평가자별 정확도를 CV 기준으로 산출한 결과 S-001에서 개인별 정확도는 55.4~62.3% 범위였으며 평균은 59.7%였다. S-002에서는 57.7~65.4% 범위의 정확도를 보여 평균 61.7%로 S-001보다 약간 높았다. 동일 CV 집합에 대한 Whisper의 정확도는 S-001에서 13.1%, S-002에서 13.8%로 두 대상자 모두에서 청능사 평균 대비 약 46.6~47.9% 낮은 정확도를 나타냈다(Table 3). 즉, 절대 정확도 기준으로는 청능사가 Whisper보다 약 4.5배 높은 성능을 보였으며 Whisper가 어떤 CV에서도 청능사를 능가한 사례는 관찰되지 않았다. 이는 절대 정확도 기준에서 청능사가 Whisper보다 약 4.5배 높은 성능을 보였음을 의미한다.
Mean CV-level accuracy of audiologists and Whisper for two older adults with sensorineural hearing loss
CV 별로 청능사 평균 정확도와 Whisper 정확도를 짝지어 살펴보면 청능사가 4명 완전 일치 또는 ≥3명 일치를 보이는 고성능 CV에서도 Whisper는 0~30% 범위의 낮은 정확도에 머무르는 경우가 다수였다. 반대로 청능사와 Whisper가 동시에 낮은 정확도를 보이는 CV(예: 경음 파열음 + 중전설 모음 조합)는 두 시스템 모두에서 일관된 취약 영역으로 나타났으며 Whisper가 청능사보다 더 높은 전사 정확도를 보인 CV는 관찰되지 않았다. 즉, Whisper는 대부분의 음절에서 정답에 도달하지 못하고 대치 오류에 의존하는 양상을 보였다.
Error patterns by syllable characteristics
Whisper의 대치 오류를 음운 범주별로 분류한 결과 두 대상자 모두에서 비음(/ㄴ, ㅁ/)과 고모음(/ㅣ, ㅡ, ㅜ/)이 포함된 CV는 상대적으로 잘 보존된 반면, 평음·경음·격음 파열음, 마찰음, 유음(/ㄹ/), /ㅐ, ㅔ/가 포함된 중전설 모음 CV에서 체계적인 오 인식이 반복되었다. 예를 들어 목표가 경음 파열음인 CV에서 Whisper는 대응 평음(까→가)이나 전혀 다른 모음 단독 음절(꼬→오/어, 꾸→오/고)로 전사하는 경우가 많았고 /ㄹ/이 포함된 CV(라, 레, 로, 루, 리 등)는 비음이나 무정자음, 혹은 모음 단독 CV로 치환되는 양상이 잦았다.
S-002의 경우 Whisper가 전체 CV의 6.2%를 [EMPTY]로 처리했는데 이들 대부분은 마찰음·유음·경음과 같이 자음 에너지가 약하거나 발화 길이가 짧은 음절이었다. 반면 청능사의 오류는 주로 평음-경음 혼동(까→가, 빠→바 등)과 인접 모음 간 혼동(매→메, 내→네, 배→데/앱/래 등)에 집중되어 동일한 음향 자극에 대해 인간 청취자와 Whisper가 서로 다른 지각·인식 전략을 사용하고 있음을 보여준다(Table 4).
Whisper large-v3 (OpenAI, San Francisco, CA, USA) error types for CV transcription by subject
Subject-specific patterns (S-001 vs. S-002)
화자별로 요약하면 S-001은 평균 발화 길이가 0.56초로 더 길고 자음 명확도가 상대적으로 높은 반면, 청능사 간 완전 일치율은 55.4%로 S-002보다 낮았다. S-002는 평균 발화 길이가 0.47초로 더 짧음에도 불구하고 청능사 완전 일치율이 62.0%, 평균 정확도가 61.7%로 더 높아 인간 청취자에게는 더 명료하고 일관된 발화로 지각되었다. 그럼에도 Whisper의 정확도는 두 대상자에서 각각 13.1%, 13.8%로 거의 동일했으며 오히려 S-002에서 [EMPTY] 비율이 1.5%에서 6.2%로 증가해 Whisper가 화자 간 미묘한 명료도 차이보다는 발화 길이·에너지 분포와 같은 거시적 신호 특성에 더 민감하게 반응하는 것으로 해석된다 (Table 5).
Subject-specific summary of audiologist and Whisper performance
또한 S‑001에서는 경음과 유음이 중심이 되는 25개 CV(까, 깨, 꼬, 꾸, 끼, 빠, 빼, 뽀, 뿌, 삐, 싸, 쎄, 쏘, 쑤, 씨, 짜, 째, 쪼, 쭈, 찌, 라, 레, 로, 루, 리)가 Whisper와 청능사 모두에서 반복적으로 어려운 음절로 나타난 반면, S‑002에서는 이들에 더해 모음 혼동(내, 매, 배 등)과 자음 약화(바, 미, 비 등)가 포함된 총 51개 CV에서 저일치와 높은 오류율이 관찰되었다. 이는 S‑002가 보다 전형적인 고령 음성 특성(짧은 발화, 낮은 자음 에너지, 축소된 vowel space)을 보이며 Whisper가 이러한 특성에서 전체 음절을 놓치는 [EMPTY] 실패를 더 자주 경험한다는 점을 시사한다.
DISCUSSIONS
본 연구는 고령 감각신경성 난청 화자 2명이 산출한 한국어 단음절을 대상으로 인간 청능사와 대규모 다국어 ASR 모델(Whisper large-v3; OpenAI)의 전사 수행을 음소 수준에서 직접 비교함으로써 인간 지각과 기계 인식 간의 차이와 오류 패턴을 탐색적으로 분석하고자 하였다. 그 결과 청능사의 평균 전사 정확도는 약 60% 수준으로 나타나 고령 난청인의 고립 단음절 발화 자체가 인간 청취자에게도 상당한 인지적 부담을 주는 자극임을 확인할 수 있었다. 반면 Whisper는 약 13~14% 수준의 낮은 정확도를 보였으며 어떠한 음절에서도 청능사를 능가하지 못해 범용 ASR이 노인 난청인의 한국어 단음절 발화를 처리하는 데 뚜렷한 한계를 보였다.
이러한 성능 저하는 비정형 화자 조건(연령, 말소리 변이, 청각 손실 등)에서 ASR 성능이 저하된다는 선행 연구와 일관된 결과이다[1,2]. 특히 Whisper의 오류가 특정 음소군에 집중되었다는 점은 중요한 시사점을 제공한다. 본 연구에서 오류는 주로 파열음, 마찰음, 유음 및 중전설 모음에서 두드러졌으며 비음과 고모음에서는 상대적으로 높은 인식률이 유지되었다. 이러한 경향은 고령 화자의 음성에서 조음 약화와 음향 단서 감소가 특정 음소 범주에 더 크게 영향을 미친다는 기존 연구와 부합한다[6,12]. 또한 인간 청능사와 Whisper가 모두 경음·격음 및 /ㅐ, ㅔ/계열에서 취약성을 보였다는 점은 고령 음성에서 나타나는 기본 주파수 변동성 증가, 포먼트 압축, 약화된 폭발 구간 등 연령 관련 음향 변화가 한국어 음운 체계의 핵심 대립을 흐리게 만든다는 선행 연구와도 일치한다[9,13]. 그러나 이러한 공통된 취약 영역에서도 Whisper는 인간보다 더 큰 오류율을 보였으며 오류의 양상 또한 상이하였다.
구체적으로 청능사는 음운적으로 인접한 범주 간 혼동을 주로 보인 반면, Whisper는 자음에서 모음으로의 비정형적 대치나 [EMPTY] 출력과 같은 비언어적 오류를 빈번하게 산출하였다. 이는 인간과 ASR이 활용하는 지각 단서의 차이를 반영하며 Whisper가 한국어 음운 구조 및 고령 화자의 음향적 특성을 내부 표현과 디코딩 과정에서 충분히 반영하지 못하고 있음을 시사한다. 화자별 분석에서도 의미 있는 차이가 관찰되었다. 두 대상자 간 청능사 전사 정확도는 차이를 보였으나 Whisper 정확도는 유사한 수준으로 나타났으며 특히 발화 길이가 짧은 화자에서 [EMPTY] 비율이 증가하는 경향이 확인되었다. 이는 Whisper가 인간 청취자가 활용하는 미세한 조음 및 명료도 차이를 충분히 반영하지 못하고 대신 발화 길이나 에너지와 같은 거시적 신호 특성에 더 민감하게 반응할 가능성을 시사한다. 종합하면, 본 두 사례에서 인간과 ASR 모두 특정 음소군에서 취약성을 보였으나[14] Whisper는 해당 영역에서 더 큰 오류를 보이고 화자 간 명료도 차이를 충분히 반영하지 못하는 경향이 확인되었다. 이러한 결과는 범용 다국어 ASR 모델이 노인 난청 화자의 단음절 발화를 전사하는 데 있어 현재로서는 제한적인 성능을 보인다는 점을 시사한다. 특히 단음절 수준에서도 인간 전사와 큰 성능 격차가 나타났다는 점은 조음 평가, 음소 오류 분석, 재활 효과 평가와 같은 임상적 의사결정 과정에서 직접적인 대체 도구로 활용하기에는 신중한 접근이 필요함을 의미한다. 따라서 현단계에서 ASR은 임상가를 대체하는 도구라기보다 보조적 분석 도구(assistive tool)로 제한적으로 활용하는 것이 적절하다[15]. 향후 임상 적용을 위해서는 노인 및 난청 화자의 음성 데이터를 반영한 코퍼스 구축과 모델의 단계적 미세조정(finetuning), 음소 단위 평가에 특화된 ASR 시스템 개발이 요구된다. 또한 한국어 음운 구조를 보다 정밀하게 반영할 수 있는 모델 구조 및 디코딩 전략의 개선이 필요하다.
본 연구는 몇 가지 한계를 가진다. 첫째, 두 사례를 대상으로 한 탐색적 사례 연구로서 결과를 일반화하는 데에는 제한이 있다. 특히 난청 정도, 잔존청력, 보청기 사용 여부 및 발화 조건의 차이가 결과에 영향을 미쳤을 가능성을 배제할 수 없다. 둘째, 자극이 조용한 환경의 고립 단음절에 한정되어 있어 실제 의사소통 상황으로의 확장에는 신중한 해석이 필요하다. 셋째, 단일 ASR 모델과 제한된 추론 설정만을 사용하였으며 다양한 시스템 간 비교가 이루어지지 않았다. 넷째, 음향학적 지표에 대한 정량적 분석이 포함되지 않아 오류 발생의 기저 요인을 직접적으로 규명하지 못하였다. 향후 연구에서는 보다 큰 규모의 노인 난청 집단을 대상으로 청력 수준과 발화 조건을 체계적으로 통제한 설계를 적용할 필요가 있다. 또한 자극을 단어, 문장, 자연 대화로 확장하고 다양한 환경 조건을 포함하여 인간과 ASR의 성능을 비교해야 한다. 나아가 노인 한국어 음성 코퍼스를 기반으로 한 모델 학습 및 음소 단위 오류 분석을 통합한 연구를 통해 고령 친화적 ASR 시스템 개발과 임상 재활 전략 수립에 기여할 수 있을 것이다.
Notes
Ethical Statement
All participants signed an informed consent form before conducting the experiments. The protocol of this study has been approved by the Institutional Review Board of Hallym University (#HIRB-2025-007).
Acknowledgements
The authors thank the participating audiologists for their time and effort in the transcription task.
Declaration of Conflicting Interests
There are no conflict interests.
Funding
This work was supported by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea (NRF-2025S1A5C3A02005633).
Author Contributions
Conceptualization: Woojae Han. Data curation: Gibbeum Kim and Jieun Joo. Formal analysis: Gibbeum Kim and Jieun Joo. Funding acquisition: Seunghee Ha. Methodology: Woojae Han. Project administration: Woojae Han. Resources: Gibbeum Kim. Writing-original draft: Woojae Han. Writing-review & editing: all authors. Approval of final manuscript: all authors.