A Multisensory Artificial Intelligence Feedback Framework for Auditory Rehabilitation: Potential Integration of Whisper and MediaPipe
Article information
Abstract
This brief communication proposes Beyond Hearing, an artificial intelligence-based multisensory feedback framework designed to support self-directed auditory rehabilitation beyond the temporal and spatial limitations of conventional face-to-face intervention. The framework integrates Whisper (OpenAI, San Francisco, CA, USA) based automatic speech recognition, MediaPipe (Google LLC, Mountain View, CA, USA) Face Mesh-based visual articulatory tracking, and Librosa-based acoustic feature analysis. These components are intended to document user responses, quantify lip movement patterns, and extract temporal and spectral speech features relevant to Korean speech perception and production. An adaptive training structure is proposed to adjust task difficulty and signal-to-noise ratio according to user performance. The proposed framework provides a conceptual model for combining auditory, visual, and acoustic information during home-based auditory training. By organizing repeated response data and providing multisensory feedback, the system may help users recognize error patterns and may assist audiologists in monitoring training progress. Beyond Hearing is presented as a conceptual and technical framework, not as a clinically validated intervention. Further studies are needed to examine its technical accuracy, usability, agreement with expert judgment, and clinical effectiveness in people with hearing impairment.
INTRODUCTION
청각장애는 전 세계적으로 가장 흔한 감각장애 중 하나이며 의사소통 능력, 사회적 참여, 정서적 안녕 및 삶의 질에 광범위한 영향을 끼친다. 세계보건기구는 전 세계 약 15억 명 이상이 다양한 정도의 난청을 경험하고 있으며 인구 고령화와 함께 그 규모가 지속적으로 증가할 것으로 전망하였다 [1]. 난청은 단순한 감각 저하에 그치지 않으며 말소리 이해의 어려움, 사회적 고립, 우울, 인지 기능 저하 및 치매 위험 증가와도 관련이 된다 [2]. 따라서 청각장애인을 위한 재활은 보청기나 인공와우와 같은 청각보조기기의 적합을 넘어 일상생활에서의 의사소통 능력을 지속적으로 향상시키는 포괄적 중재로 확장시킬 필요가 있다.
기존의 청능재활은 전문가가 대상의 청취 수행과 의사소통 어려움을 평가하고 개별화된 훈련과 상담을 제공하는 대면 중심의 방식으로 이루어졌다. 이러한 접근은 임상적으로 중요하지만 정기적인 방문에 따른 시간적, 공간적 제약, 전문 인력의 부족, 지속적인 훈련 관리의 어려움이라는 한계를 가진다. 특히 가정이나 일상 환경에서 이루어지는 자가 훈련의 경우, 대상자가 자신의 청취 오류나 발화 오류에 대해 즉각적이고 객관적인 피드백을 받기 어렵다. 이러한 피드백의 공백은 훈련의 정확도와 지속성을 저하시킬 수 있으며 자가 청능재활의 효과를 제한하는 주요 요인이 될 수 있다.
최근 인공지능 기술의 발전은 이러한 한계를 보완할 수 있는 새로운 가능성을 제시하고 있다. 청각학 분야에서도 단순한 청각 보조기기 적합을 넘어 대상자의 청취 데이터, 발화 특성, 수행 변화 및 재활 반응을 분석하여 임상 의사결정과 훈련 설계를 지원하는 계산적 청각학(computational audiology)의 필요성이 제기되었다 [3]. 인공지능 기반 시스템은 대상자의 수행을 실시간으로 분석하고 오류 유형에 따라 훈련 난이도와 자극 조건을 조절하며 전문가가 대상자의 재활 과정을 원격으로 모니터링을 할 수 있는 기반을 제공할 수 있다. 이는 청능재활을 특성 장소와 시간에 제한된 재활에서 벗어나 일상 환경 속에서 지속 가능한 데이터 기반 재활로 확장시키는 데 기여할 수 있다.
난청인의 말소리 인지는 청각 정보뿐 아니라 시각적 조음 단서에 크게 의존한다. 특히 청각 신호가 불완전하거나 소음에 의해 왜곡되는 상황에서는 화자의 입술 움직임, 얼굴 표정, 조음 위치와 같은 시각 정보가 말소리 이해를 보완하는 중요한 역할을 한다. 이러한 청각-시각 통합 특성은 맥거크 효과(McGurk effect)를 통해 잘 알려져 있으며 다감각 정보를 활용한 재활 접근의 이론적 근거를 제공한다 [4]. 따라서 효과적인 디지털 청능 재활 시스템은 단순히 소리를 제시하고 정답 여부를 확인하는 수준을 넘어 사용자의 발화와 조음 움직임을 함께 분석하며 청각적, 시각적, 음향학적 피드백을 통합적으로 제공할 필요가 있다.
본 단보에서 제안하는 ‘Beyond Hearing’ 프레임워크는 이러한 필요성에 기반하여 Whisper (OpenAI, San Francisco, CA, USA) 기반 자동 음성 인식 기술과 MediaPipe (Google LLC, Mountain View, CA, USA) 기반 안면 랜드마크 추적 기술을 통합한 artificial intelligence (AI) 기반 다감각 피드백 시스템이다. Whisper는 사용자의 발화를 인식하고 시간적으로 정렬함으로써 발화 내용과 반응을 분석하는데 활용할 수 있으며 MediaPipe Face Mesh는 입술 개구도, 원순성, 안면 움직임과 같은 시각적 조음 정보를 실시간으로 추출하는데 활용할 수 있다 [5,6]. 여기에 음향학적 분석을 결합하며 사용자의 발화 정확도, 음소별 오류 양상, 조음 관련 시각 단서 및 청취 수행을 다차원적으로 평가할 수 있다.
본 단보의 목적은 ‘Beyond Hearing’의 기술적 구성과 임상적 활용 가능성을 개념적으로 제시하는 데 있다. 구체적으로 본 연구는 AI 기반 음성 인식, 안면 추적 및 음향 분석 기술을 통합하여 자가 주도형 청능재활(self-directed auditory rehabilitation, SDAR)에서 발생하는 피드백의 공백을 줄이고 사용자의 수행 수준에 따라 개인 맞춤형 훈련 경로를 설계할 수 있는 프레임워크를 제안한다. 이를 통해 본 연구는 향후 시공간적 제약을 완화한 청각재활 모델의 개발과 임상 검증을 위한 기초 자료를 제공하고자 한다.
기술적 배경과 AI 기반 청능재활의 최신 동향
자가 주도형 청능 재활의 부상과 증거 기반 실천
최근 디지털 헬스케어 기술의 발전은 청능재활의 제공 방식에도 변화를 가져왔다. 기존의 청능재활은 전문가가 대상자의 청취 수행을 평가하고 오류 양상에 따라 훈련 자극과 상담 내용을 조정하는 대면 중심의 방식으로 이루어진다. 그러나 이러한 방식은 앞서 설명한 바와 같이 비용적, 공간적으로 자유롭지 못하며 가정에서는 자기주도적으로 훈련을 진행할 시 즉각적 피드백이 제한적이라는 한계를 가지고 있다. 이러한 배경에서 컴퓨터 기반 프로그램, 모바일 애플리케이션, 온라인 플랫폼 등을 활용한 SDAR이 기존 재활을 보완할 수 있는 접근법이 될 수 있다 [7].
SDAR은 대상자가 전문가의 직접적인 실시간 감독 없이 독립적으로 청각 훈련을 수행하는 재활의 형태를 의미한다. 최근 체계적 문헌고찰 및 메타 분석에서는 SDAR이 난청인의 말지각 능력 향상에 유의미하고 지속적인 효과를 보일 수 있으며 기존 청능재활의 접근성을 높이는 보조적 중재로 활용될 가능성이 있음을 보고하였다 [7]. 다만 SDAR의 효과는 대상자의 연령, 청각 보조기기의 사용 여부, 훈련과제의 구성, 피드백 방식, 훈련 지속 기간 등에 따라 달라질 수 있으므로 단순한 자가 훈련을 제공하는 것만으로 충분하다고 보기는 어렵다. 특히 난청인은 특정 음소 변별, 소음 속 말소리 이해, 발화 오류 인식 등에서 개별적인 어려움을 보일 수 있기 때문에 수행 결과에 따른 맞춤형 피드백과 난이도 조절이 중요하다.
이러한 SDAR의 한계를 보완할 수 있는 핵심 기술로 AI를 활용할 수 있다. 인공지능 기반 시스템은 사용자의 반응 정확도, 반응 시간, 오류 패턴, 반복적으로 혼동하는 음소 쌍 등을 분석하여 훈련 난이도와 자극 조건을 조절할 수 있다. 예를 들어 사용자가 조용한 환경에서 문장을 정확히 인식하지만 소음 조건에서 훈련 난이도에 따른 고주파 자음에 대한 정확도가 떨어진다면 시스템은 해당 음소와 소음 조건을 중심으로 훈련 경로를 재구성할 수 있다. 이러한 적응형 알고리즘은 대상자에게 지나치게 쉬운 과제나 과도하게 어려운 과제가 반복되는 것을 줄이고 개인의 수행에 맞는 점진적 학습 환경을 제공할 수 있다. 이는 청능사가 임상에서 수행하는 오류 분석과 훈련 난이도 조절 과정을 디지털 환경에서 보조하는 방식으로 이해할 수 있다 [3].
다감각 통합 인식과 시각적 피드백의 임상적 의미
말소리 인지는 순수하게 청각 정보만으로 이루어지는 과정이 아니다. 일반적인 의사소통 상황에서 청자는 말소리와 함께 화자의 입술 움직임, 얼굴 표정, 조음 위치와 같은 시각 정보를 동시에 활용한다. 이러한 청각-시각 통합은 McGurk & MacDonald [4]가 제시한 맥거크 효과를 통해 잘 알려져 있으며 이는 말지각 과정에서 시각 정보가 청각 정보의 해석에 직접적인 영향을 미칠 수 있음을 보여준다 [4]. 난청인의 경우 청각 신호가 감쇠되거나 왜곡되어 입력되기 때문에 시각적 조음 단서는 말소리 이해를 보완하는 중요한 정보가 될 수 있다. 최근 리뷰 연구에서도 난청인의 말지각에서 시각 정보가 중요한 역할을 하며 그 효과는 연령, 언어 자극의 수준, 난청 특성, 중재 시기 등에 따라 달라질 수 있음을 제시하였다 [8].
이러한 관점에서 청능재활은 단순히 소리를 반복적으로 듣고 정답 여부를 확인하는 방식에서 나아가 청각 정보와 시각 정보를 함께 활용하는 다감각 훈련으로 확장될 필요가 있다. 특히 난청인은 말소리의 음향적 단서가 충분하지 않은 상황에서 입술의 개방 정도, 원순성, 조음 위치 변화 등을 보조 단서로 활용할 수 있다. 따라서 AI 기반 재활 시스템이 사용자의 발화를 음성 신호로만 분석하는 것이 아니라 얼굴과 입술 움직임을 함께 추적한다면 청각적 오류와 조음적 오류를 보다 입체적으로 파악할 수 있다.
‘Beyond Hearing’ 프레임워크는 이러한 청각-시각 통합 원리에 기반하여 사용자의 발화와 입모양 변화를 동시에 분석하는 다감각 피드백 구조를 제안한다. 사용자의 발화는 자동 음성 인식 기술을 통해 텍스트 및 시간 정보로 변환되고 입술 움직임은 안면 랜드마크 추적 기술을 통해 정량화할 수 있다 [5,6]. 이를 통해 사용자는 자신의 청취 또는 발화 수행에 대해 단순한 정오답 피드백이 아니라 어떤 소리를 혼동했는지, 어떤 조음 위치에서 오류가 발생했는지, 입술의 개방도나 원순성이 목표 발음과 어떻게 다른지에 대한 시각적 피드백을 받을 수 있다. 이러한 방식은 난청인이 자신의 오류를 보다 구체적으로 인식하고 반복 훈련 과정에서 스스로 수정 전략을 형성하도록 돕는 임상적 보조도구가 될 수 있다. Figure 1은 본 프레임워크의 기능과 작동 내용을 참고하기 쉽게 예시로 보여주고 있다. 있다. Beyond Hearing 프레임워크에서 사용한 시스템의 핵심 구성요소는 Table 1에 제시하였다.
Example prototype screen of the Beyond Hearing multisensory feedback framework. The prototype illustrates the integration of speech recognition, visual articulatory feedback, and user performance information within a self-directed auditory rehabilitation environment. This screen is presented as an example of system implementation and does not represent clinical validation of the intervention.
시스템 아키텍처 1: Whisper 모델을 이용한 음성 인식 및 발화 정렬
‘Beyond Hearing’ 프레임워크의 음성 인식 구성요소는 OpenAI의 Whisper 모델을 기반으로 설계할 수 있다. Whisper는 대규모 다국어, 다과제 음성 자료를 바탕으로 학습된 자동 음성 인식 모델로 약 68만 시간의 음성 데이터를 활용하여 다양한 언어와 소음 조건에서 비교적 강건한 음성 인식 성능을 보이도록 개발되었다 [5]. Whisper의 장점은 단순한 음성-문자 변환에 그치지 않고 음성 구간의 시간 정보와 언어 정보를 함께 처리할 수 있다는 점이다. 청능재활에서 사용자의 반응 내용, 발화 시점, 반응 지연, 반복 오류를 분석하는 데 이러한 성능을 유용하게 활용할 수 있다.
Whisper는 입력 음성을 로그-멜 스펙트로그램으로 변환하고 트랜스포머 기반 인코더-디코더 구조를 통해 전사 결과를 산출한다 [5]. 본 프레임워크에서는 이를 사용자의 따라 말하기 반응, 목표 자극과의 차이, 반복 오류 양상을 기록하는 도구로 활용하여 개인별 훈련 조정의 기초 자료를 제공할 수 있다.
다만 범용 Whisper 모델을 그대로 임상적 청능재활에 적용하기에는 몇 가지 한계가 있다. 한국어는 조사와 어미변화가 풍부하고 연속 발화에서 음운 변동이 빈번하며 청각장애인의 발화는 일반 성인의 표준 발화와 다른 음향적 특성을 보일 수 있다. 따라서 한국어 청능재활 환경에서는 한국어 구어체 자료와 청각학적 훈련 어휘를 반영한 추가 학습 또는 미세 조정이 필요할 수 있다. KsponSpeech는 약 2,000명의 한국어 원어민이 참여한 969시간 규모의 한국어 자발화 음성 코퍼스로 한국어 자동 음성 인식 모델의 학습 및 평가에 활용될 수 있는 대표적 자료이다 [9]. 또한 Whisper와 KsponSpeech를 활용한 한국어 도메인 적용 가능성에 대한 연구도 보고되어 한국어 기반 음성 인식 모델을 특정 목적에 맞게 조정할 수 있음을 시사한다 [10].
따라서 본 프레임워크에서 Whisper는 청능재활 대상자의 발화를 자동으로 기록하고 목표 자극과의 차이를 분석하며 훈련 수행의 변화를 추적하는 기본 엔진으로 활용될 수 있다. 특히 소음 조건에서의 문장 따라 말하기, 음소 변별 후 발화 반응, 단어 및 문장 수준의 청취-발화 과제에서 Whisper 기반 분석은 청능사가 수기로 기록하기 어려운 반복 수행 데이터를 체계적으로 축적하는 데 도움을 줄 수 있다. 다만 본 단계에서는 Whisper 기반 분석이 임상적 판단을 대체하는 것이 아니라 전문가의 평가와 상담을 보조하는 객관적 기록 및 피드백 도구로 이해해야 한다.
시스템 아키텍처 2: MediaPipe Face Mesh 기반 시각 조음 특징 추출
난청인은 청각 신호가 불완전하거나 소음에 의해 왜곡되는 상황에서 화자의 입술 움직임, 얼굴 표정, 조음 위치와 같은 시각적 단서를 보조적으로 활용한다 [4,8]. 이러한 청각-시각 통합 특성은 AI 기반 청능재활 시스템이 단순히 음성 신호만을 분석하는 방식에서 벗어나 사용자의 조음 움직임을 함께 평가해야 하는 근거가 된다. 본 프레임워크에서는 사용자의 입술 및 안면 움직임을 정량화하기 위해 MediaPipe Face Mesh를 활용한다. MediaPipe Face Mesh는 단일 red-green-blue 카메라 입력만으로 얼굴 표면의 조밀한 3차원 랜드마크를 추정할 수 있으며 468개의 얼굴 랜드마크를 실시간으로 추적할 수 있는 기술이다 [6,11].
청능재활 관점에서 중요한 시각 조음 특징은 입술의 수직 개구도, 수평 확장 또는 원순성, 입술 폐쇄 정도, 발화 중 입술 형태의 시간적 변화이다. 예를 들어 /ㅏ/와 같은 저모음은 상대적으로 큰 입 벌림이 요구되는 반면, /ㅜ/나 /ㅗ/와 같은 원순 모음은 입술의 둥근 모양과 전방 돌출이 중요한 시각적 단서가 된다. MediaPipe에서 추출되는 입술 주변 랜드마크는 이러한 움직임을 거리, 비율, 변화량의 형태로 정량화하는 데 활용한다. 다만 카메라 위치, 얼굴 각도, 조명, 개인별 얼굴 구조에 따라 절대 좌표값이 달라질 수 있으므로 실제 적용에서는 얼굴 크기 또는 기준 랜드마크 간 거리로 정규화하는 절차가 필요하다.
이러한 시각 특징은 사용자가 자신의 조음 움직임을 보다 구체적으로 인식하도록 돕는 피드백 자료가 될 수 있다. 예를 들어 사용자가 /우/와 같은 원순 모음을 산출할 때 입술 원순성이 충분하지 않다면 시스템은 “입술을 조금 더 둥글게 모으세요”와 같은 안내를 제공하거나 목표 입모양과 사용자의 현재 입모양 차이를 시각적으로 제시할 수 있다. 이때 중요한 점은 MediaPipe 기반 분석이 임상가의 조음 평가를 대체하는 것이 아니라 가정 기반 훈련에서 사용자가 스스로 오류를 확인하고 수정할 수 있도록 돕는 보조적 피드백 수단이라는 점이다.
시스템 아키텍처 3: Librosa 기반 음향 분석과 음소 변별 보조
자동 음성 인식 결과만으로는 발화의 음향적 질을 충분히 설명하기 어렵다. 청능재활에서는 사용자가 목표 단어를 맞게 산출했는지 뿐 아니라 특정 음소의 조음 위치와 방식에서 어떤 차이가 나타나는지를 함께 파악하는 것이 중요하다. 이를 위해 본 프레임워크는 Python 기반 음향 분석 라이브러리인 Librosa를 활용하여 음성 신호의 시간 및 주파수 특성을 추출하는 구조를 제안한다 [12].
음향 분석에서 활용될 수 있는 대표적 지표로는 스펙트럼 모멘트(spectral moments)가 있다. 스펙트럼 모멘트는 주파수 에너지 분포를 통계적으로 요약하는 방법으로 에너지 중심, 분산, 비대칭성, 첨도 등을 통해 마찰음과 파찰음처럼 고주파 에너지 분포가 중요한 자음의 음향적 특성을 설명하는 데 활용될 수 있다 [13]. 난청인은 고주파수 정보가 제한될 경우 /ㅅ/, /ㅆ/, /ㅈ/, /ㅊ/과 같은 자음을 혼동할 수 있으므로 이러한 음향 지표는 반복 오류 양상을 확인하는 보조 자료가 될 수 있다. 다만 이는 단독적인 임상 판정 기준이 아니라 자동 음성 인식 결과와 시각 조음 정보를 보완하는 정량적 특징으로 해석되어야 한다.
또한 한국어 폐쇄음 변별에는 voice onset time (VOT)와 후속 모음의 F0가 중요한 역할을 한다. 한국어의 평음, 경음, 격음은 VOT, 후두 긴장도, 후속 모음의 음높이 등 복수의 음향 단서에 의해 구별되며 [14], 현대 서울 한국어에서는 평음과 격음의 VOT 차이가 약화되고 후속 모음의 F0가 중요한 변별 단서로 작용한다는 보고도 있다 [15]. 따라서 한국어 음소 변별 훈련에 AI 기반 분석을 적용하기 위해서는 단순한 전사 정확도뿐 아니라 VOT, F0, 스펙트럼 특성과 같은 음향 단서를 함께 고려할 필요가 있다. 이는 Librosa 라이브러리에서 제공하는 기능들을 사용하여 추출할 수 있다.
종합하면 Whisper는 사용자의 발화를 기록하고 목표 자극과의 차이를 파악하는 출발점을 제공하며, MediaPipe Face Mesh는 발화 중 나타나는 시각적 조음 움직임을 정량화하고 Librosa 기반 음향 분석은 자음과 모음의 세부 음향 단서를 보완적으로 제시한다. 따라서 Beyond Hearing 프레임워크는 AI 기술 자체의 성능을 입증하기 위한 시스템이라기 보다 자가 주도형 청능재활에서 피드백의 공백을 줄이고 오류 인식과 난이도 조절을 지원하기 위한 개념적 구조로 이해할 수 있다.
한국어 음운 특성을 반영한 적응형 훈련 설계
한국어 기반 청능재활 시스템은 영어권 자료를 단순히 번역하여 적용하는 방식만으로는 충분하지 않다. 한국어는 모음의 전후성, 고저성, 원순성뿐 아니라 자음의 평음, 경음, 격음 대립과 같은 고유한 음운 체계를 가진다. 특히 난청인은 고주파수 정보가 제한되는 경우 마찰음과 파찰음의 변별에 어려움을 보일 수 있으며 소음 상황에서는 자음 단서뿐 아니라 문맥, 시각적 조음 정보, 후속 모음의 음향 단서에 의존하게 된다 [8,13-15]. 따라서 AI 기반 청능재활 프레임워크는 한국어 음운 특성을 반영하여 훈련 자극, 피드백 방식, 난이도 조절 기준을 설계할 필요가 있다.
한국어 모음과 시각 조음 피드백
모음 훈련에서는 입술의 수직 개구도, 수평 확장, 원순성 등이 시각적 피드백 지표로 활용될 수 있다. 예를 들어 /ㅏ/는 상대적으로 큰 입 벌림이 요구되며 /ㅜ/와 /ㅗ/는 입술의 원순성과 전방 돌출이 중요한 시각적 단서가 된다. 반면 /ㅐ/와 /ㅔ/처럼 현대 한국어에서 음향적·조음적 차이가 작아진 모음 쌍은 단순한 입모양만으로 명확히 구분하기 어려울 수 있으므로 시각 정보와 음향 정보를 함께 고려해야 한다. MediaPipe Face Mesh는 입술 주변의 랜드마크를 통해 입술 개방도, 원순성, 폐쇄 정도와 같은 시각 조음 특징을 정량화하는 데 활용될 수 있다 [6,11].
다만 이러한 지표는 “표준 입모양”을 절대 기준으로 평가하기보다는 개인별 얼굴 구조, 카메라 각도, 발화 습관을 고려한 상대적 변화량으로 해석하는 것이 적절하다. 예를 들어 사용자가 /우/를 산출할 때 입술 원순성이 목표 범위보다 낮게 나타난다면 시스템은 “입술을 조금 더 둥글게 모으세요”와 같은 간단한 시각 피드백을 제공할 수 있다. 이러한 피드백은 조음 평가를 대체하기 위한 것이 아니라 자가 훈련 상황에서 사용자가 자신의 입모양과 조음 움직임을 스스로 확인하도록 돕는 보조적 수단으로 이해되어야 한다.
Table 2는 실제 임상 판정 기준이라기보다는 ‘Beyond Hearing’ 프레임워크에서 제공할 수 있는 시각 피드백의 예시로 제시하는 것이 적절하다. 특히 한국어 모음 산출은 입술 형태뿐 아니라 혀의 위치, 성도 공명, 화자별 발화 습관의 영향을 함께 받기 때문에 MediaPipe 기반 시각 정보는 음향 분석 결과와 결합하여 해석해야 한다.
소음 조건과 적응형 난이도 조절
청능재활의 궁극적 목표는 조용한 환경에서의 정답률 향상에 그치지 않고 실제 의사소통 상황에서의 말소리 이해 능력을 높이는 데 있다. 일상생활의 청취 환경은 다화자 소음, 거리 소음, 기계음 등 다양한 배경소음을 포함하므로 훈련 시스템은 소음 조건과 signal-to-noise ratio (SNR)을 단계적으로 조절할 수 있어야 한다. SDAR 연구에서도 훈련 과제의 난이도, 피드백 방식, 훈련 지속성이 재활 효과에 영향을 미칠 수 있음을 보고하였다 [7].
‘Beyond Hearing’ 프레임워크에서는 사용자의 수행 수준에 따라 자극의 언어적 복잡도, 배경소음의 종류, SNR 조건을 조절하는 적응형 훈련 구조를 제안한다. 예를 들어 사용자가 조용한 조건에서 단어 또는 문장을 안정적으로 인식하면 이후 단계에서는 다화자 소음이나 생활 소음을 추가하고 SNR을 점진적으로 낮추는 방식으로 난이도를 조절할 수 있다. 반대로 특정 음소군이나 소음 조건에서 오류가 반복되면 해당 조건의 난이도를 일시적으로 낮추거나 동일 음소군을 포함한 훈련 자극을 반복 제시할 수 있다. 이러한 방식은 청능사가 임상에서 수행하는 단계적 난이도 조절을 디지털 환경에서 보조하는 구조로 이해할 수 있다.
전문가 지원과 임상적 활용 가능성
AI 기반 청능재활 시스템은 전문가의 역할을 대체하기보다 반복 훈련 자료를 객관적으로 기록하고 요약하여 임상 의사결정을 보조하는 도구로 활용될 수 있다 [3]. 본 프레임워크는 사용자의 음소별 오류, 반응 시간, 소음 조건별 수행 변화, 혼동 양상 등을 축적하여 청능사가 재활 경과를 보다 효율적으로 파악하도록 돕는다. 예를 들어 특정 고주파 자음의 반복 혼동이나 소음 조건에서의 수행 저하가 나타날 경우 시스템은 이를 오류 패턴으로 요약하여 전문가에게 제공할 수 있다. 다만 이러한 정보는 자동적인 임상 권고가 아니라 청력 역치, 보청기 또는 인공와우 사용 특성, 어음인지 결과, 실제 착용 경험과 함께 해석되어야 하는 보조 자료로 이해해야 한다.
향후 과제와 기술적 한계
‘Beyond Hearing’ 프레임워크의 임상 적용을 위해서는 기술적 타당성, 임상적 타당성, 사용성, 윤리 및 개인정보 보호 측면의 후속 검증이 필요하다. 기술적 측면에서는 마이크 성능, 카메라 해상도, 조명, 주변 소음, 얼굴 각도 등이 음성 및 영상 분석 결과에 영향을 줄 수 있으므로 장비와 환경 차이를 보정하기 위한 캘리브레이션 절차가 필요하다. 또한 개인마다 성도 길이, 기본 주파수, 발화 속도, 조음 습관 및 얼굴 구조가 다르기 때문에 절대적인 음향 수치나 얼굴 좌표만으로 오류를 판단하기보다는 개인의 초기 특성을 기준으로 한 상대적 변화량과 연령별·언어별 참조 자료를 함께 고려해야 한다. 임상적 측면에서는 청능사 또는 언어재활사가 평가한 발화 정확도, 조음 오류, 말소리 혼동 양상과 AI 기반 분석 결과 간의 일치도를 검토해야 한다. 사용성 측면에서는 실제 난청인, 보청기 사용자, 인공와우 사용자를 대상으로 가정 기반 환경에서의 접근성, 훈련 지속성, 말지각 변화 및 주관적 의사소통 만족도를 평가할 필요가 있다. 마지막으로, 본 프레임워크는 음성 및 영상 데이터를 다루는 만큼 사용자를 식별하기 위한 최소한의 정보와 훈련 진도, 요약 통계 정보만 중앙에 보관하고 가능한 경우 원자료의 생성 및 1차 처리는 사용자 단말 내에서 이루어지도록 설계할 필요가 있다. 데이터 저장 또는 전송이 필요한 경우에는 사전 동의, 암호화, 접근 권한 제한, 비식별화 절차를 적용해야 하며 AI 분석 결과의 오진, 과잉 해석 및 오용을 방지하기 위해 결과 해석과 훈련 조정은 청능사 등 전문가의 관리하에 이루어져야 한다. 이러한 검증 과정을 거쳐야 Beyond Hearing 프레임워크가 실제 임상 현장에서 보조적 재활 도구로 활용될 수 있는지 판단할 수 있다.
DISCUSSIONS
본 단보는 Whisper 기반 음성 인식, MediaPipe 기반 시각 조음 추적, Librosa 기반 음향 분석을 통합한 AI 기반 청능재활 프레임워크인 Beyond Hearing의 개념적 구조를 제안하였다. 이 프레임워크는 자가 주도형 청능재활에서 발생하는 피드백의 공백을 줄이고 사용자의 청취 및 발화 수행을 다감각적으로 분석하여 개인 맞춤형 훈련 경로를 설계하는 데 활용될 수 있다. 특히 한국어의 모음 체계, 자음 변별 특성, 소음 속 말지각 어려움을 반영한 적응형 훈련 구조는 국내 청각재활 환경에서 의미 있는 적용 가능성을 가진다.
그러나 본 연구는 임상 효과를 검증한 중재 연구가 아니라 AI 기술을 청능재활에 적용하기 위한 프레임워크를 제안하는 개념적 논의이다. 따라서 향후 연구에서는 실제 사용자 대상의 파일럿 연구, 전문가 평가와의 일치도 분석, 장기 훈련 효과 검증, 개인 정보 보호 및 윤리적 사용 기준에 대한 검토가 필요하다. AI는 청능사의 역할을 대체하는 기술이 아니라 반복 훈련 자료를 구조화하고 피드백을 보조함으로써 청각재활의 접근성과 지속성을 높이는 도구로 활용되어야 한다. 이러한 관점에서 ‘Beyond Hearing’은 시공간적 제약을 줄인 청능재활 모델을 탐색하기 위한 기초 프레임워크로서 의의를 가진다.
Notes
Ethical Statement
N/A
Acknowledgments
N/A
Declaration of Conflicting Interests
The authors have no conflicts of interest to declare.
Funding
This work was supported by the Ministry of Education of the Republic of Korea and the National Research Foundation of Korea (NRF-2024S1A5A2A01024677).
Author Contributions
Conceptualization: Hyouneek Jeon, Youngjoo Kim, Si-on Park. Investigation: Hyouneek Jeon. Writing-original draft: Hyouneek Jeon. Writing-review & editing: Junghwa Bahng. Approval of final manuscript: all authors.
