AI 음성 비서가 상황에 따라 끼어들거나 기다리는 방식을 바꾸려면 소량의 사람 평가만으로도 가능하다
AI 음성 비서가 상황에 따라 끼어들거나 기다리는 방식을 바꾸려면 소량의 사람 평가만으로도 가능하다
동시에 듣고 말할 수 있는 풀-듀플렉스 AI 음성 비서는 지금까지 상황과 상관없이 똑같은 방식으로 끼어들거나 기다렸는데, 이는 실제 사람의 행동과 맞지 않는다. DuplexGen은 언어모델이 대화 속에서 끼어들 만한 지점을 찾아내고, 이를 시나리오별로 수집한 소량의 사람 평가에 맞춰 보정하는 방식으로 이 문제를 해결한다. 과외, 협상, 잡담 등 여섯 가지 상황에서 보정된 모델은 프롬프트만 쓴 방법이나 일반 대화 데이터로 학습한 방법보다 사람의 선호에 훨씬 가깝게 맞았고, 이 데이터로 학습한 풀-듀플렉스 모델도 사람 평가자가 더 선호하는 상황별 행동을 보였다.
METAL MEDIA 해설 도표
DuplexGen이 일반 텍스트 대화를 시나리오별 턴테이킹 데이터로 바꾸는 과정
증거 상태측정 결과가 보고됨
- 1. 구어체 변환LLM이 텍스트 대화를 '음', '그러니까' 같은 필러와 말더듬이 섞인 구어체 대본으로 다시 쓴다.
- 2. 슬롯 식별절이나 문장 경계를 기준으로 대략 8토큰 간격마다 끼어들 수 있는 후보 지점을 표시한다.
- 3. 사람 + LLM 주석248명의 Prolific 참가자 중 슬롯당 5명이, 그리고 LLM이 각각 LISTEN/BACKCHANNEL/TAKE_FLOOR 선호를 시나리오별로 표시한다.
- 4. 미세조정을 통한 보정Qwen3 모델을 사람 응답 분포와 KL divergence가 최소화되도록 미세조정해 예측 분포를 사람 선호에 맞춘다.
- 5. 시나리오별 합성과 모델 학습보정된 모델이 시나리오별 턴테이킹 대화를 생성하고, 이 데이터로 풀-듀플렉스 모델(PersonaPlex)을 미세조정해 시나리오별 행동을 학습시킨다.
무엇을 했나
- DuplexGen은 텍스트 대화를 필러(음, 그러니까 등)와 말더듬이 섞인 구어체 대본으로 바꾼 뒤, 각 발화 안에서 청자가 끼어들 만한 '슬롯'을 대략 8토큰 간격으로 찾아낸다.
- 각 슬롯에서 LLM은 침묵(LISTEN), 짧은 맞장구(BACKCHANNEL), 끼어들어 말하기(TAKE_FLOOR) 세 가지 행동에 대한 확률분포를 예측하는데, 이를 248명의 Prolific 참가자가 슬롯당 5명씩 평가한 사람 응답 분포에 맞춰 미세조정한다.
- 이 프레임워크는 협력적 상황(과외, 계획 세우기, 인터뷰) 셋과 경쟁적 상황(협상, 설득, 잡담) 셋, 총 여섯 과제에 적용되었으며 MultiWOZ, CraigslistBargain 같은 기존 텍스트 데이터셋을 바탕으로 만들어졌다.
- Switchboard 사람 대화 데이터로 먼저 학습한 뒤 DuplexGen의 소규모 보정 데이터로 추가 학습한 방법(SWBD+DUPLEXGEN)이 대부분의 모델 크기와 시나리오에서 사람 판단과 가장 가까웠고(가장 낮은 KL divergence), 프롬프트만 쓴 방법이나 Switchboard만 쓴 방법보다 우수했다.
- DuplexGen이 생성한 1,623시간 분량의 대화로 미세조정한 풀-듀플렉스 음성 모델(PersonaPlex)은 시나리오별로 더 다양한 끼어들기 패턴을 보였고, 특히 경쟁적 상황에서 더 자주 발언권을 가져갔으며, 사람 평가에서 끼어들기 자연스러움과 GPT-4.1이 측정한 지시 이행도 모두에서 기존 베이스라인보다 높은 점수를 받았다.
실제로 확인된 결과
- 경쟁적 시나리오끼리를 제외하면 시나리오 간 사람의 턴테이킹 선호는 통계적으로 유의미하게 달랐고(카이제곱 검정, p<0.05), 협력적 과제에서는 맞장구가 더 많고 경쟁적 과제에서는 끼어들기가 더 많았다.
- SWBD+DUPLEXGEN은 모델 크기 전반에서 사람 판단과의 평균 KL divergence가 가장 낮았고(예: 4B 모델 평균 0.335, 14B 모델 평균 0.360), 대부분의 설정에서 프롬프트만 쓴 방법과 Switchboard만 쓴 방법을 앞섰다.
- 훨씬 큰 데이터(2.4천 개 대화)로 학습한 SWBD-ONLY가 DuplexGen의 작은 보정 세트로 학습한 DUPLEXGEN-ONLY보다 항상 사람 판단과 덜 일치했으며, 침묵을 과대평가하고 맞장구를 과소평가하는 경향을 보였다.
- DuplexGen 데이터로 미세조정한 PP-DG는 Moshi나 미세조정하지 않은 PersonaPlex보다 시나리오에 따라 발언권 가져가기와 맞장구 빈도가 더 뚜렷하게 달랐고, 협상·설득·잡담 같은 경쟁적 상황에서 발언권을 더 자주 가져갔다.
- 사람 청취 평가에서 PP-DG는 끼어들기 자연스러움 평균 3.69점, 지시 이행도 평균 3.55점을 받아 PersonaPlex(3.56, 3.41)와 Moshi(3.48, 2.61)보다 높았고, Welch's t-검정에서 PP-DG가 PP(p=0.034)와 Moshi(p=0.0026)보다 유의미하게 우수했다.
어디에 쓸 수 있나
- 과외, 협상, 잡담처럼 서로 다른 끼어들기 방식이 필요한 풀-듀플렉스 음성 비서의 학습 데이터를 만드는 데 활용할 수 있다.
- 대규모 일반 음성 데이터 대신 시나리오별 소량의 사람 평가만으로 AI의 대화 타이밍을 보정하는 파이프라인을 구축하는 데 참고할 수 있다.
- 기존 음성 AI 시스템이 특정 과제 맥락에서 끼어들기·맞장구 빈도를 사람의 기대에 맞게 조절하고 있는지 평가하는 데 쓸 수 있다.
한계와 남은 검증
- 합성된 데이터셋은 여섯 가지 시나리오만 다루며, 더 넓은 시나리오와 상호작용 유형에 대한 일반화는 아직 검증되지 않았다.
- 모델 행동이 턴 전환 지연, 정지 시간, 학습률 같은 학습 데이터·하이퍼파라미터에 매우 민감하게 반응하는 것으로 나타나, 안정적인 학습 방법은 아직 정립되지 않았다.
- 보정은 점진적으로 공개되는 텍스트 대본을 기반으로 이루어지며 억양, 정지 길이, 말투, 말 속도, 겹침, 시각적 단서를 직접 반영하지 않아, 텍스트 기반 선호와 음성 기반 선호가 실제로 일치하는지는 확인되지 않았다.
- 청취 평가는 실제 합성된 음성을 대상으로 했지만 텍스트 기반 평가와 음성 기반 평가 간의 일치 여부는 검증하지 않았으며, 텍스트-음성 짝지은 주석과 다중모달 보정은 향후 과제로 남아 있다.
- PP-DG와 PP, Moshi 간의 비교는 통계적 유의성 검정을 거쳤지만, 더 다양한 모델과 대규모 다중모달 보정에 대한 검증은 아직 이루어지지 않았다.
왜 중요한가
동시에 듣고 말할 수 있는 음성 AI는 지금 과외를 하든 가격 협상을 하든 똑같은 끼어들기 방식을 쓰는데, 이는 사회적으로 어색하게 느껴질 수 있다. 이 연구는 더 많은 원시 음성 데이터나 정교한 프롬프트가 아니라, 시나리오별로 소량의 사람 피드백을 모아 모델을 보정하는 것이 실제로 언제 끼어들고 언제 조용히 있어야 하는지를 가르치는 핵심 요소임을 보여준다.
이 논문의 용어
- 풀-듀플렉스 모델(Full-duplex model) · 엄격하게 순서를 지키지 않고 동시에 듣고 말할 수 있는 AI 음성 시스템
- 턴테이킹(Turn-taking) · 대화에서 누가 발언권을 가질지, 즉 침묵할지, 짧게 맞장구칠지, 아니면 말을 이어받을지를 순간순간 결정하는 것
- 백채널(Backchannel) · '응', '그렇구나' 처럼 발언권을 가져가지 않으면서 듣고 있다는 것을 알리는 짧은 신호
- KL divergence · 두 확률분포가 얼마나 다른지를 나타내는 통계적 척도. 값이 낮을수록 모델 예측이 사람 판단과 더 가깝다는 뜻
- 보정(Calibration) · 소량의 사람 라벨 데이터를 이용해 모델의 원래 예측을 실제 사람 선호에 더 가깝게 조정하는 과정
본문에 싣지 못한 그림
- Figure 0
- Figure 1: Scenario-specific turn-taking behaviors.
- Figure 4
- Figure 5
- Figure 2: Overview of the DUPLEXGEN framework. (1) Spoken-style dialogue conversion: converting text-based dialogue to spoken-style transcript format. (2) Turn-taking slot identification: identifying potential turn-taking slots within utterances. (3) Slot annotation and calibration: using a small set of human and LLM annotations to calibrate turn-taking predictions. (4) Turn-taking dialogue synthe
- Figure 7
최신 논문
- AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다
- 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기
- 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법
- 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다
- 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법
- AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다
- AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다
- AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다
METAL MEDIA 최신 기사
그림 출처: Takyoung Kim et al., arXiv:2607.26178, CC BY-SA 4.0