K-컬쳐 용어사전 ㄹ기사에 자주 나오는 기술 용어

레이턴시

Latency

묻고 답이 오기까지의 지연. 음성 대화가 자연스러우려면 이게 사람 반응 속도까지 내려와야 한다.

쉽게 말하면

요청을 보내고 응답이 시작되기까지의 지연 시간입니다. AI 제품의 체감 품질을 좌우하는 숫자로, 특히 음성 대화는 레이턴시가 사람의 대화 반응 속도(0.2~0.3초)에 가까워야 자연스럽습니다.

「더 똑똑하게」와 「더 빠르게」는 반대로 당기는 힘입니다 — 추론 모델처럼 오래 생각하면 똑똑해지지만 느려집니다. 그래서 회사들은 빠른 소형 모델과 깊은 대형 모델을 나눠 내놓고, 신형 칩 발표는 대개 「레이턴시를 얼마나 줄였나」를 자랑합니다.

아직 이 용어를 다룬 기사가 없습니다. 새 기사가 나오면 여기 자동으로 붙습니다.