학습과 추론
Training & Inference
AI의 두 국면 — 배우는 시간(학습)과 써먹는 시간(추론). 돈이 드는 방식이 완전히 다르다.
쉽게 말하면
AI의 일생은 두 국면으로 나뉩니다. 배우는 시간(학습, training)과 써먹는 시간(추론, inference)입니다.
학습은 수험 생활과 같습니다. 방대한 데이터를 몇 달씩 읽으며 파라미터를 조정하는 과정으로, GPU 수만 장과 천문학적 전기료가 듭니다. 「○○사가 새 모델 훈련에 수천억 원을 썼다」는 기사가 이 국면 이야기입니다. 기초 체력을 만드는 「사전 학습(pre-training)」과, 그 위에 예절과 일머리를 얹는 후속 훈련으로 다시 나뉩니다.
추론은 졸업 후 출근입니다. 다 배운 모델이 질문을 받고 답을 내는 매 순간이 추론이고, 우리가 챗봇에 말을 걸 때마다 어딘가의 데이터센터에서 추론 비용이 발생합니다. 사용자가 많아질수록 학습보다 추론에 돈이 더 들어서, AI 회사들의 요금제·데이터센터 투자 뉴스는 대부분 추론 비용 이야기입니다.
기사에서 이렇게 나와요
「추론 비용을 90% 낮춘 신형 칩」 — 모델을 만드는(학습) 비용이 아니라 서비스하는(추론) 비용을 낮췄다는 뜻입니다. 두 국면을 구분하면 반도체 기사가 훨씬 쉬워집니다.
「추론」이 두 가지 뜻으로 쓰인다
모델을 실제로 돌리는 일이냐, 답하기 전에 생각하는 일이냐
한국어 기사에서 가장 위험한 겹말입니다. 영어로는 서로 다른 두 단어(reasoning과 inference)인데 둘 다 「추론」으로 번역돼 왔습니다. 「추론 비용이 급증했다」는 문장은 대개 모델을 돌리는 비용 이야기이고, 「추론 능력이 좋아졌다」는 생각하는 능력 이야기입니다. 같은 글자, 다른 사건입니다.
| 구분 | 학습과 추론 | 추론 모델 |
|---|---|---|
| 원어 | inference — 학습을 마친 모델을 돌려 답을 내기 | reasoning — 논리를 따라 생각하기 |
| 반대말 | 학습(training) — 배우는 시간 | 곧바로 답해 버리는 것 |
| 좋아지면 | 답이 빨리 나오고 값이 싸진다 | 수학·코딩 같은 어려운 문제를 푼다 |
| 기사에서 | 「추론 비용」 「추론 전용 칩」 「추론 수요」 | 「추론 능력」 「생각하는 시간을 늘렸다」 |
| 둘의 관계 | 그래서 이쪽 비용이 오른다 — 요즘 칩 부족의 배경이다 | 생각을 오래 할수록 돌리는 시간이 길어진다 |
가를 때는앞에 「비용」 「칩」 「수요」가 붙으면 돌리는 쪽(inference), 「능력」 「과정」이 붙으면 생각하는 쪽(reasoning)입니다.
함께 볼 용어
이 용어가 나온 기사
아직 이 용어를 다룬 기사가 없습니다. 새 기사가 나오면 여기 자동으로 붙습니다.