파라미터

파라미터는 AI 모델 안에 있는 「조절 나사」의 개수입니다. 모델이 학습한 지식과 패턴이 이 나사들의 값으로 저장됩니다. 나사가 많을수록 더 섬세한 패턴을 담을 수 있어서, 파라미터 수는 모델의 「체급」을 나타내는 숫자로 쓰입니다.

기사 제목의 「7B」 「70B」가 바로 이것입니다. B는 Billion(10억) — 7B 모델은 나사가 70억 개라는 뜻입니다. 권투의 라이트급·헤비급처럼 읽으면 됩니다. 체급이 크면 대체로 더 똑똑하지만, 돌리는 데 더 좋은 장비(GPU)와 더 많은 전기가 듭니다.

다만 「클수록 무조건 좋다」는 몇 년 전 이야기입니다. 요즘 뉴스의 재미는 오히려 반대쪽에 있습니다 — 작은 모델이 훈련을 잘 받아 큰 모델을 이기는 사건이 계속 나오고, 폰에서 도는 소형 모델(온디바이스)이 별도 장르가 됐습니다.

「단 3B 파라미터로 70B급 성능을 냈다」 — 경량 모델이 체급 위 모델과 맞붙었다는, 이 동네에서 가장 흥행하는 유형의 헤드라인입니다.

둘 다 숫자로 크기를 재는 말이라, 기사에서 「700억」 같은 수를 보면 어느 쪽인지 헷갈립니다. 하나는 내가 넣고 받는 글의 분량이고, 하나는 모델이 얼마나 큰지입니다. 내가 쓰는 만큼 늘어나면 앞쪽, 모델을 만들 때 정해져 안 변하면 뒤쪽입니다.