컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

한국 스타트업 Motif가 3140억 파라미터 오픈소스 MoE 언어모델 'Motif 3'를 공개했다

arXiv:2608.091192026-08-10

Motif 3: Technical Report

한국 스타트업 Motif가 3140억 파라미터 오픈소스 MoE 언어모델 'Motif 3'를 공개했다

Motif 3는 전체 3140억 개 중 토큰당 132억 개만 활성화하는 Mixture-of-Experts(MoE) 구조의 언어모델이다. 새로운 어텐션 방식인 GDLA와 여러 학습 안정화 기법을 적용해 12.5조 토큰으로 사전학습한 뒤, 6개의 전문 교사 모델과 증류 과정을 거쳐 하나의 통합 모델로 만들었다. 공개된 결과에 따르면 GDLA는 기존 방식보다 더 적은 학습량으로 더 낮은 손실값에 도달했고, 최종 모델은 여러 벤치마크에서 주요 오픈웨이트 모델들과 경쟁할 만한 성능을 보였다.

METAL MEDIA 해설 도표

Motif 3 파이프라인: 구조 설계 → 대규모 사전학습 → 다중 교사 증류

증거 상태측정 결과와 예정된 검증이 함께 있음

  1. 희소 MoE 구조3140억 전체 파라미터 중 384개 전문가 중 8개만 선택해 토큰당 132억 개만 활성화
  2. GDLA 어텐션차이 기반 주의집중(GDA)과 압축 키-값 표현(MLA)을 결합해 손실을 낮추고 캐시 부담을 줄임
  3. 저정밀도·장문 학습 시스템MXFP8 연산과 윈도우 인식 컨텍스트 병렬화로 12.5조 토큰, 최대 25만6천 토큰 컨텍스트까지 학습
  4. 7개 전문 교사 학습강화학습 기반 6개 교사(에이전트, 전문업무, 장문추론·기권, 수학, 코드·과학, 채팅)와 지도학습 기반 소프트웨어공학 교사
  5. Multi-teacher On-Policy Distillation7개 교사의 능력을 하나의 학생 모델로 합쳐 최종 통합 모델 완성
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. 3140억 개 전체 파라미터 중 토큰마다 384개 전문가(experts) 중 8개만 골라 쓰고 132억 개만 활성화하는 세밀한 희소 MoE 구조를 채택했다.
  2. 차이 기반 주의집중 방식(GDA)과 저차원 압축 표현으로 캐시 부담을 줄이는 방식(MLA)을 결합한 GDLA(Grouped Differential Latent Attention)라는 새 어텐션 구조를 설계했다.
  3. 전문가별로 다른 활성화 함수 계수를 학습하는 Expert-Specific PolyNorm, 잔차 연결을 다중 스트림으로 확장한 변형 mHC, 다음 토큰을 여러 개 미리 예측하는 멀티토큰 예측(MTP) 기법을 함께 적용했다.
  4. 웹문서, 코드, 수학, 다국어, 전문 분야 자료 등 약 12.5조 토큰으로 사전학습했고, MXFP8 저정밀도 연산과 윈도우 인식 컨텍스트 병렬화로 최대 25만6천 토큰까지 처리할 수 있게 학습했다.
  5. 사후학습에서는 일반 지도학습, 6개 강화학습 전문가 교사, 1개 소프트웨어공학 교사, 그리고 여러 교사의 지식을 하나로 합치는 Multi-teacher On-Policy Distillation(MOPD)을 거쳤다.
Figure 2: Attention training-loss comparison. GDLA achieves lower loss than GDA and MLA and reaches a loss of 3.2 with 9.2% fewer training tokens than MLA.
Figure 2: Attention training-loss comparison. GDLA achieves lower loss than GDA and MLA and reaches a loss of 3.2 with 9.2% fewer training tokens than MLA.
Table 1: Summary of the principal architectural configuration and model dimensions used in Motif 3, including its hybrid attention pattern, fine-grained expert structure, and long-context support.
PropertyConfiguration
Total parametersApproximately 314B
Activated parametersApproximately 13.2B per token
Transformer layers53 (2 dense and 51 MoE)
Hidden dimension4,096
Attention mechanismGrouped Differential Latent Attention with output gating
Attention patternHybrid GDLA (1 full / 3 sliding-window)
Query / KV heads80 / 16
Signal / noise query heads64 / 16
Query-key / Value head dim192 / 128
FFN dimension (dense / expert)12,288 / 1,280
Routed experts384, with top-8 routing
Shared experts1
Expert activationExpert-Specific PolyNorm
Residual architectureModified manifold-constrained hyper-connections
MTP head1 layer for self-speculative decoding
Maximum context length262,144 tokens (256K)
Figure 3: Overall low-precision training recipe. Color encodes numerical precision: teal for MXFP8, blue for BF16, and peach for FP32. Dashed borders mark collectives that cross ranks. Only the row-wise MXFP8 weight is All-Gathered; the column-wise copy required by Dgrad is produced locally by a fused row-to-column transcode kernel. Expert activations are quantized once before EP dispatch, allowing the dispatch itself to use MXFP8. Gradient synchronization exchanges BF16 shards while performing each reduction locally in FP32.
Figure 3: Overall low-precision training recipe. Color encodes numerical precision: teal for MXFP8, blue for BF16, and peach for FP32. Dashed borders mark collectives that cross ranks. Only the row-wise MXFP8 weight is All-Gathered; the column-wise copy required by Dgrad is produced locally by a fused row-to-column transcode kernel. Expert activations are quantized once before EP dispatch, allowing the dispatch itself to use MXFP8. Gradient synchronization exchanges BF16 shards while performing each reduction locally in FP32.
Table 3: Principal expert-health signals monitored during Motif 3 pretraining.
MetricFailure mode indicated
Dispatch min/medianStarvation or a dead expert caused by routing imbalance
Maximum expert-token countConcentrated traffic and possible expert overload
Output-weight min/medianHidden collapse in which an expert receives tokens but its output projection contributes increasingly little
Routed/shared RMS, mean, and maximumDominance of shared experts, routed-expert collapse, or a change in the routed-output distribution
Maximum expert-output cosine similarityFunctional collapse in which nominally distinct experts learn similar representations
Routed and shared abs-max/RMSActivation outliers and early warning signs of numerical instability
Figure 6: MoE component training comparisons from controlled experiments using models with approximately 10 billion parameters. (a) Expert-Specific PolyNorm maintains a higher mean effective rank in the expert gate weights than SwiGLU across layers, indicating a more evenly distributed singular-value spectrum. (b) Decaying router noise reduces the maximum number of tokens assigned to an expert more rapidly and guides the routing distribution toward the median-load regime early in training.
Figure 6: MoE component training comparisons from controlled experiments using models with approximately 10 billion parameters. (a) Expert-Specific PolyNorm maintains a higher mean effective rank in the expert gate weights than SwiGLU across layers, indicating a more evenly distributed singular-value spectrum. (b) Decaying router noise reduces the maximum number of tokens assigned to an expert more rapidly and guides the routing distribution toward the median-load regime early in training.
Table 4: Evaluation results for the Motif 3 pretrained base model. CoT denotes chain-of-thought prompting.
MMLU 5-shotMMLU-Pro 5-shot CoTARC-C 25-shotWinoGrande 5-shotHellaSwag 10-shotPIQA 0-shotGSM8K 8-shot CoTMATH 4-shot CoTHumanEval 0-shotMBPP 3-shot
86.2068.5694.7180.9088.3085.1493.9370.5873.7084.60
(b) Maximum expert load.
(b) Maximum expert load.
Table 5: The seven specialist teachers and their capability coverage.
TeacherCoverage
Agentic tool useInteractive shell and tool environments; multi-step task execution
Professional workOpen-ended occupational deliverables graded by comparison
Software engineeringRepository-level modifications verified through test execution
Long-context reasoning & abstentionRetrieval and synthesis over very long inputs; calibrated abstention
MathematicsCompetition and proof-style problems; symbolic and judged answer checking
Code and scienceProgram synthesis, scientific computing, and physical reasoning
ChatDialogue quality, instruction following, and safety
Figure 7: Mean reward over cumulative RL compute for the six GRPO-trained specialist teachers. The lighter curves show the per-update reward measurements, and the darker curves show their smoothed trends.
Figure 7: Mean reward over cumulative RL compute for the six GRPO-trained specialist teachers. The lighter curves show the per-update reward measurements, and the darker curves show their smoothed trends.
Table 6: Evaluation results for Motif 3. An asterisk (*) indicates that the corresponding result for Motif 3 is evaluated on the public subset only.
BenchmarkMotif 3 314B-A13BMiniMax-3 428B-A23BGLM-5.1 744B-A40BKimi-K2.6 1T-A32BQwen-3.7 MaxDS-v4-Pro 1.6T-A49B
[0pt][0pt] Agentic
GDPval-AA v238.744.437.834.439.040.2
τ2-Bench Telecom94.788.997.795.994.796.2
τ3-Banking35.315.313.623.312.030.1
ITBench-AA51.5∗-40.331.242.538.3
[0pt][0pt] Coding
SWE-bench Verified76.275.076.476.280.477.4
Terminal-Bench 2.174.965.261.865.975.064.0
SciCode40.645.443.853.553.550.0
[0pt][0pt] Reasoning and Knowledge
IMO-AnswerBench83.2-83.881.890.089.8
Apex Shortlist75.5-71.177.444.585.8
GPQA Diamond83.492.986.891.192.488.8
HLE37.039.030.137.541.437.5
CritPt6.63.74.68.011.412.9
AA-Omniscience Accuracy30.116.723.732.631.042.9
AA-Omniscience Non-Hallucination71.681.670.159.574.05.9
[0pt][0pt] Long Context and Instruction Following
AA-LCR72.380.368.076.775.070.0
IFBench78.282.976.376.079.176.5

실제로 확인된 결과

  • 약 100억 파라미터 규모의 통제 실험에서 GDLA는 기존 GDA·MLA보다 낮은 학습 손실을 보였고, 손실 3.2에 도달하는 데 MLA보다 9.2% 적은 학습 토큰이 필요했다.
  • 같은 규모의 통제 실험에서 Expert-Specific PolyNorm은 SwiGLU보다 전문가 게이트 가중치의 유효 랭크(특이값이 고르게 분포된 정도)가 더 높게 유지됐다.
  • 감쇠하는 라우터 노이즈 기법을 적용하면 한 전문가에 몰리는 최대 토큰 수가 더 빠르게 줄고 학습 초반에 부하 분포가 중간값 수준으로 유도됐다.
  • 전체 벤치마크 평가에서 Motif 3는 주요 오픈웨이트 모델들과 경쟁할 만한 성능을 보였으며, 장기 에이전트 과제, 수학 추론, 과학 지식, 환각(hallucination) 민감 평가에서 강한 결과를 냈다고 보고됐다.

어디에 쓸 수 있나

  • 대규모 MoE 모델의 어텐션 구조나 학습 안정화 기법을 설계할 때 참고할 수 있는 엔지니어링 사례로 활용할 수 있다.
  • 긴 문서 이해, 에이전트형 도구 사용, 코딩, 전문 업무(문서·슬라이드 작성) 등 다양한 과제에 하나의 통합 모델을 적용하려는 시도에 참고가 될 수 있다.
  • 저정밀도(MXFP8) 연산과 컨텍스트 병렬화를 통한 초장문 컨텍스트(최대 25만6천 토큰) 학습 파이프라인 설계에 참고할 수 있다.

한계와 남은 검증

  • 보고된 성능 비교는 리더보드에 공개된 다른 모델들의 점수와 비교한 것으로, 동일한 조건에서 직접 재현한 비교는 아니다.
  • GDLA와 PolyNorm 등 핵심 구성요소의 효과는 약 100억 파라미터 규모의 통제 실험에서만 확인됐으며, 3140억 파라미터 전체 모델에서 각 구성요소를 개별적으로 제거해 검증한 결과는 본문에 제시되지 않았다.
  • 일부 평가는 공개된 부분집합(public subset)에서만 수행됐다고 별도로 표시되어 있어 전체 벤치마크 결과와 직접 비교하기 어려운 항목이 있다.
  • 한국어 중심으로 설계된 채팅 교사 학습 등 특정 구성요소는 다국어 환경 전반에 대한 일반화 검증이 추가로 필요하다.

왜 중요한가

3000억 파라미터급 대형 MoE 모델을 소수 인력의 한국 스타트업이 설계·학습·공개했다는 점에서, 오픈소스 모델의 기술 수준이 어디까지 왔는지 가늠할 수 있는 사례다. 어텐션 구조와 학습 안정화, 저정밀도 학습 기법을 실제로 대규모에서 검증한 상세 기록이라 다른 팀들이 참고할 수 있는 엔지니어링 자료로서 가치가 크다.

이 논문의 용어

  • MoE(Mixture-of-Experts) · 여러 개의 소규모 전문가 신경망 중 일부만 골라 계산하는 구조로, 전체 파라미터는 크지만 실제 연산량은 줄일 수 있다
  • GDLA · 차이 기반 주의집중과 저차원 압축 키-값 표현을 결합한 이 논문의 새 어텐션 방식
  • MXFP8 · 메모리와 연산량을 줄이기 위한 8비트 저정밀도 숫자 표현 방식
  • MOPD(Multi-teacher On-Policy Distillation) · 여러 전문 교사 모델의 지식을 하나의 학생 모델로 옮겨 담는 증류 기법
  • GRPO · 강화학습으로 모델을 특정 과제에 맞게 훈련시키는 방법 중 하나

저자 · Junghwan Lim, Joon Son Chung, Sungmin Lee, Wai Ting Cheung, Gihun Cho, Minsu Ha, Sangho Kang, Beomgyu Kim, Dongseok Kim, Jangwoong Kim, Taehyun Kim, Taewhan Kim, Jeesoo Lee, Jeongdoo Lee, Junhyeok Lee, Dongpin Oh, Hyeyeon Cho, Dahye Choi, Jaeheui Her, Hanbin Jung, Changjin Kang, Minjae Kim, Youngrok Kim, Hyukjin Kweon, Hongjoo Lee, Yeongjae Park, Bokki Ryu

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL MEDIA 최신 기사

그림 출처: Junghwan Lim et al., arXiv:2608.09119, arxiv-nonexclusive