INTACT: Isomorphic Intent-to-Action Learning for Search-Free World Models
로봇이 원하는 결과를 상상만 하면, 세계모델이 탐색 없이 바로 실행할 행동을 내놓는 법
기존 잠재 세계모델(월드모델)은 다음 상황을 예측할 수는 있지만, 원하는 변화를 만들 행동을 찾으려면 수많은 후보 행동을 굴려보는 값비싼 탐색(CEM 등)이 필요했다. INTACT는 하나의 예측기에 실제로 일어난 다음 상태로의 변화와, 목표 상태로의 가상 변화를 같은 방식으로 넣어 학습시켜, 목표만 주어지면 탐색 없이 바로 행동을 뽑아내는 인터페이스를 만든다. PushT, Cube, Reacher, TwoRoom 네 과제를 하나의 인코더로 함께 학습시킨 결과, 탐색 없는 Direct 실행이 기존 방식보다 성공률이 높고 계획 속도도 훨씬 빨랐다.
METAL MEDIA 해설 도표
INTACT의 학습 및 추론 구조
증거 상태측정 결과가 보고됨
공유 인코더PushT, Cube, Reacher, TwoRoom 네 시각 도메인의 영상을 하나의 인코더로 압축해 잠재 표현 z를 만든다.
로컬 의도 입력실제 다음 상태와의 차이 z(t+1)-z(t)를 INTACT Predictor에 넣어, 관측된 행동과 함께 학습시켜 물리적 도달 가능성을 반영한다.
목표 의도 입력목표 상태와 현재 상태의 차이 sg(z_goal)-z(t)를 같은 예측기에 넣되, 목표 쪽 경사는 멈춰(stop-gradient) 배포용 행동 인터페이스로만 쓴다.
Forward Predictor미래 예측과 SIGReg 정규화를 그대로 유지해, 접촉·장애물 등 제어 이외의 정보도 잠재공간에 보존한다.
추론 시 Direct/검증목표 의도만 넣으면 탐색 없이 행동 청크를 바로 뽑는 Direct 모드로 실행하고, 필요하면 소량의 로컬 CEM(Guarded A)으로 검증·재계획한다.
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
문제 설정: 기존 잠재 세계모델은 '행동을 넣으면 다음 장면이 어떻게 바뀌는지'만 예측하고, 원하는 변화를 만드는 행동을 찾으려면 무작위 행동을 세계모델에 여러 번 굴려보고 목표에 가까운 것을 고르는 시험시간 탐색(CEM/MPPI)이 필요했다.
핵심 아이디어: 각 순간의 실제 다음 상태 변화(zt+1-zt, 로컬 의도)와 목표 상태까지의 변화(sg(zg)-zt, 목표 의도)를 같은 구조를 가진 하나의 예측기(INTACT Predictor)에 넣어, 실제 관측된 행동으로 함께 학습시킨다. 이때 목표 쪽 경사는 멈춰서(stop-gradient) 로컬 학습을 방해하지 않게 한다.
방법: PushT, Cube, Reacher, TwoRoom 네 가지 시각 도메인에 하나의 공유 인코더와 과제별 소형 예측기 쌍을 사용했고, 순수 미래 예측을 담당하는 Forward Predictor는 그대로 유지한 채 SIGReg라는 정규화 기법으로 학습을 안정화했다.
결과: 목표만 주면 후보를 하나도 평가하지 않는 Direct 실행이 계획 시간을 약 2.9~5.5ms로 줄였고, 기존 CEM 300x30(약 1.48초) 대비 약 300배 빠르면서도, Guarded A라는 소량 검증(128x3)을 더하면 네 과제 평균(매크로) 성공률 96.86%, 최악 과제 성공률 92.22%를 기록해 순수 CEM 300x30보다 16점 높은 결과를 얻었다.
추가 검증: 실제 행동을 뽑는 정책 헤드를 떼어내고 표현만으로 CEM을 다시 돌려도(actor-disabled CEM) 성능이 개선되어, 이 방법이 단순히 정책만 잘 만든 게 아니라 표현 자체를 더 쓸모 있게 바꿨다는 것을 보였다.
Figure 1: Shared-encoder INTACT training and recurrent control. Four visual domains use one encoder and task-specific predictor pairs. Within each task, graph-isomorphic local and goal calls enter the same INTACT Predictor through one matched input grammar, using attached local intent zt+1k−ztk or detached goal intent sg(zgk)−ztk. The Forward Predictor retains latent-dynamics and SIGReg supervision. At inference, the goal-conditioned call emits one action chunk for search-free Direct control; the world rollout is retained only for optional verification and replanning.
Table 1: Positioning among closely related methods. “Action→E” means that action supervision updates the visual/world encoder, and “Shared-4T E” means one encoder is jointly trained over all four official LeWM domains. The final column states each method’s actual training-to-control path; a cross denotes an unreported interface, not an impossible extension.
Method
Action→E
Shared-4T E
Condition
Action obj.
Direct
Search
Training-to-control path
DINO-WM [40]
✗
✗
action
none
✗
✓
Frozen image encoder; CEM ranks latent rollouts
C-JEPA [22]
✗
✗
action/proprio.
none
✗
✓
Frozen object features; CEM searches masked rollouts
LeWM [21]
✗
✗
action
none
✗
✓
Joint JEPA prediction; CEM inverts the forward model
Fast-LeWM [9]
✗
✗
action prefix
none
✗
✓
LeWM training; parallel action prefixes are searched
SMWM [16]
✓
✗
successor
local action
✗
✓
Local inverse shapes the encoder; deployment still uses CEM
GC-IDM [23]
✗
✗
goal + horizon
next action
✓
✗
Frozen LeWM; a separate goal/horizon actor acts directly
PRISM [36]
✗
✗
state/goal
Gaussian prior
✗
✓
Frozen LeWM; a separately trained prior initializes MPPI
VLM action quotient; quantized intent drives a VLA actor
INTACT
✓
✓
local/goal intent
action block
✓
opt.
One shared JEPA/actor law; Direct by default, search verifies
Figure 2: INTACT converts mandatory search into optional verification. LeWM samples raw actions from an uninformed Gaussian and uses forward rollouts to become goal-directed. INTACT alternates the raw goal displacement, the shared conditional action mean, and the unchanged Forward Predictor to produce a Direct plan. It can execute immediately or locally verify that plan with K=128, I=3, and σ0=0.25.
Table 4: Theory-linked evidence for shared four-task INTACT. Correlations use official Direct SR; the actor-disabled and gauge rows are matched interventions that test representation and correspondence directly.
Evidence
Measured result
Interpretation
Pred.–expert kNN (45 eligible E1–E5 checkpoints)
Pooled 𝒓=.954 [.928,.969]; adjusted 𝒓=.902. Within Waypoint/Goal: .968/.981.
Local action-family neighborhoods track deployable control.
Pred.–expert linear CKA (same 45 checkpoints)
Pooled 𝒓=.897 [.837,.930]. Within Waypoint/Goal: .979/.986. Leave-one-epoch-out: [.888,.914].
Global family geometry remains predictive across interfaces and epochs.
Pointwise action R2 (same 45 checkpoints)
r=.815.
Recovering one expert action is weaker than preserving the family relation.
Effective-rank inversion (controlled E5 cells)
Rank 93.87>89.26, while SR 74.22<89.39.
Latent spread is a capacity check, not a semantic certificate.
Actor-disabled planning (matched E5 checkpoints)
Pure-CEM macro 66.17→70.08.
Action losses improve the Encoder–Forward stack before actor execution.
Correct task-local correspondence, rather than coordinate identity, restores control.
Figure 3: Single-task action likelihoods shape the representation. Actor-disabled CEM evaluates the encoder–Forward stack under a fixed optimizer; episode-disjoint probes measure readable state and transition action. Physical inverse supplies attached successor shaping, whereas the goal branch updates current-state coordinates and the shared actor with a stop-gradient goal anchor. Error bars are sample standard deviations over three PushT training seeds.
Table A7: Controlled shared-encoder representation snapshots. σ¯ is mean per-dimension latent standard deviation, cosine is mean pairwise cosine, and action R2 is an episode-disjoint frozen probe.
Training cell
n
Rank
σ¯
Cos.
Act. R2
LeWM
3
25.53
.830
.554
.309
Inverse only
3
24.03
.902
.590
.372
Waypoint intent only
3
24.83
.846
.582
.328
Goal intent only
3
24.45
.839
.604
.349
Waypoint INTACT
3
25.73
.877
.587
.383
Goal INTACT
3
25.34
.888
.616
.382
Figure 4: Controlled E5 success across four tasks. Bars visualize the native rows of Table 3: LeWM uses CEM 300×30, learned heads use Direct, and the final bar uses Guarded A 128×3. Values are means ± sample standard deviations over three training seeds. The ordinate starts at 30% to expose high-SR differences and is not a zero-based effect size.
Table A10: Task-centered Pearson correlation with E5 Direct SR. These are diagnostic associations, not independent causal effects.
Metric
Moderate
Strict
Effective rank
0.888
0.846
Gsep
0.819
0.731
Deployment NLL
−0.640
−0.766
Figure 5: Intent–action relation, rather than task clustering, tracks control. Columns separate waypoint and goal-displacement interfaces; rows compare task purity, pointwise action R2, predicted–expert CKA, and local kNN overlap. Each point is one checkpoint and each annotation is a pooled checkpoint-level Pearson correlation with official four-task Direct SR. Historical runs are lower opacity and never rank the controlled objectives.
Table A13: PushT Direct SR (%) on the held-out 10% episode split. Each cell contains 100 paired test-only episodes.
Training objective
eval 0
eval 1
eval 42
pooled
Transition inverse
35.67
44.33
40.67
40.22
+ deployment goal intent
75.33
81.33
76.00
77.56
Figure A1: Controls used to select the intent grammar. (a) Coordinate and interaction interventions. (b) Re-encoding every 1, 2, or 5 action blocks. (c) Detaching the goal anchor and explicitly reducing chord error separate action-field learning from Euclidean latent straightening. Error bars are training-seed standard deviations.
Table A14: PushT successes on held-out expert episodes (100 per cell).
Transition inverse
Goal intent
Training seed
e0
e1
e42
e0
e1
e42
3072
35
42
41
74
83
74
3073
36
44
41
81
81
79
3074
36
47
40
71
80
75
Figure A2: Verifier-selection controls. The complete three-seed audit compares Direct, guarded and unguarded plan-centered search, trust penalties, actor particles, and actor-disabled CEM.
Table A15: Historical automatic-success audit and CLEAR Moderate calibration. Historical random is the mean of three runs under the released stack. CLEAR values use canonical seeds 0/1/42 and 100 episodes per seed.
Task
Initially solved
Historical random
Moderate random
PushT
0.22
4.00
4.00
Cube
38.38
49.00
15.67
Reacher
0.57
13.00
4.33
TwoRoom
8.82
26.00
6.67
Figure A3: Exploratory E5 collapse morphologies from fixed samples. These legacy non-Math-SDPA runs are qualitative diagnostics and do not enter performance ranking or headline correlations.
Table A16: CLEAR-LeWM v0.5.1 task contracts. “Hold” is the number of consecutive successful environment steps. The 24-fold Cube comparison minimizes orientation error over the proper rotational symmetry group of a cube.
Task
Moderate: minimal compatibility correction
Strict: task-semantic precision
PushT
Released pusher + T position <20 px and T angle <20∘; first hit.
T object only, <10 px and <10∘; hold 3.
Cube
Initially unsolved, cube-center distance ≤4 cm; first hit.
Cube center ≤3 cm and symmetry-aware orientation ≤15∘; hold 3.
Reacher
Periodic unbounded shoulder, raw bounded wrist, joint error <0.05 rad; first hit.
Figure A4: Search-free control and optional verification. Left: physical-successor inversion versus goal-displacement INTACT after one epoch. Right: Direct uses no candidate sequence, Guarded A locally verifies 384, and broad actor-disabled CEM evaluates 9,000. More search is not automatically better once the action conditional is aligned.
실제로 확인된 결과
단일 과제(PushT) 기준, actor를 뗀 CEM 30x10 성공률이 LeWM 42.22%에서 역동역학 학습 시 57.67%, 목표의도 학습 시 61.44%, INTACT(웨이포인트, SIGReg 0.03)에서 더 높게 나타났다.
탐색 없는 Direct 실행은 계획당 2.9~5.5ms(매칭된 PushT는 4.8ms)로, 측정된 CEM 300x30 평균 1.48초 대비 약 300배 빨랐다.
12개 최종 체크포인트 전체(576개 잡)에서 Guarded A(Direct 후 128x3 로컬 CEM, σ0=0.25)가 매크로 성공률 96.86%, 최악 과제 성공률 92.22%를 달성했고, 순수 CEM 300x30 대비 16.00 매크로 포인트를 높이면서 후보 시퀀스 수는 9,000에서 384로 23.44배 줄였다.
네 과제를 하나의 인코더로 학습한 Goal-displacement INTACT는 매크로 Direct 성공률 ±0.77%로, 매칭된 공유 인코더 LeWM 대비 네 과제 모두 5.66/32.23/12.56/42.44 포인트 개선했고 공개된 과제별 LeWM 매크로 및 Cube/Reacher 점수도 넘어섰다.
45개 체크포인트에서 예측-실제 행동군집 kNN과 CKA가 공식 성공률과 각각 r=0.954, r=0.897의 상관을 보였고, 이는 점별 행동 R2(r=0.815)보다 높았다.
Figure A5: Gauge controls isolate correspondence from actor functionality. Correctly paired calibration restores control; recovery saturates near 64/full episodes; same-objective swaps define a ceiling; reverse swaps show that a coordinate map cannot create an untrained deployment conditional. The 72-cell audit contains 21,600 CLEAR Moderate episodes and excludes all evaluation episodes from calibration.
어디에 쓸 수 있나
로봇 조작(예: PushT류 밀기 과제)처럼 빠른 반응 속도가 필요한 목표지향 제어 파이프라인에서 탐색 단계를 줄이는 설계 검토
보상 신호 없이 수집된 오프라인 시연 데이터만으로 목표조건 행동 정책을 만드는 상황
기존 CEM/MPPI 기반 플래너에 저비용 검증 단계(Guarded)를 추가해 속도와 신뢰성을 함께 관리하려는 시스템
한계와 남은 검증
보고된 성능은 PushT, Cube, Reacher, TwoRoom 네 시뮬레이션 과제에 한정되며, 실제 로봇이나 다른 도메인으로의 일반화는 검증되지 않았다.
Direct 실행 속도 비교는 논문 자체의 플래너 측정치이며, 엔드투엔드 VLA(시각-언어-행동) 시스템 전체의 지연시간 벤치마크는 아니다.
CLEAR-LeWM이라는 별도 보정 벤치마크에서는 Reacher 성공률이 공식 97.67%에서 Moderate 기준 49.56%로 크게 떨어져, 원래 벤치마크의 근천장 효과(ceiling effect) 가능성을 보여준다.
Strict 평가는 아직 INTACT에 대해 완료되지 않았고, Moderate 결과만 보고되었다.
플로우 매칭 등 잠재 예측기 변형이나 두 개의 독립 액터 비교 등 일부 통제 실험은 탐색적 진단 성격이며 headline 성능 순위에는 포함되지 않는다.
왜 중요한가
탐색 기반 제어는 로봇 조작처럼 빠른 반응이 필요한 상황에서 계산 비용이 큰 병목이었는데, 이 연구는 그 탐색을 '선택적 검증'으로 낮춰 실시간성이 중요한 제어 파이프라인의 설계 방향을 보여준다. 또한 별도의 보상 신호 없이 기존 시연 데이터만으로 목표지향 제어 인터페이스를 만들 수 있다는 점에서, 라벨링 비용이 큰 강화학습 대신 오프라인 데이터를 재활용하는 실무적 대안을 제시한다.
이 논문의 용어
잠재 세계모델(latent world model) · 카메라 영상 같은 원본 입력을 압축된 벡터(잠재공간)로 바꿔 그 안에서 다음 상태를 예측하는 모델
JEPA · 이미지를 그대로 복원하지 않고, 압축된 표현(잠재값)끼리 예측하도록 학습하는 자기지도학습 구조
CEM/MPPI · 여러 후보 행동을 무작위로 뽑아 시뮬레이션해보고 목표에 가까운 것을 골라 반복 개선하는 탐색 기반 계획 알고리즘
SIGReg · 잠재 표현이 한 점으로 무너지지 않도록 분포를 등방적 가우시안에 가깝게 유지시키는 정규화 기법
stop-gradient · 특정 신호가 역전파될 때 그 경로의 경사를 계산하지 않고 값만 고정해서 사용하는 기법
