영상을 만들지 않고, 만들어지는 중인 영상의 '속마음'만 읽어서 물체가 어떻게 움직일지 예측하는 AI
arXiv:2608.004862026-07-31
DreamTraj: Generating 6-DoF Object Trajectories by Reading Unrendered Video Diffusion Latents
영상을 만들지 않고, 만들어지는 중인 영상의 '속마음'만 읽어서 물체가 어떻게 움직일지 예측하는 AI
DreamTraj는 사진 한 장과 '이렇게 해줘'라는 문장만 받아서, 물체가 앞으로 2초간 어떻게 움직일지(위치+방향, 6-DoF)를 예측한다. 영상 생성 AI를 끝까지 돌려 영상을 만들고 그걸 분석하는 대신, 영상이 절반쯆 만들어진 중간 단계의 내부 신호만 훔쳐본다. 이 방식으로 기존 방법들보다 정확도는 더 높고 속도는 4.6배 빠르다.
METAL MEDIA 해설 도표
DreamTraj가 궤적을 읽어내는 과정
증거 상태측정 결과가 보고됨
입력사진 한 장(I0)과 문장 지시(ℓ)만 들어간다. 물체는 첫 프레임에서 한 번만 인식된다.
얼려둔 영상 생성 AIWan2.2 모델이 40단계 중 16단계까지만 노이즈를 제거해 미래 영상을 절반쯖 상상한다. 학습되지 않고 고정된 상태로 쓰인다.
내부 신호 추출물체를 따라가는 어텐션 궤적(28번째 블록, 32번째 헤드)과 장면 맥락을 담은 은닉 상태(0/19/39번째 블록)를 뽑아 13×132 크기의 신호로 만든다.
작은 Reader 신경망710만 파라미터짜리 플로우 매칭 모델이 이 신호를 13개의 상대적 위치·방향 값(9차원)으로 변환한다.
깊이로 실제 크기 복원입력 사진의 깊이 추정값과 카메라 내부 파라미터(K)를 이용해 상대값을 실제 미터 단위 6-DoF 궤적으로 되돌린다.
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
문제: 물체가 어떻게 움직일지 예측하려면 깊이 센서, 3D 모델, 여러 각도 영상 같은 특수 입력이 필요했거나, 아니면 영상 생성 AI로 미래 영상을 통째로 만든 뒤 복잡한 분석 파이프라인을 거쳐야 했다.
방법: 얼려둔(학습 안 시킨) 영상 생성 AI Wan2.2에 사진 한 장과 문장을 넣고, 40단계 중 16단계까지만 노이즈를 제거한 뒤 멈춘다. 그 중간 상태에서 물체를 따라가는 '주의(attention)' 신호와 장면 전체를 나타내는 신호를 뽑아, 710만 개 파라미터짜리 작은 신경망(Reader)이 이를 13개의 상대적 위치·방향 값으로 변환한다.
데이터: 언어-동작이 세밀하게 짝지어진 데이터가 부족했던 문제를 풀기 위해, 6개의 기존 손-물체 상호작용 영상 모음에서 뽑고 사람이 직접 검수한 5,038개의 궤적으로 구성된 Move 데이터셋을 새로 만들었다.
결과: 5개 묶음 교차검증에서 DreamTraj는 전체 5,038개 샘플 기준 이동 오차 6.4cm(ADE), 마지막 지점 오차 9.5cm(FDE), 회전 오차 24.6도를 기록했고, 더 많은 특수 입력(비디오, 깊이, 초기 자세)을 받는 기존 방법(ObjectForesight, EgoScaler)보다 이동·회전 모두에서 더 정확했다.
효율성: 같은 GPU(RTX PRO 6000)에서 영상을 끝까지 만들고 분석하는 기존 방식은 한 클립당 약 348초(영상 생성 280초+분석 68초)가 걸리는데, DreamTraj는 76초만에 끝나 4.6배 빨랐다.
Figure 1: Trajectory extraction pipeline used to label generated videos (Sec. 3.3). Amber marks the two blocks that depart from RigVid and ObjectForesight: DA3 metric depth and a SAM 3D Objects mesh.
Table 1: Main comparison on held-out folds. Block (a) restricts to clips captured by a real sensor, so the reference trajectory is the dataset’s own 6-DoF annotation; block (b) is the full evaluation set, whose labels come from the extraction pipeline of Sec. 3.3. ADE/FDE in cm, rotation in degrees. Baselines marked † consume inputs DreamTraj does not (Sec. 5.1). Each baseline predicts on its own timestamps—EgoScaler a fixed 20-step trajectory, ObjectForesight a horizon fixed by its context requirement—so each is reported against DreamTraj evaluated at that baseline’s timestamps, and blocks are not comparable to one another.
Method
ADE↓
FDE↓
Rot↓
Rot-final↓
EgoScaler protocol — its native 2.0 s window, 20 timestamps
(a) real capture, real GT (n=537)
EgoScaler†
7.52
10.71
28.6
45.6
DreamTraj
3.04
4.71
7.9
12.9
(b) generated video, pipeline GT (n=414)
EgoScaler†
6.55
9.52
31.7
50.0
DreamTraj
3.01
4.72
11.5
18.3
ObjectForesight — its native 1.17 s horizon
(a) real capture, real GT (n=593)
ObjectForesight†
2.71
4.58
7.8
11.1
DreamTraj
1.97
3.32
6.5
10.5
(b) generated video, pipeline GT (n=414)
ObjectForesight†
2.80
4.42
8.6
14.7
DreamTraj
1.97
3.20
7.1
11.6
ObjectForesight — extended to the whole action
(a) real capture, real GT (n=594)
ObjectForesight†
10.29
12.74
29.8
30.2
DreamTraj
6.76
8.39
18.2
20.4
(b) generated video, pipeline GT (n=366)
ObjectForesight†
10.26
13.51
37.3
51.0
DreamTraj
7.26
9.34
33.0
41.4
Figure 2: Overview of DreamTraj. One RGB frame and one instruction go in. The object is grounded once in that frame (GroundingDINO + SAM2) to give query points; a frozen Wan2.2-I2V-A14B is stopped at step 16 of 40, and from that latent we read q⋅k attention tracks (block 28, head 32) and anchor-pooled hidden states (blocks 0/19/39) as a 13×132 sequence. A 7.1M-parameter flow-matching trainable Reader, turns it into 13 relative 9-D pose tokens, which, with a depth anchor z0 and the intrinsics K lift to metric 6-DoF.
Table 2: Inference cost vs. the generate-then-extract route, identical hardware. Guided forwards counts both classifier-free-guidance branches per denoising step. All times are measured on one GPU, averaged over three clips.
Method
Fwd.
Decode
Percep.
Generate
Total↓
Generate-then-extract
80/80
yes
4 models
280 s
348 s
DreamTraj
𝟏𝟖/𝟖𝟎
no
none
𝟕𝟔 s
𝟕𝟔 s
Figure 3: Qualitative comparison. Each row is one clip, labelled with the instruction the model was given (abridged for space). Panels overlay 7 of the 13 predicted poses on the anchor frame, each outlined in green, with the dashed line tracing the object’s centre. Red marks error: a centroid off by more than the object’s own width, or an orientation off by more than 45∘. Methods marked † receive privileged input: ObjectForesight is given the first three poses as ground-truth context, so its overlay starts from the correct pose by construction. EgoScaler predicts over its native 2 s horizon, the other columns over the whole action.
Table 3: Readout step. Track margin is the permutation-controlled score of Eq. 3 between the attention centroid and the recorded 2D object track (955 clips). ADE comes from retraining the Reader at each step on the generated-video path (321 clips); its scale is not comparable to Table 1. Bold marks the adopted step, the earliest at which the margin saturates.
Read step k
12
14
16
18
20
Expert
high-noise
low-noise
Track margin↑
0.123
0.129
0.191
0.196
0.197
ADE (cm)↓
8.05
8.52
7.89
8.20
8.29
Figure 5: Move statistics. (a) source corpus, (b) action verb, (c) object category, each split into recorded and generated trajectories; (d) joint distribution of per-clip translation and rotation magnitude over all 5,038 trajectories.
Table 4: Ablations. ADE/FDE in cm, rotation in degrees, over all 5,038 out-of-fold samples. All four arms are the deployed configuration retrained from the same features, differing only in the conditioning removed. Depth corr. is the median over clips of |r| between the predicted and ground-truth log-depth ratio st=log(zt/z0), each linearly detrended against frame index.
Variant
ADE↓
FDE↓
Rot↓
Depth corr.↑
Control (deployed)
6.42
9.54
24.63
0.640
w/o pooled hidden states
6.91
10.47
26.00
0.565
w/o q⋅k track
7.13
9.90
26.15
0.637
w/o instruction conditioning
6.45
9.70
26.20
0.639
Figure 6: Readout step sweep. (a) permutation-controlled track margin against the recorded 2-D object track; (b) end-task ADE from retraining the Reader at each step. The shaded region is the backbone’s high-noise expert. The signal appears at the expert switch, not gradually.
Table 5: Backbone and readout configuration.
Setting
Value
Backbone
Wan2.2-I2V-A14B (frozen)
Blocks / heads / width
40 / 40 / 5120
Video resolution
832×480
Frames
49 @ 16 fps
VAE stride
(4,8,8); patch (1,2,2)
Latent grid
13×60×104
Token grid
13×30×52=20,280
Sampler
FlowUniPCMultistep
Denoising steps
40
Shift
5.0
Guidance scale
3.5
Seed
0
Readout step
16 of 40 (t≈882)
Flow caching
stride-2 (compute one step, reuse one)
q⋅k cell
block 28, head 32
Pooled-hidden blocks
0, 19, 39
Anchor grid
4×4, anchor-mean pooled
PCA dimension
128 (over the concatenated 3×5120)
Reader input
13 tokens × (128+4) =132 D
Figure 7: Extended qualitative comparison. Each row is one clip, labelled with the instruction the model was given (abridged for space). Panels overlay 7 of the 13 predicted poses on the anchor frame, each outlined in green, with the dashed line tracing the object’s centre. Red marks error: a centroid off by more than the object’s own width, or an orientation off by more than 45∘. Methods marked † receive privileged input: ObjectForesight is given the first three poses as ground-truth context, so its overlay starts from the correct pose by construction. EgoScaler predicts over its native 2 s horizon, the other columns over the whole action.
Table 6: Reader architecture.
Setting
Value
Width d
256
Blocks
4
Attention heads
8
MLP ratio
4.0
Pose tokens
13
Token dimension
9 (2 bearing + 1 log-depth + 6 rotation)
Conditioning
AdaLN-Zero, three gates per block
Context memory
13×256, cross-attention
Extra conditions
instruction 768 D; domain flag 2 D
Positional encoding
fixed sinusoidal (pose and context)
Output head
zero-initialised linear
Parameters
7,078,165 (7.1M)
Inference
20 explicit Euler steps
Figure 8: Generalization beyond the training distribution. Scenes, objects and actions absent from every training corpus, rendered as in Fig. 7. The shampoo bottle panel is a video-game frame; the others are phone photographs. Instructions abridged.
Table 7: Reader optimisation. Identical across every arm of Table 4 in the main paper; the arms differ only in which conditioning signal is removed.
Setting
Value
Optimiser
AdamW
Learning rate
2×10−4 (constant)
Betas
(0.9,0.95)
Weight decay
0.01
Batch size
128
Steps per epoch
29
Deployed snapshot
5,799 steps (epoch 200)
Stage-1 warm-up
40 epochs, domain B only
Stage-2 mixture
60% domain A per batch
Early stopping
none (fixed budget)
Precision
fp32
Flow-matching loss
velocity MSE
Endpoint term
0.1
SO(3) chordal term
0.1
Smoothness term
0.05
Table 8: Realised fold sizes under grouping by source clip. Folds are balanced in recorded samples by construction; the generated counts vary because a clip contributes as many generated samples as it has surviving generations.
Fold
1
2
3
4
5
Recorded (A)
596
597
595
593
594
Generated (B)
366
432
355
445
465
Total
962
1,029
950
1,038
1,059
Table 9: ObjectForesight retraining. Two horizon configurations are trained separately; each is evaluated only against DreamTraj read at its own timestamps.
Setting
Value
Configuration
released HOT3D config
Horizon H / frame stride
8 / 4 (short)
13 / 8 (whole action)
Context length
3 poses
Object library
disabled (mesh supplied per clip)
Depth
cached, anchor frame only
Batch size
32
Learning rate
1×10−4
Split
grouped folds (Sec. B)
Table 10: Move composition by source corpus. Recorded trajectories come from the corpus’s own 6-DoF annotation; generated ones are labelled by the extraction pipeline of Sec. 3.3 and screened by a human.
Corpus
Recorded
Generated
Total
HOI4D
1,325
1,037
2,362
TACO
421
508
929
HOT3D
720
7
727
OakInk2
244
226
470
H2O
173
108
281
FPHA
92
177
269
Total
2,975
2,063
5,038
Table 11: Which middle block to read. Both rows retrain the Reader with only the middle block changed, under the grouped five-fold protocol of Table 4 in the main paper. Requiring every block to be available on every sample leaves 5,036 of the 5,038 samples; the folds are redrawn on that pool, so absolute values differ slightly from Table 4 while the comparison between the two rows is exact.
Pooled-hidden blocks
ADE↓
FDE↓
Rot↓
Depth corr.↑
{0,19,39} (adopted)
6.26
9.46
24.15
0.660
{0,20,39}
6.53
9.92
24.39
0.638
실제로 확인된 결과
5,038개 전체 데이터의 5개 묶음 교차검증에서 이동 오차 6.4cm(ADE), 9.5cm(FDE), 회전 오차 24.6도를 기록했다.
동일 조건에서 특수 입력(깊이, 초기 자세)을 받는 EgoScaler보다 모든 지표에서 앞섰고, 5가지 입력 설정을 바꿔가며 EgoScaler에 가장 유리한 값을 골라도 결과는 유지됐다.
비디오 맥락과 3D 메시, 정답 초기 자세 3개를 받는 ObjectForesight도 Move 데이터셋으로 재학습시켰을 때 이동·회전 모두 DreamTraj에 뒤졌다.
같은 GPU에서 측정했을 때, 영상을 끝까지 생성한 뒤 분석하는 기존 방식은 클립당 약 348초, DreamTraj는 76초가 걸려 4.6배 빨랐다.
학습 데이터에 없던 50개의 새로운 장면(비디오게임 프레임 10개, 실제 휴대폰 사진 40개)에 대해 사람 10명이 평가했을 때 지시대로 물체가 움직였다고 판단된 비율은 80%였다.
어디에 쓸 수 있나
로봇이 물체를 잡거나 옮기기 전에 미리 궤적을 계획하는 데 활용할 수 있다
사람의 시범 동작을 물체 단위로 흉내 내는 학습(imitation learning)의 신호로 쓸 수 있다
의도한 동작이 목표를 달성할지 사전에 검증하는 용도로 응용할 수 있다
깊이 센서나 3D 모델이 없는 일반 카메라 환경(휴대폰 사진 등)에서의 동작 예측에 시도해볼 수 있다
한계와 남은 검증
평가에 쓰인 정답 궤적 중 상당수는 사람이 직접 검수했더라도 자체 추출 파이프라인으로 만든 것이라, 완전히 실제 센서로 잡은 궤적과는 품질이 다를 수 있다.
새로운 50개 장면 실험은 정답 궤적이 없어 사람 평가(성공률 80%)로만 판단했고, 정량적 오차는 측정되지 않았다.
병이나 컵처럼 회전 대칭인 물체는 회전축 방향이 RGB만으로 관측 불가능해 일부 회전 정보는 처리에서 제외됐다.
실제 로봇 팔로 이 예측 궤적을 따라 동작을 수행해보는 실험은 아직 수행되지 않았고, 논문은 이를 다음 과제로 남겼다.
평가 결과는 프레임 내 물체를 처음에 한 번만 인식(grounding)하는 절차에 의존하므로, 이 인식이 실패하는 상황에서의 성능은 확인되지 않았다.
왜 중요한가
물체 움직임을 미리 알 수 있으면 로봇이 미리 계획을 세우고 사람 동작을 흉내낼 수 있는데, 지금까지는 이를 위해 비싸고 구하기 힘든 입력(깊이 센서, 3D 모델)이 필요했다. 이 연구는 흔한 사진 한 장과 문장만으로 같은 결과를 더 빠르게 낼 수 있음을 보여, 로봇 조작 계획을 더 값싸고 실용적으로 만들 잠재력을 시사한다.
이 논문의 용어
6-DoF(6도 자유도) · 물체의 위치(x,y,z)와 방향(회전 3축)을 합쳐 표현하는 6개의 값
이미지-투-비디오(I2V) 디퓨전 모델 · 사진 한 장을 보고 이어질 영상을 조금씩 노이즈를 제거하며 만들어내는 AI 모델
쿼리-키(q·k) 어텐션 · AI 모델 내부에서 어떤 부분이 어떤 부분과 관련있는지 계산하는 값으로, 여기서는 물체 위치를 몰래 추적하는 데 쓰인다
플로우 매칭(flow matching) · 노이즈에서 목표값까지 점진적으로 이동하는 경로를 학습시키는 생성 모델 학습 방식
ADE/FDE · ADE는 궤적 전체 구간의 평균 위치 오차, FDE는 마지막 지점만의 위치 오차
본문에 싣지 못한 그림
Figure 4: Generalization beyond the training distribution. Scenes, objects and actions absent from every training corpus, rendered as in Fig. 3. Panel (a) is a video-game frame; (b–d) are phone photographs. Instructions abridged.
