ExPhy: A Benchmark for Explicit Physical Property Learning in Multi-Object Trajectory Forecasting
물체가 어디로 가는지 잘 맞혀도, 질량·마찰·탄성까지 제대로 아는 건 아니다
여러 물체가 굴러다니고 충돌하는 장면 2만4천 개를 물리 엔진으로 만들어, 미래 위치 예측뿐 아니라 각 물체의 질량·마찰·탄성 값까지 정답으로 붙인 벤치마크 ExPhy를 공개했다. 이 벤치마크로 학습 범위 안(ID)과 밖(OOD, 물리값이 다르거나 초기 상태가 다른 경우)을 나눠 평가할 수 있다. 저자들이 만든 물리 안내형 모델 PhyODE는 관측된 궤적에서 물리 속성을 추정해 미래 궤적 예측에 반영하는데, 가장 어려운 장기·초기상태 변화 상황에서 기존 최강 모델보다 평균 오차를 30% 이상 줄였다.
METAL MEDIA 해설 도표
물체가 어디로 가는지 잘 맞혀도, 질량·마찰·탄성까지 제대로 아는 건 아니다
01PyBullet 물리 엔진으로 3~8개 물체가 상호작용하는 장면 2만4천 개를 만들고, 각 물체의 질량·마찰계수·반발계수(충돌 후 튀어오르는 정도)를 정답 라벨로 기록했다
02학습 데이터와 같은 분포(ID), 물리값만 다른 분포(OOD-Parameter), 초기 위치·속도만 다른 분포(OOD-Initial) 세 가지 평가 방식을 제공해 모델이 진짜 물리를 이해했는지 확인한다
03PhyODE는 관측 궤적에서 물리 속성을 추정하는 부분과, 그 속성을 바탕으로 마찰·충돌 물리식과 학습 가능한 보정 항을 결합해 미래 궤적을 계산하는 부분으로 구성된다
04가장 어려운 장기 예측·초기상태 변화 상황에서 PhyODE는 평균 이동 오차(ADE)와 최종 위치 오차(FDE)를 기존 최강 모델 대비 각각 33.1%, 31.0% 줄였고, 학습에 쓰지 않은 다른 벤치마크(ComPhy)에서도 가장 좋은 성능을 보였다
05궤적을 정확히 예측하는 모델이라고 해서 질량·마찰·탄성 같은 실제 물리값까지 정확히 맞히는 것은 아니라는 점을 실험으로 보였다
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
PyBullet 물리 엔진으로 3~8개 물체가 상호작용하는 장면 2만4천 개를 만들고, 각 물체의 질량·마찰계수·반발계수(충돌 후 튀어오르는 정도)를 정답 라벨로 기록했다
학습 데이터와 같은 분포(ID), 물리값만 다른 분포(OOD-Parameter), 초기 위치·속도만 다른 분포(OOD-Initial) 세 가지 평가 방식을 제공해 모델이 진짜 물리를 이해했는지 확인한다
PhyODE는 관측 궤적에서 물리 속성을 추정하는 부분과, 그 속성을 바탕으로 마찰·충돌 물리식과 학습 가능한 보정 항을 결합해 미래 궤적을 계산하는 부분으로 구성된다
가장 어려운 장기 예측·초기상태 변화 상황에서 PhyODE는 평균 이동 오차(ADE)와 최종 위치 오차(FDE)를 기존 최강 모델 대비 각각 33.1%, 31.0% 줄였고, 학습에 쓰지 않은 다른 벤치마크(ComPhy)에서도 가장 좋은 성능을 보였다
궤적을 정확히 예측하는 모델이라고 해서 질량·마찰·탄성 같은 실제 물리값까지 정확히 맞히는 것은 아니라는 점을 실험으로 보였다
Figure 1: Comparison between existing benchmarks and the proposed ExPhy benchmark. (a) Existing benchmarks primarily supervise future outcomes, while object-level physical properties are often represented implicitly or indirectly and are unavailable as dedicated evaluation targets. (b) ExPhy provides explicit continuous-valued labels for mass, friction, and restitution, enabling joint evaluation of trajectory forecasting and physical property estimation.
Table 1: Comparison of representative physical reasoning benchmarks. ∘ denotes property-dependent evaluation without direct property targets. Obj. denotes direct object-level property evaluation; Cont. denotes continuous parameter regression; Traj. denotes trajectory-level forecasting; and OOD denotes a controlled distribution-shift protocol.
Dataset
Phys. Prop. Eval.
Traj. Eval.
OOD Eval.
Obj-level
Cont.
CLEVRER [ICLR20]
×
×
×
×
Super-CLEVR [CVPR23]
×
×
×
✓
Physion++ [NeurIPS23]
∘
×
×
×
ComPhy [TPAMI25]
✓
×
×
×
PhysBench [ICLR25]
✓
×
×
×
PhysInOne [CVPR26]
✓
✓
×
×
ExPhy (Ours)
✓
✓
✓
✓
Figure 2: Overview of the ExPhy benchmark. (a) Benchmark construction and annotation pipeline. (b) ID, OOD-Parameter, and OOD-Initial evaluation protocols. Blue and red denote ID and OOD variables, respectively; the blue dashed box and red-shaded outer region mark their location ranges, while arrows depict initial velocities.
Table 2: Sampling ranges and supports for the ExPhy splits. For friction and restitution, one of the two listed intervals is selected uniformly at random before sampling within it. ExPhy-B shifts the physical-property distributions, whereas ExPhy-C shifts the initial-state distributions. “Same” denotes the corresponding ExPhy-A setting.
Variable
ExPhy-A
ExPhy-B
ExPhy-C
Physical properties
Mass m
[0.1,10]
[10.01,15]
Same
Friction μ
[0.35,0.60]
[0.25,0.34]
Same
[0.70,0.95]
[0.96,1.00]
Restitution e
[0.15,0.40]
[0.05,0.14]
Same
[0.55,0.85]
[0.86,0.95]
Initial state
Location 𝐱i,xy1
[−7,7]2
Same
[−10,10]2∖[−7,7]2
Velocity 𝐯i,xy1
[−3,3]2
Same
([−5,−3]∪[3,5])2
Figure 3: Overview of PhyODE. The physical property estimator ℱψ combines raw motion, invariant trajectory, and pairwise relation features to estimate object-level mass, friction, and restitution. Conditioned on these properties, the differentiable trajectory solver 𝒢ϕ combines frictional dissipation and discrete collision updates with a residual Neural ODE, and uses RK4 integration to forecast future trajectories.
Table 3: Quantitative comparison of trajectory forecasting error (ADE/FDE ↓) on ExPhy-A, ExPhy-B and ExPhy-C. Lower is better. The prediction horizons are explicitly defined based on observation-prediction steps (Tobs-Tpred): Short (10-10), Mid (20-40), and Long (30-60). † indicates trajectory-only adaptations of physical reasoning baselines, where visual/perceptual frontends are replaced with trajectory encoders while preserving their original reasoning mechanisms. The baselines are grouped according to their primary inductive biases. Bold and underlined indicate the best and second-best results, respectively.
Methods
ExPhy-A (In-Distribution)
ExPhy-B (OOD-Parameter)
ExPhy-C (OOD-Initial)
Short
Mid
Long
Short
Mid
Long
Short
Mid
Long
Physical reasoning baselines
VRDP† [NeurIPS21]
0.04/0.08
0.28/0.58
0.41/0.83
0.04/0.08
0.29/0.61
0.45/0.92
0.12/0.23
0.93/1.93
2.13/4.23
PHYCINE† [CVPR23]
0.04/0.08
0.34/0.66
0.46/0.90
0.04/0.08
0.36/0.70
0.51/1.01
0.12/0.21
1.12/2.15
1.95/3.86
PCR† [TPAMI25]
0.05/0.10
0.28/0.57
0.48/0.94
0.05/0.10
0.28/0.58
0.52/1.04
0.14/0.28
0.67/1.47
1.58/3.27
Geometric dynamics baselines
PAINET [ICLR26]
0.05/0.10
0.27/0.57
0.40/0.81
0.06/0.11
0.29/0.60
0.43/0.90
1.32/1.33
2.16/3.65
2.46/5.14
GSE-Flow [ICML26]
0.13/0.24
0.28/0.59
0.52/0.99
0.12/0.24
0.29/0.64
0.53/1.07
0.47/0.89
1.17/2.07
2.66/4.60
General-purpose trajectory forecasting baselines
MoFlow [CVPR25]
0.07/0.11
0.27/0.53
0.40/0.76
0.07/0.11
0.28/0.56
0.41/0.81
0.44/0.58
1.04/1.97
1.85/3.47
Neuralized MRF [ICLR25]
0.09/0.18
0.68/1.33
0.90/1.73
0.10/0.20
0.73/1.47
1.07/2.02
0.51/1.01
2.61/5.40
4.07/7.98
PRF [CVPR26]
0.04/0.09
0.29/0.60
0.42/0.85
0.05/0.10
0.30/0.63
0.49/1.02
0.12/0.25
0.91/1.98
1.45/2.90
Physics-guided dynamics
PhyODE
0.03/0.07
0.26/0.51
0.36/0.75
0.04/0.07
0.25/0.51
0.40/0.85
0.07/0.13
0.48/1.08
0.97/2.00
Figure 4: Visualization of long-horizon trajectory forecasting on ExPhy-A, ExPhy-B, and ExPhy-C. Rows show representative methods from different model families, and columns correspond to ID/OOD splits. Red, blue, and green dots denote predicted, observed, and ground-truth trajectories, respectively.
Table 4: Zero-shot transfer results on ComPhy. All models are trained on ExPhy-A and directly evaluated on ComPhy without fine-tuning. We report ADE/FDE (↓). † indicates trajectory-only adaptations of physical reasoning baselines. Best and second-best results are shown in bold and underlined, respectively.
Methods
ComPhy [TPAMI25]
Short
Mid
Long
Physical reasoning baselines
VRDP† [NeurIPS21]
0.13/0.23
0.51/0.92
0.79/1.32
PHYCINE† [CVPR23]
0.13/0.24
0.56/0.99
0.84/1.41
PCR† [TPAMI25]
0.19/0.34
0.77/1.41
1.15/2.00
Geometric dynamics baselines
PAINET [ICLR26]
0.27/0.36
1.70/3.52
1.56/2.78
GSE-Flow [ICML26]
0.21/0.32
0.82/1.18
1.42/1.95
General-purpose trajectory forecasting baselines
MoFlow [CVPR25]
0.24/0.37
0.89/1.50
1.20/1.93
Neuralized MRF [ICLR25]
0.13/0.20
0.56/0.93
0.63/1.00
PRF [CVPR26]
0.24/0.44
1.48/2.70
3.09/5.52
Physics-guided dynamics
PhyODE
0.12/0.20
0.37/0.65
0.51/0.82
Figure 5: Qualitative property interventions under the Long setting. Red, blue, and green denote predicted, observed, and ground-truth trajectories, respectively.
Table 5: Object-level property estimation under the Long setting (Tobs=30). Entries report NMAE on ExPhy-A/ExPhy-B (ID/OOD-Parameter). All learned models are trained on ExPhy-A and evaluated zero-shot on ExPhy-B. “Prop. only”, “Traj. only”, and “Full” use ℒprop, ℒtraj, and their joint objective, respectively. Lower is better; bold denotes the best results, including ties.
Method
Mass ↓
Fric. ↓
Rest. ↓
Avg. ↓
A/B
A/B
A/B
A/B
Non-learned baselines
Mean
0.25/0.77
0.17/0.34
0.22/0.41
0.21/0.51
Random
0.33/0.75
0.31/0.39
0.30/0.41
0.31/0.52
Supervised property predictors
Temporal MLP
0.24/0.77
0.13/0.28
0.17/0.33
0.18/0.46
Transformer
0.25/0.77
0.11/0.24
0.14/0.27
0.17/0.43
Object-GNN
0.22/0.79
0.09/0.21
0.13/0.27
0.15/0.42
PhyODE variants
PhyODE (Prop. only)
0.22/0.78
0.09/0.21
0.13/0.27
0.15/0.42
PhyODE (Traj. only)
0.30/0.99
0.63/0.63
0.26/0.41
0.40/0.68
PhyODE (Full)
0.25/0.75
0.17/0.34
0.22/0.40
0.21/0.50
Table 6: Component ablation of PhyODE under the Long horizon setting (Tobs-Tpred=30-60). We report trajectory forecasting errors as ADE/FDE (↓) on both ID and OOD splits. Best results are shown in bold.
Variant
ExPhy-A
ExPhy-B
ExPhy-C
ADE/FDE ↓
ADE/FDE ↓
ADE/FDE ↓
w/o explicit physics
0.42/0.86
0.48/0.99
1.80/3.41
w/o Neural ODE
0.38/0.79
0.41/0.86
1.12/2.30
PhyODE
0.36/0.75
0.40/0.85
0.97/2.00
왜 중요한가
로봇이나 자율주행처럼 물체의 움직임을 예측해야 하는 시스템은 눈에 보이는 경로뿐 아니라 그 뒤에 숨은 물리적 성질까지 이해해야 새로운 상황에서도 안정적으로 작동한다. ExPhy는 그런 이해를 숫자로 검증할 수 있는 도구를 제공해, 앞으로 나올 물리 추론 모델들이 겉으로만 그럴듯한 예측을 하는지 실제로 물리를 배웠는지 구분할 수 있게 해준다.
이 논문의 용어
ADE/FDE · 예측 궤적과 실제 궤적의 평균 오차(ADE)와 마지막 지점 오차(FDE)
OOD(분포 밖) · 모델이 학습 때 보지 못한 조건에서 테스트하는 것
반발계수 · 충돌 후 물체가 얼마나 튀어오르는지를 나타내는 값, 공이 통통 튀는 정도
Neural ODE · 시간에 따른 변화를 미분방정식 형태로 신경망이 학습하는 방법
제로샷 평가 · 한 데이터로 학습한 모델을 추가 학습 없이 다른 데이터에 그대로 적용해 성능을 보는 방식
