로봇이 '얼마나 남았는지'를 시간으로 학습해, 선호도 라벨 없이도 최고 성능의 보상 모델을 만들다
arXiv:2608.098532026-08-09
RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance
로봇이 '얼마나 남았는지'를 시간으로 학습해, 선호도 라벨 없이도 최고 성능의 보상 모델을 만들다
RynnValue는 로봇 관찰 영상이 목표 완료까지 남은 시간을 예측하는 방식으로 보상 모델을 학습한 오픈소스 파운데이션 모델이다. 선호도 쌍이나 0~1 진행률 라벨 없이 타임스탬프만으로 7,000시간, 약 300만 개의 지시문 조건부 클립을 학습에 활용했다. 벤치마크에서 선호도 라벨로 학습한 기존 최고 모델을 능가했고, 실제 로봇 강화학습 보상으로 변환했을 때 성공률을 크게 높였다.
METAL MEDIA 해설 도표
RynnValue의 학습 및 보상 변환 구조
증거 상태측정 결과가 보고됨
이질적 데이터 수집7,000시간 이상, 실제·시뮬레이션·1인칭 로봇 데이터 167만 에피소드를 서브태스크 분할과 완료 시점 재라벨링을 거쳐 300만 개 이상의 지시문 조건부 클립으로 변환
타임스탬프 기반 라벨링선호도 쌍이나 진행률 대신, 각 관찰 시점에서 재라벨된 완료 시점까지 남은 시간을 절대 타깃으로, 인접 관찰 간 시간 차이를 상대 타깃으로 자동 생성
지름길 억제 학습무작위 시간 샘플링·시간 순서 섞기로 순서에 의존한 예측을 막고, 밸류 격리 어텐션으로 값 예측 토큰들이 서로를 베끼지 못하게 차단
이중 분포 헤드 예측절대 시간 거리와 상대 시간 변위를 각각 256구간 심로그 분포로 예측하고, 언어 분기는 영상 설명·지시 일치·성공 여부를 별도로 생성
보상 인터페이스 변환예측된 시간 거리를 부호 반전해 포텐셜로 만들고, 잠재 기반 보상 형성으로 온라인·오프라인 강화학습에 촘촘한 보상 제공
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
로봇 학습에서 범용 보상 모델이 병목이 되는 문제를 지적하고, 기존 방식(선호도 쌍, 0~1 정규화된 진행률)이 로봇 종류와 데이터 출처가 다르면 잘 통하지 않는다는 점에서 출발했다.
대안으로 '시간적 거리(temporal distance)', 즉 현재 관찰에서 언어로 지정된 목표까지 남은 시간을 학습 목표로 삼았다. 이 라벨은 타임스탬프에서 직접 뽑아낼 수 있어 선호도나 진행률 주석 없이도 대규모 데이터로 확장 가능하다.
학습이 지름길(shortcut)에 의존하지 않도록 무작위 시간 샘플링, 시간 순서 섞기, 밸류 격리 어텐션(value-isolation attention)이라는 세 가지 장치를 결합했다. 이는 모델이 실패나 후퇴 상황에서도 값이 둔감해지지 않도록 시각적 근거에 기반해 예측하게 만든다.
7,000시간이 넘는 이질적인 로봇·시뮬레이션·1인칭 시연 데이터를 정제해 원래 167만 개 에피소드를 300만 개 이상의 지시문 조건부 궤적 세그먼트로 변환했다.
RBM-EVAL-OOD 벤치마크에서 선호도 라벨 없이도 켄달의 타우(τa) 0.675를 기록해, 선호도로 완전히 지도학습된 기존 최고 모델(0.655)을 넘어섰고 진행률만 쓰는 모델(0.292)보다 두 배 이상 높은 성능을 보였다.
Figure 1: Overview of RynnValue. RynnValue is a language-conditioned value model trained on over 7,000 hours of heterogeneous embodied data, comprising roughly 3M instruction-conditioned trajectory clips across diverse embodiments, viewpoints, and task domains. Given a language instruction and a sequence of sampled observations, the model builds an interleaved multimodal sequence of repeated absolute-value and relative-value queries, which RynnBrain encodes in a single forward pass. Two distributional heads then predict the absolute temporal distance to task completion and the signed relative temporal displacement between observations, while the language branch produces video analysis and language-conditioned verification. The resulting temporal values serve as a unified interface for progress estimation, failure detection, and reward specification in robotic reinforcement learning.
Table 1: Composition of the heterogeneous data mixture before subtask expansion. The corpus contains 1.67M original episodes and is further converted into over 3M instruction-conditioned trajectory segments after subtask segmentation and cutoff relabeling.
Data Source
# Original Episodes
# Segmentations
# Instructions
Segmentation Source
AgiBot 3
167,535
1,166,042
3,741
coarse task
EgoDex 10
338,234
338,234
2,038
full trajectory
Galaxea Open-World 13
16,979
95,671
11,070
coarse task
InternData-A1 27
320,905
320,905
348
full trajectory
Open X-Embodiment 23
693,037
693,037
180,090
full trajectory
RDT 17
6,109
6,109
272
per-file coarse task
RoboCOIN 30
67,420
410,877
2,124
coarse task
RoboMIND 29
32,138
32,138
184
full trajectory
RoboTwin 20
27,414
27,414
23,527
full trajectory
Soft-FOLD 35
1,542
1,542
1
per-file coarse task
Total
1,671,313
3,091,969
223,395
–
Figure 2: RynnValue training pipeline and value-isolation attention. (a) Training strategy. Random temporal sampling and temporal-order shuffling suppress shortcuts tied to sampling intervals and sequence position, while instruction-mismatch augmentation strengthens language–visual grounding. RynnValue jointly learns absolute temporal distance, relative temporal displacement, and natural-language supervision. (b) Value-isolation attention. Within each value-query group, repeated queries attend to one another and to the language–visual context, while remaining isolated from other value-query groups. Colored cells denote visible attention connections.
Table 2: Per-dataset trajectory-ranking results on the RBM-EVAL-OOD test suite, measured by Kendall’s τa (↑). Bold values indicate the best overall results. † denotes the best result among methods trained without explicit trajectory-level preference supervision, i.e., progress/value-only methods. Baseline results are taken from Robometer 16.
Method
USC Franka
USC Koch
USC Trossen
USC xArm
MIT Franka
UTD SO101
Average
GVL 19
0.250
−0.008
0.292
0.056
0.306
0.300
0.199
VLAC-2B 34
0.292
0.167
−0.111
0.167
−0.017
−0.033
0.077
VLAC-8B 34
0.271
0.064
−0.417
0.139
0.072
0.167
0.049
RoboDopamine 26
0.167
0.175
0.000
0.014
0.220
0.067
0.107
Dopamine-GRM-2.0-8B-Preview 26
0.479
0.442
0.333
0.431
0.431
0.700
0.453
RoboReward-4B 15
0.625
0.332
0.333
0.528
0.494
0.700
0.502
RoboReward-8B 15
0.625
0.264
0.389
0.347
0.396
0.767
0.465
Robometer (RoboReward data) 16
0.583
0.533
0.646
0.403
0.479
0.667
0.552
ReWiND 33
−0.125
0.336
0.028
−0.167
0.080
−0.067
0.014
Robometer (RBM-1M) 16
0.646
0.471
0.653
0.694
0.601
0.867
0.655
Robometer (Progress only) 16
0.083
0.231
0.333
0.389
0.183
0.533
0.292
RynnValue-4B
0.542
0.488
0.917
0.667†
0.473
0.933†
0.670
RynnValue-8B
0.667†
0.544†
1.000†
0.500
0.503†
0.833
0.675†
Figure 3: Instruction-trajectory confusion matrices. Each cell shows the predicted reward when an instruction (rows) is paired with a trajectory (columns); a well-grounded model concentrates mass on the diagonal. Values below each matrix report the normalized diagonal margin. All models are re-evaluated under a unified protocol from their publicly released weights.
Table 3: Ablation study on RBM-EVAL-OOD. We report Kendall’s τa across six out-of-distribution robot datasets. Shuffle denotes temporal-order shuffling, Isolation denotes value-isolation attention, Language denotes the auxiliary natural-language supervision, Random denotes random temporal sampling, and Relative denotes the relative modeling component.
Design Components
Kendall’s τa
Variant
Shuffle
Isolation
Language
Random
Relative
USC Franka
USC Koch
USC Trossen
USC xArm
MIT Franka
UTD SO101
Average
w/o Shuffle
✗
✓
✓
✓
✓
0.583
0.090
0.055
0.222
-0.017
0.200
0.189
w/o Isolation
✓
✗
✓
✓
✓
0.583
0.428
0.694
0.389
0.400
0.400
0.482
w/o Language
✓
✓
✗
✓
✓
0.250
0.491
0.819
0.361
0.501
0.800
0.537
Uniform Sampling
✓
✓
✓
✗
✓
0.375
0.400
0.305
0.250
0.310
0.633
0.379
w/o Relative
✓
✓
✓
✓
✗
0.667
0.587
0.639
0.639
0.464
0.767
0.627
Full Model (8B)
✓
✓
✓
✓
✓
0.667
0.544
1.000
0.500
0.503
0.833
0.675
Figure 4: Scaling episode volume vs. task diversity. Mean absolute temporal-distance error on a held-out validation set of unseen tasks. We independently scale two aspects of the training set: (orange) episode count with the full task set fixed, and (blue) task count with per-task episode counts fixed. Both curves converge to the same full-scale training set at 100%. Task diversity yields a consistently steeper error reduction than episode volume, which saturates early.
Table 4: Real-world reinforcement-learning results. We report success rates and the average number of action chunks over successful episodes. Average denotes the unweighted mean success rate across four tasks.
Algorithm
Baseline
Bread Basket Placement
Steak Serving with a Spatula
Box-in-Drawer Placement
Bimanual Box Transfer
Average Success
Success ↑
Avg. Steps ↓
Success ↑
Avg. Steps ↓
Success ↑
Avg. Steps ↓
Success ↑
Avg. Steps ↓
Online RL
RynnValue
45.0%
25.9±8.2
75.0%
18.6±13.1
70.0%
27.0±8.1
100.0%
22.8±4.7
72.5%
Robometer
35.0%
22.7±5.5
45.0%
15.2±2.7
65.0%
27.7±5.8
65.0%
25.6±7.4
52.5%
Sparse
40.0%
56.0±31.7
45.0%
18.4±4.9
40.0%
27.4±6.6
70.0%
23.5±2.7
48.8%
Offline RL
RynnValue
100.0%
16.8±3.1
90.0%
14.9±4.0
90.0%
14.9±4.0
50.0%
33.6±10.5
82.5%
Robometer
80.0%
18.9±2.7
80.0%
19.4±7.2
50.0%
27.3±6.3
45.0%
28.7±9.3
63.8%
Sparse
70.0%
26.1±9.1
20.0%
30.2±3.3
0.0%
–
0.0%
–
22.5%
SFT
–
70.0%
24.8±8.0
25.0%
18.6±6.2
0.0%
–
0.0%
–
23.8%
Figure 5: Temporal-value curve comparison on a real-world trajectory. Higher values indicate closer proximity to task completion. The highlighted interval marks a period of task regression where the robot moves away from a productive state; RynnValue responds with a sharp potential drop, whereas Robometer remains relatively flat.
Table 5: Representative annotation issues addressed by data curation. Non-English examples are described rather than reproduced verbatim to avoid introducing non-Roman fonts into the manuscript.
Issue
Representative annotation
Source
Non-English task annotation
Chinese-language manipulation instruction
Galaxea
Placeholder or truncated label
P, shirts, undefined
InternA1
Data-quality metadata
no robot motion, skip frame
OXE
Pure-motion instruction
move to the table, approach the cabinet
Galaxea
Figure 6: Representative demonstrations for real-world evaluation. Each row shows a sequence of observations from one manipulation task: Each row shows a sequence of observations from one manipulation task. These tasks cover object grasping, spatial manipulation, and articulated-object interaction.
Table 6: Summary of source-specific data curation. OXE and InternA1 are counted in episodes, while Galaxea and RoboCOIN are counted in annotated subtask segments. The total therefore denotes an aggregate number of trajectory units rather than a homogeneous episode count.
Source
Raw units
Curated units
Unit retention
Raw instructions
Curated instructions
Instruction retention
OXE (episode)
961,253
693,037
72.10%
180,290
180,090
99.89%
InternA1 (episode)
320,910
320,905
99.99%
350
348
99.43%
Galaxea (segment)
97,287
78,692
80.89%
12,685
10,909
86.00%
RoboCOIN (segment)
343,516
343,516
100.00%
1,642
1,642
100.00%
Total
1,722,966
1,436,150
83.35%
194,967
192,989
98.99%
Table 7: Real-world task instructions and dataset statistics. Success rate is computed over all collected trajectories for each task.
Task
Language instruction
Trajectories
Success rate
Success
Failure
Total
Bread Basket Placement
“Put the two pieces of bread in the basket.”
99
4
103
96.1%
Steak Serving with a Spatula
“Move the steak from the pan to the plate.”
98
4
102
96.1%
Box-in-Drawer Placement
“Put the box in the drawer and close it.”
101
3
104
97.1%
Bimanual Box Transfer
“Move the box from the right side to the left side.”
100
1
101
99.0%
Total
–
398
12
410
97.1%
Table 8: Camera streams used by the policy and RL encoders. Entries list the exact streams provided to each pathway.
Pathway
Single-arm tasks
Bimanual Box Transfer
VLA
left_side, left_wrist
left_side, left_wrist, right_wrist
IQL critic
left_side, left_wrist
left_side, left_wrist, right_wrist
DSRL actor–critic
left_side, left_wrist
left_side, right_side, left_wrist, right_wrist
Table 9: Offline IQL and SFT hyperparameters. All IQL reward variants share the same mixed-expertise dataset, sparse task reward, policy initialization, and optimization configuration. SFT uses the same policy optimizer and learning-rate schedule and is also trained for 10,000 steps per task.
Hyperparameter
Value
Base policy
π0.5 with flow matching; action dimension 32
Action horizon H
16
Batch size
64
Policy optimizer
AdamW with β1=0.9, β2=0.95, ϵ=10−8, weight decay 10−10, and gradient-norm clipping at 1.0
Learning-rate schedule
Cosine decay with 2,000 linear warm-up steps
Peak / final policy learning rate
3×10−5 / 3×10−6
Policy EMA decay
0.99
Training steps per task
10,000
Critic / value optimizer
Adam with a learning rate of 3×10−4
Offline discount γoff
0.99
Target update rate ρoff
0.005
Expectile parameter τe
0.8
Advantage temperature β
10.0
Maximum advantage weight wmax
100
Number of Q-functions KIQL
2; minimum aggregation
Critic and value encoder
ResNet-18 with GroupNorm and spatial softmax; 50-dimensional bottleneck
Critic and value hidden dimensions
(256,256)
Number of critic cameras
2 for single-arm tasks and 3 for the bimanual task
Critic input resolution
224×224 using the VLA preprocessing pipeline
Policy warm-up Nwarm
200 optimization steps with w(o,a)=1
Sparse task reward
−1 before task completion and 0 upon task completion
Potential-based shaping reward
rhshape=γoffΦh+1−Φh
Shaping coefficient κ
0.1 for RynnValue and 1.0 for Robometer; fixed across tasks
Sparse-reward baseline
κ=0
Image augmentation
Random cropping applied to both current and next observations; no color jitter
Table 10: Online DSRL hyperparameters. SAC operates in the latent space of the frozen VLA, which decodes latent variables into executable action chunks. All reward variants share the same optimization configuration and differ only in the potential source and shaping coefficient.
Hyperparameter
Value
Base policy
Frozen SFT checkpoint for Bread Basket Placement and Steak Serving with a Spatula; frozen Robometer offline-RL checkpoint for Box-in-Drawer Placement and Bimanual Box Transfer
Latent action space
z∈[−1,1]H×dz, with H=16 and dz=32
RL algorithm
SAC with automatic entropy tuning and initial temperature α0=1.0
Actor optimizer
Adam with a learning rate of 1×10−4
Critic optimizer
Adam with a learning rate of 3×10−4
Temperature optimizer
Adam with a learning rate of 3×10−4
Gradient clipping
None
Target entropy ℋ¯
−dim(z)
Online SAC discount γon
0.999
Target update rate ρon
0.005
Number of Q-functions KSAC
10; mean aggregation
Actor and critic hidden dimensions
(128,128,128)
Image encoder
Four-layer CNN with 32 channels per layer, strides (2,1,1,1), VALID padding, GroupNorm, spatial softmax, and a 50-dimensional bottleneck
SAC input resolution
64×64
Batch size
256
Update-to-data ratio
100
Training length
6,000 training steps
Online rollout trajectories
60 per task
Replay-buffer capacity
max(training steps/UTD,104)=104
Update frequency
After each episode
Exploration warm-up
Nnoise=2 episodes with Gaussian noise standard deviation σ=0.1
Minimum replay size Nstart
200 transitions
Maximum episode length
600 environment steps
Policy-decision frequency
Low-level control at 10 Hz, with one policy decision every q=10 environment steps
Number of DSRL cameras
2 for single-arm tasks and 4 for the bimanual task
Sparse task reward
−1 before task completion and 0 upon task completion
Shaping coefficient κ
0.1 for RynnValue, 1.0 for Robometer, and 0 for the sparse-reward baseline; fixed across tasks
Per-step shaping discount γs
0.999
실제로 확인된 결과
RBM-EVAL-OOD 벤치마크(6개 분포 밖 데이터셋, 976개 궤적)에서 RynnValue-8B는 평균 켄달 τa 0.675를 기록해 선호도 지도학습 최고 모델 Robometer(0.655)를 앞섰고, 진행률만 쓰는 모델(0.292)보다 두 배 이상 높았다. 4B 모델도 0.670으로 유사한 성능을 보였다.
실제 4개 로봇 조작 과제(빵 바구니 담기, 스테이크 서빙, 서랍에 상자 넣기, 양팔 상자 옮기기)에서, RynnValue 보상을 쓴 온라인 강화학습은 평균 성공률을 52.5%(Robometer)에서 72.5%로, 오프라인 강화학습은 63.8%에서 82.5%로 끌어올렸다.
오프라인 실험에서 빵 바구니 담기 과제는 RynnValue가 100% 성공(평균 16.8 동작 청크)으로 Robometer(80%, 18.9 청크)와 SFT 정책(70%, 24.8 청크)을 넘어섰고, 서랍-상자 과제와 양팔 상자 옮기기는 SFT 정책이 아예 성공하지 못한 반면 RynnValue 기반 강화학습은 성공을 이끌어냈다.
서랍에 상자 넣기 과제에서는 온라인 학습 개선폭이 두 보상 모델 모두 제한적이었다(Robometer 65%, RynnValue 70%, 공유 시작점 50%). 3인칭 RGB 영상만으로는 그리퍼-상자-서랍 정렬 같은 정밀한 판단이 어렵기 때문으로 분석됐다.
어디에 쓸 수 있나
선호도 라벨이나 진행률 주석을 따로 만들기 어려운 대규모 이질적 로봇 데이터(다른 로봇팔, 다른 시점, 다른 과제)를 활용해 범용 보상/가치 모델을 학습하려는 연구
오프라인에 모아둔 품질이 제각각인 로봇 시연 데이터로부터 정책을 정제하는 오프라인 강화학습(IQL 등)의 보상 신호로 활용
실제 로봇 온라인 강화학습에서 성공/실패만 알려주는 희소 보상 대신 촘촘한 중간 보상을 제공해 학습을 가속화하는 용도
학습 데이터에 전혀 없던 새로운 과제·로봇 형태·카메라 시점에 대해 별도 미세조정 없이 제로샷으로 보상을 매기는 상황
한계와 남은 검증
현재 모델은 짧은 관찰 구간(8프레임 샘플)만으로 시간적 거리를 추정하므로, 더 긴 시간대나 스트리밍 추론으로 확장하는 것은 향후 과제로 남아 있다.
학습 목표가 대략적인 최소 시간 완료를 가정하고 있어 에너지 소모, 안전성, 정밀도 같은 과제별 비용은 아직 반영되지 않는다.
3인칭 RGB 영상만 사용하는 경우 그리퍼-물체 정렬처럼 시각적으로 구분하기 어려운 정밀 조작 과제에서는 보상의 효과가 제한적이었다(서랍-상자 과제 사례).
현재는 손목형 팔 로봇 중심으로 검증되었고, 정밀 손가락 조작이 필요한 덱스터러스 핸드나 이동형 매니퓰레이션 환경으로의 확장은 향후 계획으로만 제시되어 있다.
왜 중요한가
보상 모델은 로봇이 스스로 시행착오를 통해 배우는 강화학습의 핵심 병목인데, 이 방법은 사람이 일일이 선호도 쌍이나 진행률을 매기지 않아도 되게 만들어 데이터 확장의 걸림돌을 크게 줄인다. 실제 로봇 실험에서 성공률을 확연히 끌어올린 결과는 이 접근이 실험실 수치를 넘어 실전에서도 통할 가능성을 보여준다.
이 논문의 용어
시간적 거리(temporal distance) · 현재 관찰 시점에서 목표 완료 시점까지 남은 시간. 방향성이 있는 목표 도달 비용 개념이다.
켄달의 타우(Kendall's τa) · 두 순서(정답 순위와 예측 순위)가 얼마나 일치하는지를 재는 통계 지표로, 값이 클수록 순위가 잘 맞는다.
밸류 격리 어텐션(value-isolation attention) · 서로 다른 관찰에 대한 값 예측 토큰들이 서로를 직접 참조하지 못하게 막아, 예측이 앞선 예측값을 베끼지 않고 실제 영상 증거에 기반하도록 하는 장치.
잠재 기반 보상 형성(potential-based shaping) · 예측된 값(포텐셜)의 변화량을 보상으로 바꿔주는 방법으로, 최적 정책을 바꾸지 않으면서 학습 신호를 촘촘하게 만든다.
IQL, DSRL · 각각 오프라인 강화학습 기법(Implicit Q-Learning)과 온라인 확산 정책 강화학습 기법(Diffusion Steering via RL)으로, 이 논문에서 RynnValue가 만든 보상을 활용해 정책을 학습시키는 데 쓰였다.
