로봇 손목 카메라 하나만으로도 '어디에 뭐가 있었는지'와 '뭘 했는지'를 기억하게 만든 AI
arXiv:2608.067292026-08-06
AtlasVLA: Persistent World-Ego State Modeling for Vision-Language-Action Models
로봇 손목 카메라 하나만으로도 '어디에 뭐가 있었는지'와 '뭘 했는지'를 기억하게 만든 AI
손목에 카메라 하나만 달린 로봇 팔은 물체가 시야에서 사라지거나 여러 단계 작업을 하다 보면 방금 전 상황을 잊어버린다. AtlasVLA는 순간순간 본 2D 장면을 3D 공간 지도로 계속 누적하는 기억 장치와, 지금까지 무슨 작업을 했는지 추적하는 기억 장치를 함께 붙여 이 문제를 풀었다. LIBERO, RLBench 시뮬레이션과 실제 로봇 실험에서 카메라를 여러 대 쓰는 기존 방법들보다 더 좋은 성공률을 보였다.
METAL MEDIA 해설 도표
AtlasVLA의 이중 기억 구조
증거 상태측정 결과가 보고됨
손목 카메라 입력매 순간 2D 영상 하나만 들어오며, 깊이 추정과 카메라 위치 정보로 3D 좌표를 계산한다.
지속 세계 상태 기억2D 관찰을 3D 복셀 지도에 계속 누적해 화면 밖으로 나간 물체 위치도 기억한다.
자아-작업 상태 기억학습된 질의(query)로 지금까지의 작업 진행 상황과 의도를 압축해 저장한다.
이중 검색두 기억에서 현재 필요한 세계 정보와 작업 진행 정보를 각각 꺼내온다.
디퓨전 트랜스포머 행동 생성검색된 두 맥락을 조건으로 삼아 로봇 팔의 다음 7차원 동작(위치·방향·그리퍼)을 생성한다.
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
기존 비전-언어-행동(VLA) 모델은 방금 본 화면에만 반응하는 '반사적' 구조라서, 손목 카메라만 쓰면 물체가 화면 밖으로 나가는 순간 위치를 잊고, 여러 단계 작업 중에는 어디까지 했는지 잊는 두 가지 문제가 있었다.
AtlasVLA는 손목 카메라 2D 영상을 깊이 추정 모델로 3D 공간에 쌓아 올려 복셀(작은 3차원 격자칸) 단위로 계속 갱신되는 '4D 지속 세계 상태 기억'을 만들고, 동시에 지금까지의 작업 진행 상황을 요약해 담는 '자아-작업 상태 기억'을 별도로 운영한다.
이 두 기억에서 뽑아낸 정보를 디퓨전 트랜스포머(DiT, 잡음을 점진적으로 제거해 정교한 동작을 생성하는 신경망 구조)에 조건으로 주어 로봇 팔의 다음 동작을 만들어낸다.
LIBERO 시뮬레이션에서 평균 성공률 97.6%, RLBench에서 70.8%를 손목 카메라 하나만으로 달성했고, 이는 카메라를 여러 대 쓰는 기존 최강 모델들보다 높은 수치다.
복잡하고 긴 작업(LIBERO-Long)에서 9.4%포인트, 실제 로봇 장기 작업에서 17.5%포인트 성공률 향상을 π0 등 기존 모델 대비 보여줬다.
Figure 1: The dual bottlenecks of current reactive VLAs versus the advantage of AtlasVLA. (A) Partial observation: Wrist-only VLAs suffer from limited FoV and partial observation during manipulation. (B) Task-progress forgetting: Reactive baselines lack temporal context, forgetting completed task progress and state. (C) Our solution: Our AtlasVLA integrates a 4D Persistent World State for spatial awareness and an Ego-Working State for task tracking, ensuring robust execution.
Table 1: Quantitative comparison on the LIBERO benchmark. Success rates (%) are averaged over 50 trials per task across five suites, each containing 10 tasks. For methods without LIBERO-90 results, we report the average over the first four suites.
Method
Cameras
Spatial
Object
Goal
Long
90
Average
OpenVLA (15)
3rd
84.7
88.4
79.2
53.7
73.5
75.9
π0 (1)
3rd
90.8
91.8
89.6
80.2
–
88.1
4D-VLA (42)
3rd
93.8
92.8
95.6
86.5
–
92.2
CogACT (19)
3rd
97.2
98.0
90.2
88.8
92.1
93.2
MemoryVLA (35)
3rd
98.4
98.4
96.4
93.4
95.6
96.5
π0 (1)
3rd + wrist
96.8
98.8
95.8
85.2
–
94.2
OpenVLA-OFT
3rd + wrist
97.6
98.4
97.9
94.5
–
97.1
GE-ACT (21)
3rd + wrist
98.2
97.6
95.8
94.4
–
96.5
CogACT (19)
wrist
96.4
95.8
88.6
86.2
87.4
90.9
π0 (1)
wrist
94.4
96.6
90.8
80.8
–
90.7
MemoryVLA (35)
wrist
96.2
99.2
96.4
87.6
90.7
94.0
AtlasVLA (Ours)
wrist
99.4
99.8
98.2
94.6
95.8
97.6
Figure 2: Overall Architecture of AtlasVLA. Relying solely on wrist-camera images Itw, AtlasVLA extracts visual tokens Xtw and lifts them into 3D via depth Dtw and extrinsics 𝐓tex to form an instantaneous world state memory mt. This memory dynamically updates the persistent world state memory ℳt−1 via spatial neighborhood fusion and a temporal sliding window. Concurrently, an ego-working memory condenses context into ego-working tokens via learnable queries Qego, updating an ego-working memory bank through memory consolidation. Finally, world state and ego-working retrievals extract contexts Ctworld and Ctego from the dual memory banks to condition the world-ego-guided action DiT, yielding robust actions At.
Table 2: Quantitative comparison on the RLBench benchmark. Success rates (%) are reported on validation over 20 episodes.
Method
Cameras
Sweep to Dustpan
Phone on Base
Umbrella Out
Frame off Hanger
Wine at Rack
Water Plants
Avg.
OpenVLA (15)
3rd
50.0
20.0
35.0
15.0
10.0
10.0
23.3
CogACT (19)
3rd
50.0
50.0
55.0
45.0
30.0
25.0
42.5
FiS-VLA (5)
3rd
55.0
50.0
50.0
70.0
55.0
20.0
50.0
MemoryVLA (35)
3rd
50.0
60.0
75.0
60.0
80.0
55.0
63.3
π0 (1)
3rd + wrist
30.0
30.0
30.0
70.0
10.0
30.0
33.3
GE-ACT (21)
3rd + wrist
10.0
15.0
40.0
35.0
40.0
45.0
30.8
CogACT (19)
wrist
40.0
35.0
50.0
35.0
20.0
25.0
34.2
MemoryVLA (35)
wrist
40.0
55.0
65.0
60.0
60.0
50.0
55.0
AtlasVLA (Ours)
wrist
70.0
70.0
80.0
65.0
75.0
65.0
70.8
Figure 3: Qualitative results of AtlasVLA on real-world long-horizon tasks.
Table 3: Quantitative results on the real-world general tasks. We report average success rates (%) over 50 trials for each task.
Method
Cameras
General Tasks
Pepper on Plate
Pepper in Box
Stack Cubes
Carrot on Plate
Cube in Drawer
Can in Drawer
Avg.
π0 (1)
3rd + wrist
68.0
60.0
62.0
74.0
66.0
70.0
66.7
MemoryVLA (35)
3rd
72.0
64.0
66.0
78.0
70.0
74.0
70.7
MemoryVLA (35)
wrist
62.0
56.0
58.0
70.0
62.0
66.0
62.3
AtlasVLA (Ours)
wrist
78.0
72.0
76.0
84.0
82.0
80.0
78.7
Figure 4: Our real-world robotic platform.
Table 4: Results on the real-world long-horizon tasks. We report average success rates (%) over 50 trials for each task.
Method
Long-horizon Tasks
Change Cubes
Stack Cubes Order
Clean Desk
Pick Place Order
Avg.
π0
54
50
52
52
52.0
MemoryVLA
62
58
60
62
60.5
AtlasVLA (Ours)
74
66
68
70
69.5
Figure 5: Qualitative results of AtlasVLA on real-world long-horizon tasks.
Table 5: Ablation study on LIBERO and real-world tasks.
No.
Methods
LIBERO
Real-world Long
1)
w/o World State Memory
93.5
54.0
2)
w/o Ego-Working Memory
95.0
56.5
3)
AtlasVLA
97.6
69.5
4)
w/o World State Update
94.6
58.0
5)
w World State Update
97.6
69.5
6)
w/o Spatial PE
96.4
67.5
7)
w/o Temporal PE
96.8
65.0
8)
Spatio-Temporal PE
97.6
69.5
9)
w/o World State Conditioning
95.2
61.5
10)
w World State Conditioning
97.6
69.5
Figure 6: Qualitative results of AtlasVLA on real-world general tasks.
Table 6: Training and model hyperparameters for AtlasVLA.
Hyperparameter
Value
Global batch size
256 (32 × 8)
Learning rate
2×10−5
Action chunk size
16
Inference denoising steps
10
CFG scale (classifier-free guidance)
1.5
Condition dropout
0.1
Capacity of world state memory
2048
The voxel size of the world state
0.025m
Number of ego-working memory retrieval layer
2
Number of ego-guided world retrieval layer
4
Number of ego-working tokens
4
Figure 7: Qualitative results of AtlasVLA on LIBERO Benchmark.
Table 7: Quantitative analysis of runtime efficiency and memory footprint. The inference latency and action generation throughput are measured to evaluate the feasibility of real-time robotic deployment.
Methods
Latency (s)
Throughput (Hz)
GPU Memory (GB)
Success rate (%)
MemoryVLA (35)
0.146
109.5
16.7 GB
62.3
AtlasVLA (Ours)
0.158
101.3
18.1 GB
78.7
Figure 8: More Qualitative results of AtlasVLA on long LIBERO-10 Benchmark.
Table 8: Ablation study on the memory length of the ego-working state across LIBERO and real-world tasks.
No.
Memory length
LIBERO
Real-world Long
1)
8
97.3
66.4
2)
16 (Ours)
97.6
69.5
3)
32
97.2
69.8
Table 9: Ablation study on the voxel size of the world state across LIBERO and real-world tasks.
No.
Voxel size
LIBERO
Real-world Long
1)
0.01
96.3
65.7
2)
0.025 (Ours)
97.6
69.5
3)
0.05
97.2
64.0
4)
0.1
95.9
58.5
실제로 확인된 결과
LIBERO 벤치마크에서 손목 카메라만으로 평균 성공률 97.6%를 기록했고, 여러 시점 카메라를 쓰는 π0보다 3.4%포인트 높았다.
가장 어려운 LIBERO-Long 과제에서 94.6% 성공률로 MemoryVLA를 7.0%포인트 앞섰다.
RLBench에서 평균 성공률 70.8%로, 손목 카메라만 쓴 MemoryVLA보다 15.8%포인트 높았다.
실제 로봇 일반 작업에서 평균 78.7%, 장기 작업에서 69.5% 성공률을 기록해 π0 대비 각각 최대 17.5%포인트 높은 수치를 보였다.
추론 지연 시간은 기존 MemoryVLA 대비 0.012초만 늘어난 0.158초, 초당 101.3회 동작 생성 속도를 유지해 실시간 제어에 지장이 없었고, GPU 메모리 사용량은 18.1GB로 1.4GB만 추가됐다.
어디에 쓸 수 있나
카메라를 여러 대 설치하기 어려운 산업용·서비스용 로봇 팔에서 손목 카메라 하나로 다단계 작업(정리, 조립, 순서대로 물건 배치 등)을 수행하는 시스템
물체가 자주 시야 밖으로 벗어나는 좁은 작업 공간(서랍, 캐비닛 조작 등)에서의 로봇 자동화
긴 작업 순서를 기억해야 하는 가정용 로봇이나 창고 로봇의 작업 계획 모듈
한계와 남은 검증
평가는 Franka 로봇 팔과 특정 실험 환경(테이블탑, 캐비닛 등)에 한정되어 있어 다른 로봇 형태나 훨씬 복잡한 실외 환경에서의 검증은 이뤄지지 않았다.
메모리 길이(16)와 복셀 크기(0.025m) 등 하이퍼파라미터는 해당 벤치마크에서 최적값으로 나온 것으로, 다른 작업 규모에서는 재조정이 필요할 수 있다.
깊이 추정 모델(Depth Anything v3)의 정확도에 성능이 의존하므로, 깊이 추정이 어려운 반사·투명 물체 등에 대한 검증은 보고되지 않았다.
실시간 추론 속도와 메모리 사용량은 측정되었지만, 이는 특정 GPU(A100) 환경 기준이며 더 저사양 하드웨어에서의 성능은 확인되지 않았다.
왜 중요한가
산업 현장 로봇 팔은 비용과 설치 문제로 카메라를 여러 대 달기 어려운 경우가 많은데, 이 연구는 카메라 하나로도 시야 밖 정보와 작업 이력을 기억해 복잡한 다단계 작업을 안정적으로 수행할 수 있는 길을 보여준다. 이는 실제 물류·가정용 로봇처럼 제한된 센서 환경에서 동작해야 하는 서비스에 직접적인 시사점을 준다.
이 논문의 용어
비전-언어-행동(VLA) 모델 · 카메라 영상과 언어 지시를 받아 로봇 팔의 동작 명령으로 바꿔주는 AI 모델
복셀 해싱 · 3차원 공간을 작은 격자칸(복셀)으로 나누고 필요한 칸만 효율적으로 저장·갱신하는 방식
디퓨전 트랜스포머(DiT) · 무작위 잡음에서 시작해 점차 다듬어 정교한 결과(여기서는 로봇 동작)를 만들어내는 신경망 구조
슬라이딩 윈도우 · 너무 오래된 과거 정보는 버리고 최근 일정 구간의 정보만 유지하는 기억 관리 방식
손목 카메라(wrist camera) · 로봇 팔 끝 손목 부위에 달려 팔이 움직일 때마다 함께 움직이는 카메라
