로봇이 3D 좌표 대신 화면 속 '점 하나'만 찍으면, 나머지는 알아서 움직이는 내비게이션 AI
로봇이 3D 좌표 대신 화면 속 '점 하나'만 찍으면, 나머지는 알아서 움직이는 내비게이션 AI
기존 로봇 내비게이션 AI는 '왼쪽으로 30도 돌아라' 같은 어색한 3D 명령을 억지로 배우느라 비효율적이었다. TAMP-Nav는 화면에서 갈 곳을 손가락으로 찍듯 2D 점 하나만 고르게 하고, 그 점을 3D 좌표로 변환해 로봇 하위 제어기에 넘기는 방식으로 이 문제를 풀었다. 그 결과 R2R-CE 벤치마크에서 66.2%의 성공률을 9만 개의 학습 경로만으로 달성해 기존 최고 모델들보다 데이터와 연산 효율이 크게 앞섰다.
METAL MEDIA 해설 도표
로봇이 3D 좌표 대신 화면 속 '점 하나'만 찍으면, 나머지는 알아서 움직이는 내비게이션 AI
- 01시각-언어 모델(VLM)은 원래 2D 이미지로 학습됐는데, 기존 내비게이션 방식은 이를 3D 회전각·좌표로 억지로 바꿔 쓰게 해 오류가 잦았다. TAMP-Nav는 VLM이 카메라 화면에서 목적지로 향하는 2D 픽셀 하나만 찍게 하고, 이를 깊이 카메라 정보로 3D 위치로 바꿔 SLAM(위치추정 및 지도작성) 제어기에 넘긴다.
- 02매 걸음마다 깊게 생각하면 느리고, 아예 생각을 안 하면 부정확하다는 딜레마를 풀기 위해, 교차로나 문 앞 같은 중요한 순간에만 '생각의 사슬(Chain-of-Thought, 단계별 추론)'을 켜는 선택적 추론을 도입했다. 중요하지 않은 구간은 위치·시간 정보만 담은 가벼운 '시공간 지시자(STI)' 토큰으로 압축해 저장한다.
- 03학습은 완성된 경로 전체를 평가하는 보상과, 매 순간의 선택을 평가하는 보상 두 단계를 합친 '투레벨 GRPO'라는 강화학습 방식을 썼다. 이는 목표 달성 여부뿐 아니라 충돌 회피, 정지 타이밍, 추론의 실제 유용성까지 세밀하게 평가해 학습 신호를 촘촘하게 만든다.
- 04실험 결과 R2R-CE에서 66.2%, RxR-CE에서 65.7% 성공률로 최고 수준을 기록했고, 경로당 평균 이동 단계 수가 9걸음으로 경쟁 모델(약 30걸음)보다 훨씬 짧았다. 실제 사족보행 로봇(Unitree Go2)에 시뮬레이션 학습만으로 배포해도 실외 및 실내 환경에서 작동함을 확인했다.
무엇을 했나
- 시각-언어 모델(VLM)은 원래 2D 이미지로 학습됐는데, 기존 내비게이션 방식은 이를 3D 회전각·좌표로 억지로 바꿔 쓰게 해 오류가 잦았다. TAMP-Nav는 VLM이 카메라 화면에서 목적지로 향하는 2D 픽셀 하나만 찍게 하고, 이를 깊이 카메라 정보로 3D 위치로 바꿔 SLAM(위치추정 및 지도작성) 제어기에 넘긴다.
- 매 걸음마다 깊게 생각하면 느리고, 아예 생각을 안 하면 부정확하다는 딜레마를 풀기 위해, 교차로나 문 앞 같은 중요한 순간에만 '생각의 사슬(Chain-of-Thought, 단계별 추론)'을 켜는 선택적 추론을 도입했다. 중요하지 않은 구간은 위치·시간 정보만 담은 가벼운 '시공간 지시자(STI)' 토큰으로 압축해 저장한다.
- 학습은 완성된 경로 전체를 평가하는 보상과, 매 순간의 선택을 평가하는 보상 두 단계를 합친 '투레벨 GRPO'라는 강화학습 방식을 썼다. 이는 목표 달성 여부뿐 아니라 충돌 회피, 정지 타이밍, 추론의 실제 유용성까지 세밀하게 평가해 학습 신호를 촘촘하게 만든다.
- 실험 결과 R2R-CE에서 66.2%, RxR-CE에서 65.7% 성공률로 최고 수준을 기록했고, 경로당 평균 이동 단계 수가 9걸음으로 경쟁 모델(약 30걸음)보다 훨씬 짧았다. 실제 사족보행 로봇(Unitree Go2)에 시뮬레이션 학습만으로 배포해도 실외 및 실내 환경에서 작동함을 확인했다.
| R2R-CE Val-Unseen | RxR-CE Val-Unseen | |||||||
|---|---|---|---|---|---|---|---|---|
| Method | NE↓ | OS↑ | SR↑ | SPL↑ | NE↓ | SR↑ | SPL↑ | nDTW↑ |
| HPN+DN* 15 | 6.31 | 40.0 | 36.0 | 34.0 | - | - | - | - |
| CMA* 13 | 6.20 | 52.0 | 41.0 | 36.0 | 8.76 | 26.5 | 22.1 | 47.0 |
| GridMM* 36 | 5.11 | 61.0 | 49.0 | 41.0 | - | - | - | - |
| ETPNav* 1 | 4.71 | 65.0 | 57.0 | 49.0 | 5.64 | 54.7 | 44.8 | 61.9 |
| ScaleVLN* 38 | 4.80 | - | 55.0 | 51.0 | - | - | - | - |
| InstructNav 22 | 6.89 | - | 31.0 | 24.0 | - | - | - | - |
| R2R-CMTP 5 | 7.90 | 38.0 | 26.4 | 22.7 | - | - | - | - |
| LAW 27 | 6.83 | 44.0 | 35.0 | 31.0 | 10.90 | 8.0 | 8.0 | 38.0 |
| CM2 11 | 7.02 | 41.5 | 34.3 | 27.6 | - | - | - | - |
| WS-MGMap 6 | 6.28 | 47.6 | 38.9 | 34.3 | - | - | - | - |
| ETPNav + FF 37 | 5.95 | 55.8 | 44.9 | 30.4 | 8.79 | 25.5 | 18.1 | - |
| Seq2Seq 16 | 7.77 | 37.0 | 25.0 | 22.0 | 12.10 | 13.9 | 11.9 | 30.8 |
| CMA 16 | 7.37 | 40.0 | 32.0 | 30.0 | - | - | - | - |
| VLN-R1 25 | 7.0 | 41.2 | 30.2 | 21.8 | 9.1 | 22.7 | 17.6 | - |
| NaVid 47 | 5.47 | 49.1 | 37.4 | 35.9 | - | - | - | - |
| MapNav 48 | 4.93 | 53.0 | 39.7 | 37.2 | - | - | - | - |
| NaVILA 7 | 5.22 | 62.5 | 54.0 | 49.0 | 6.77 | 49.3 | 44.0 | 58.8 |
| UniNaVid 46 | 5.58 | 53.3 | 47.0 | 42.7 | 6.24 | 48.7 | 40.9 | - |
| StreamVLN 41 | 4.98 | 64.2 | 56.9 | 51.9 | 6.22 | 52.9 | 46.0 | 61.9 |
| NavFoM 45 | 4.61 | 72.1 | 61.7 | 55.3 | 4.74 | 64.4 | 56.2 | 65.8 |
| DualVLN 40 | 4.05 | 70.7 | 64.3 | 58.5 | 4.58 | 61.4 | 51.8 | 70.0 |
| TAMP-Nav(only SFT) | 4.88 | 62.0 | 55.7 | 50.3 | 6.10 | 52.4 | 46.2 | 62.1 |
| TAMP-Nav | 3.85 | 74.5 | 66.2 | 58.8 | 4.32 | 65.7 | 56.9 | 72.4 |
| Noise σ | 0 | 0.05 | 0.1 | 0.2 |
|---|---|---|---|---|
| SR (%) | 66.2 | 65.9 | 65.3 | 63.4 |
| Δ SR | - | -0.3 | -0.9 | -2.8 |
| Block | Variant | R2R-CE: NE / OS / SR / SPL | RxR-CE: NE / SR / SPL / nDTW |
|---|---|---|---|
| Action (SFT only) | NavFoM-style metric waypoint | 7.18 / 42.0 / 30.9 / 24.7 | 8.47 / 27.2 / 20.6 / 43.1 |
| Pixel-to-3D | 4.88 / 62.0 / 55.7 / 50.3 | 6.10 / 52.4 / 46.2 / 62.1 | |
| GRPO | Global trajectory advantage only | 4.52 / 67.0 / 59.3 / 52.1 | 5.30 / 58.4 / 49.7 / 65.5 |
| Two-Level without annealed guidance | 4.12 / 71.5 / 63.4 / 56.0 | 4.72 / 62.6 / 53.8 / 69.4 | |
| Full Two-Level GRPO | 3.85 / 74.5 / 66.2 / 58.8 | 4.32 / 65.7 / 56.9 / 72.4 | |
| Memory | Uniform sampling | 4.43 / 68.2 / 60.8 / 53.6 | 5.03 / 59.4 / 50.8 / 66.8 |
| Full history | 4.29 / 69.4 / 61.9 / 54.7 | 4.87 / 61.1 / 51.8 / 68.0 | |
| AT-Mem without STI | 4.08 / 71.4 / 63.6 / 56.1 | 4.59 / 62.4 / 52.7 / 69.8 | |
| Full AT-Mem | 3.85 / 74.5 / 66.2 / 58.8 | 4.32 / 65.7 / 56.9 / 72.4 | |
| Reasoning | Dense CoT | 3.79 / 75.1 / 66.8 / 59.3 | 4.25 / 66.1 / 57.4 / 72.8 |
| Fixed (1/3) | 4.46 / 67.6 / 60.1 / 52.8 | 5.10 / 58.9 / 50.0 / 65.9 | |
| Auto | 3.85 / 74.5 / 66.2 / 58.8 | 4.32 / 65.7 / 56.9 / 72.4 |
| SFT supervision | R2R-CE: NE / OS / SR / SPL | RxR-CE: NE / SR / SPL / nDTW |
|---|---|---|
| Action only (no CoT) | 5.31 / 57.0 / 50.6 / 45.0 | 6.71 / 46.1 / 39.8 / 56.2 |
| Qwen2.5-VL-7B CoT | 5.46 / 55.7 / 49.4 / 43.1 | 6.83 / 44.8 / 38.2 / 54.9 |
| GLM-4.5V-108B CoT | 4.99 / 60.8 / 54.4 / 48.9 | 6.24 / 51.2 / 44.9 / 60.8 |
| Gemini 2.5 Flash CoT | 4.88 / 62.0 / 55.7 / 50.3 | 6.10 / 52.4 / 46.2 / 62.1 |
| System Prompt |
|---|
| You are a strict filter for navigation instructions. |
| - Pure action = a movement-only command without a target object/landmark/destination, e.g., ”go straight”, ”turn left”. |
| - Not pure action = includes a target or landmark, e.g., ”go straight to the bed”. |
| If there are 4 or more consecutive pure actions anywhere in the instruction, output DROP. Otherwise output KEEP. Consecutive means back-to-back pure actions with no non-pure-action instruction between them. |
| User Prompt Template |
| Instruction: {task} |
| System Prompt |
|---|
| You are an expert at summarizing navigation trajectories. Given a task and image sequences, your job is to summarize the trajectory from image 0→k in ONE continuous paragraph. Explicitly state which part of the task has been completed. Do NOT mention future parts. Return ONLY a JSON object. |
| User Prompt Template |
| Task: {task} |
| Summary ranges: {segment_list_text} |
| For EACH range [0 → k], write ONE paragraph in first person. Describe what happened and which part of the task is completed by that point. |
| System Prompt |
|---|
| You are a controlled reasoning module. Describe the indoor scene layout (open paths, obstacles, landmarks) based on the attached front, left, back, and right views. Only describe visible objects. Do NOT mention targets, goals, history, or next steps. |
| Output Format |
| "Analyze the current observations": [your detailed description] |
| System Prompt |
|---|
| IRON RULE: IF gt_action == "stop", declare arrival. ELSE, reason step-by-step how the move advances the task. The final sentence MUST name the target view and an object-defined region. FORBIDDEN: coordinates, pixels, red circles, proportions. |
| User Prompt Template |
| Task: {task} | History: {summary} | Analysis: {analysis} |
| Target Guidance: {target_guidance} (Use this to locate the region, but do NOT mention the guidance itself). |
| System Prompt |
|---|
| Rewrite the three-stage reasoning into a single, coherent English paragraph. Preserve spatial logic and the target view. Remove redundancies. Do NOT include stage titles. Output ONLY the polished paragraph. |
왜 중요한가
이 방식은 로봇이 3D 공간 추론을 새로 배우지 않고도 기존 이미지 인식 능력을 그대로 활용할 수 있게 해, 적은 데이터로도 실용적인 내비게이션 로봇을 만들 길을 보여준다. 또한 필요한 순간에만 추론을 켜는 구조는 실시간 로봇 제어처럼 속도와 정확도를 동시에 요구하는 현장에 곧바로 참고할 수 있는 설계 원칙이다.
이 논문의 용어
- VLM(시각-언어 모델) · 이미지와 텍스트를 함께 이해하도록 학습된 AI 모델
- Chain-of-Thought(CoT, 생각의 사슬) · 결론을 내기 전 단계별로 추론 과정을 풀어쓰게 하는 기법
- SLAM · 로봇이 스스로 위치를 추정하며 주변 지도를 만드는 기술
- GRPO · 여러 후보 답을 그룹으로 비교해 상대적으로 나은 쪽을 강화하는 강화학습 기법
- SPL · 이동 경로 길이 대비 목표 도달 성공률을 재는 내비게이션 평가 지표
본문에 싣지 못한 그림
- Figure 1: The architecture of TAMP-Nav. Given visual-textual inputs, the agent compresses long-horizon history into an Anchor-Trajectory Memory, autonomously triggering reasoning at critical nodes. As a visual pointer, it selects the optimal multi-camera view and predicts a 2D pixel, which is projected into 3D for SLAM execution. Finally, the policy is optimized via Two-Level GRPO.
- Figure 2: The Two-Level GRPO paradigm. TAMP-Nav superimposes trajectory-level rollouts (competing for global navigation success) with step-level candidate rollouts (exploring diverse 2D visual-spatial actions via VLM temperature sampling).
- Figure 3: Spatial Heatmap of Reasoning (CoT) Triggers. Comparison between the SFT model (left) and the RL-aligned TAMP-Nav (right).
- Figure 4: Performance distribution on long-horizon navigation tasks. The bars show the trajectory count in each length bin, and the curves show the Success Rate (SR) of the evaluated methods as trajectory length increases.
- Figure 5: Learning curves of success rewards under different GRPO configurations. The plot illustrates the training progress over 800 steps for three variants: the full Two-Level GRPO, the version without annealed guided sampling (“without guidance”), and the standard GRPO using only trajectory-level rewards (“only trajectory reward”).
- Figure 6: Visualization of real-world experiments
- Figure 9: Instruction: “Find the red bag”
- Figure 15: Visualization of STI token. We employ a clustering algorithm (23) to map high-dimensional embeddings into a 3D space.
- Figure 16: Visualization of a simulated navigation trajectory. The agent successfully executes the complex instruction: “Go up the stairs and turn left. Wait at the doorway to the bedroom straight ahead.” by triggering selective reasoning at key decision points and outputting point-and-click actions.
최신 논문
- AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다
- 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기
- 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법
- 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다
- 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법
- AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다
- AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다
- AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다