로봇이 뒤죽박죽 실패 기록에서도 쓸모있는 동작만 골라 배우는 법
로봇이 뒤죽박죽 실패 기록에서도 쓸모있는 동작만 골라 배우는 법
로봇을 미리 모아둔 데이터로 훈련시킬 때, 그 데이터에 성공과 실패, 잡음이 섞여 있으면 기존 방법은 이를 구분하지 못하고 뒤죽박죽인 동작 사전을 만든다. QDOS는 각 행동 구간이 얼마나 가치 있었는지를 추정해 가중치를 매기고, 그 가중치를 반영해 다양하면서도 우수한 동작들만 골라 배운다. 그 결과 로봇 팔 조작과 다리 보행 과제 모두에서 기존 최고 성능 방법보다 목표 도달 속도와 최종 성과가 크게 향상됐다.
METAL MEDIA 해설 도표
로봇이 뒤죽박죽 실패 기록에서도 쓸모있는 동작만 골라 배우는 법
- 01기존 방식(트라젝토리 VAE 등)은 데이터에 담긴 성공, 실패, 잡음을 구분하지 않고 똑같이 학습해 동작 사전이 지저분해지는 문제가 있었다
- 02QDOS는 IQL이라는 방법으로 각 행동 구간의 가치(어드밴티지)를 추정하고, 가치가 높은 구간에 더 큰 가중치를 줘서 동작을 추출하면서 동시에 다양성도 유지하도록 설계했다
- 03미리 모은 데이터를 동작 학습에 한 번, 그리고 실시간 학습용 경험 버퍼를 채우는 데 또 한 번, 총 두 번 재사용하는 전략을 함께 적용했다
- 04복잡한 축구공 밀기 과제에서 정규화 점수 0.80으로 기존 최고 방법인 SUPE의 0.27을 크게 앞섰고, 주방 조작 과제에서는 만점인 4.00을 달성해 SUPE의 3.40을 넘어섰다
- 05목표를 처음 찾는 데 걸리는 학습 스텝 수도 SUPE보다 눈에 띄게 줄어, 탐색 속도가 빨라졌음을 확인했다
무엇을 했나
- 기존 방식(트라젝토리 VAE 등)은 데이터에 담긴 성공, 실패, 잡음을 구분하지 않고 똑같이 학습해 동작 사전이 지저분해지는 문제가 있었다
- QDOS는 IQL이라는 방법으로 각 행동 구간의 가치(어드밴티지)를 추정하고, 가치가 높은 구간에 더 큰 가중치를 줘서 동작을 추출하면서 동시에 다양성도 유지하도록 설계했다
- 미리 모은 데이터를 동작 학습에 한 번, 그리고 실시간 학습용 경험 버퍼를 채우는 데 또 한 번, 총 두 번 재사용하는 전략을 함께 적용했다
- 복잡한 축구공 밀기 과제에서 정규화 점수 0.80으로 기존 최고 방법인 SUPE의 0.27을 크게 앞섰고, 주방 조작 과제에서는 만점인 4.00을 달성해 SUPE의 3.40을 넘어섰다
- 목표를 처음 찾는 데 걸리는 학습 스텝 수도 SUPE보다 눈에 띄게 줄어, 탐색 속도가 빨라졌음을 확인했다
| Environment | BC[11][26] | IQL[11][26] | SUPE | QDOS (α=0.2) | QDOS (α=0.3) |
|---|---|---|---|---|---|
| antmaze-large | 41±7 | 64±10 | 83.0±21.0 | 86.0±6.0¯ | 96.0±6.0 |
| antsoccer-arena | 5±1 | 50±2 | 27.0±31.0 | 73.0±31.0¯ | 80.0±10.0 |
| humanoidmaze-medium | 8±2 | 27±2 | 97.0±6.0¯ | 97.0±6.0¯ | 100.0±0.0 |
| kitchen-mixed | 51.5 | 51.0 | 85±13.25¯ | 100.00±0.00 | 83.25±28.75 |
| kitchen-partial | 38.0 | 46.3 | 83.25±14.50 | 85.75±24.75 | 82.50±30.25 |
| scene-task1 | 5±1 | 51±4 | 100.0±0.0 | 100.0±0.0 | 100.0±0.0 |
| Environment | Method | Steps |
|---|---|---|
| antmaze-large | SUPE | 13334±5774 |
| QDOS (α=0.2) | 𝟏𝟏𝟔𝟔𝟖±𝟗𝟒𝟔𝟓 | |
| humanoidmaze | SUPE | 23334±6292 |
| QDOS (α=0.3) | 𝟏𝟗𝟏𝟔𝟖±𝟖𝟎𝟑𝟔 | |
| scene | SUPE | 5834±1443 |
| QDOS (α=0.2) | 𝟓𝟎𝟎𝟏±𝟎 |
| Parameter Name | Value |
|---|---|
| Batch size | 256 |
| Optimizer | Adam |
| Learning rate | 3×10−4 |
| GRU Hidden Size | 256 (antmaze, kitchen) |
| 512 (antsoccer, humanoidmaze, scene) | |
| GRU Layers | 2 (antmaze, kitchen) |
| 3 (antsoccer, humanoidmaze, scene) | |
| KL Coefficient (OPENβ) | 0.1 (antmaze, humanoid, kitchen) |
| 0.2 (scene) | |
| Latent Dimension (z) | 8 |
| Segment Length (H) | 20 |
왜 중요한가
실제 로봇 데이터는 성공한 시도만 있는 것이 아니라 실패와 잡음이 뒤섞여 있는 경우가 대부분이라, 이런 데이터에서도 안정적으로 쓸모 있는 동작을 뽑아내는 방법은 로봇 학습의 실용성을 크게 높인다. 이는 값비싼 실제 환경 시행착오를 줄이면서도 성능을 끌어올릴 수 있는 실마리가 된다.
이 논문의 용어
- 오프라인 강화학습 · 환경과 직접 상호작용하지 않고 미리 모아둔 데이터만으로 정책을 학습하는 방법
- VAE(변분 오토인코더) · 데이터를 압축된 잠재 표현으로 인코딩했다가 다시 복원하도록 학습하는 비지도 학습 모델
- 어드밴티지(advantage) · 특정 행동이 평균적인 경우보다 얼마나 더 좋은 결과를 내는지를 나타내는 값
- IQL(Implicit Q-Learning) · 데이터 범위를 벗어난 행동을 querying하지 않고도 가치 함수를 안정적으로 추정하는 오프라인 강화학습 기법
- 의사 라벨링(pseudo-labeling) · 미리 학습된 인코더로 오프라인 데이터 구간에 추정된 동작 라벨과 보상값을 붙이는 과정
최신 논문
- AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다
- 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기
- 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법
- 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다
- 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법
- AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다
- AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다
- AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다
METAL MEDIA 최신 기사
그림 출처: Tanachai Anakewat et al., arXiv:2608.19684, arxiv-nonexclusive