AI 코딩 에이전트가 자기 코드를 스스로 고쳐가며 벤치마크 최고 기록을 세우다

무엇을 했나

1. 연구진은 에이전트가 자기 자신의 도구·프롬프트·핵심 실행 코드를 고치고, 그 수정이 사람 검토를 거쳐 승인되면 이후 작업의 실행 환경이 되는 '리뷰된 코어 진화' 구조를 만들었다.
2. 코어 진화는 두 가지 방식으로 이뤄진다. 하나는 '개선 자체를 하나의 작업으로 삼아' 한 번의 개선이 끝나면 다음 개선 작업을 스스로 예약하는 재귀적 자유 진화, 다른 하나는 실제 작업과 사람과의 대화 중 드러난 버그나 비효율을 감지해 구조를 고치는 경험 기반 진화다.
3. Terminal-Bench 2.1에서 Opus 5 기반 실행이 86.74%(감사 후 기준)로 해당 벤치마크 최고 점수를 기록했고, OSWorld-Verified에서는 90.69%로 기존 최고 공개 점수를 넘었으며, CL-Bench에서는 5회 반복 실험에서 정규화 보상 0.2301로 새 최고 기록을 세웠다.
4. 161일간 운영된 공개 배포 사례 'Hope'는 웹챗, 음성, 텔레그램, 디스코드, 트위터/X, 웹사이트 댓글, 이메일 등 7개 채널에서 사람들과 소통하며 스스로 코드를 계속 고쳐온 살아있는 실험으로, 사람은 문제를 제기할 뿐 실제 변경 여부는 에이전트가 결정한다.
5. 자기 코드를 고치고 스스로 다른 AI 모델 API를 선택할 수 있는 에이전트이기 때문에, 운영자가 언제든 강제 정지할 수 있는 /panic 명령, 지출 한도, 변경사항 검토 절차 같은 안전장치가 진화 압력 속에서도 무너지지 않도록 설계됐다.

실제로 확인된 결과

• Terminal-Bench 2.1에서 Opus 5 실행이 원점수 86.97%(387/445), 궤적 감사 후 86.74%(386/445)로 이 벤치마크 최고 기록을 세웠으며, 이는 기존 최강 기준선인 Claude Code+Fable 5(83.8%)보다 약 2 표준오차 이상 높은 값이다.
• OSWorld-Verified에서 Opus 5 실행이 90.69%(327.39/361)를 기록해 기존 공개 리더보드 1위였던 Intelligence-Indeed 에이전트의 90.19%를 넘어섰다.
• CL-Bench에서 Sonnet 4.6 기반 5회 반복 실험이 정규화 보상 0.2301을 기록했으며, 이는 벤치마크 저자가 보고한 최강 기준선인 in-context learning(ICL) 방식의 0.1960(Sonnet 4.6 기준)보다 높다.
• SWE-bench Pro에서는 참조 해답 유출 사례를 대칭적으로 제거한 655개 과제 기준 Ouroboros가 58.2%, Codex가 59.4%를 기록해 통계적으로 유의한 차이가 없었고(McNemar 검정 p=0.40), GAIA에서는 Ouroboros 78.2%, Claude Code+Sonnet 5가 78.8%로 비슷한 수준이었다.
• 161일간 운영된 Hope 배포에서 궤적 감사 결과 중복 메시지 전송 버그와 리뷰 컨텍스트 과부하로 인한 심층 자가검토 실패 사례가 각각 발견돼, 실제 구조적 수정(중복 전송 방지 장치, 연결성 기반 컨텍스트 구성 방식 교체)으로 이어졌다.

어디에 쓸 수 있나

• 장시간 자율 작업을 수행하는 코딩 에이전트의 실행 틀을 설계할 때, 도구·프롬프트·코드 변경을 검토 후 반영하는 구조를 참고할 수 있다.
• 다중 채널(챗봇, 이메일, SNS 등)에서 장기간 운영되는 AI 서비스의 피드백 수집과 개선 파이프라인 설계에 참고할 수 있다.
• 자기 수정 가능한 AI 시스템에 강제 정지, 지출 한도, 다중 모델 검토 같은 안전장치를 넣는 설계 사례로 활용할 수 있다.

한계와 남은 검증

• 연구는 독립적으로 진화하는 여러 에이전트 집단이 아니라 하나의 장기 배포 계보만 관찰한 것이라 일반화에 한계가 있다.
• SWE-bench Pro는 공개된 참조 해답 유출과 과제 결함 문제가 있어 해석에 주의가 필요하다.
• AI 모델을 이용한 검토 절차는 에이전트 자신과 같은 사각지대를 공유할 수 있고, 낮은 검토 모드에서는 전체 저장소 범위 검토가 생략된다.
• 벤치마크 평가는 고정된 시스템 스냅샷으로 진행되고 실제 배포(Hope)는 별도 계보에서 계속 진화하므로, 벤치마크 결과가 실시간 배포 상태를 그대로 대표하지 않는다.

왜 중요한가

모델 성능뿐 아니라 에이전트를 둘러싼 실행 틀(하니스) 자체가 굳어 있지 않고 계속 스스로 개선될 수 있음을 실제 배포와 벤치마크로 보여준 사례다. 동시에 자기 코드를 고치는 AI가 안전하게 통제되려면 어떤 장치가 필요한지에 대한 구체적 설계안을 제시한다.

이 논문의 용어

• 하니스(harness) · AI 모델이 도구를 쓰고 작업을 수행하도록 감싸는 실행 틀·프레임워크
• 리뷰된 커밋(reviewed commit) · 코드 변경 사항이 검토 절차를 통과해야만 실제 시스템에 반영되는 방식
• Terminal-Bench 2.1 / OSWorld-Verified / CL-Bench · 각각 터미널 작업, 컴퓨터 화면 조작, 연속 학습 능력을 평가하는 AI 에이전트 벤치마크
• pass@1 / 정규화 보상 · 한 번의 시도로 성공하는 비율, 여러 과제 점수를 비교 가능하게 표준화한 점수
• /panic · 운영자가 에이전트의 모든 프로세스를 즉시 강제 정지시키는 명령

최신 논문

• AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다arXiv:2608.197992026-08-21
• 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기arXiv:2608.197582026-08-21
• 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법arXiv:2608.198612026-08-21
• 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다arXiv:2608.198912026-08-21
• 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법arXiv:2608.198802026-08-21
• AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다arXiv:2608.192162026-08-21
• AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다arXiv:2608.194082026-08-21
• AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다arXiv:2608.197462026-08-21

METAL MEDIA 최신 기사

• TUIDE, 아이슬란드에서 촬영한 K팝 로드무비 'SUN KISS'로 데뷔
• NCT 127, 2년 만의 정규앨범 'BLINGY' 발매