AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다
AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다
연구자들이 화학, 생물학, 물리학 등 20개 과학 분야의 실제 깃허브 저장소 98곳에서 뽑은 119개 수리 과제로 'SWE-bench Science'라는 새 시험지를 만들었다. 가장 성적이 좋았던 AI 코딩 에이전트(Claude Code + Opus-5)조차 정확 성공률(pass@1)이 50%를 넘지 못했다. 연구팀은 왜 실패하는지 네 가지 유형으로 분석하고, 과학적 배경지식을 알려주는 것이 항상 도움이 되는 건 아니라는 점도 확인했다.
METAL MEDIA 해설 도표
AI 코딩 에이전트에게 과학 소프트웨어 수리를 시켜보니, 절반도 제대로 못 고쳤다
- 01기존 코딩 벤치마크는 단순 함수 작성이나 일반 소프트웨어 버그 수정 위주였는데, 이번 연구는 실제 과학 연구용 소프트웨어(시뮬레이션, 실험 데이터 처리 코드 등)를 고치는 능력을 테스트했다
- 02과제를 세 유형으로 나눴다: 알려진 버그를 고치는 '이슈 기반', 원인을 스스로 추리해야 하는 '전문가 탐색형', 여러 모듈을 연결해야 하는 '엔지니어링 통합형'
- 03GPT-5.6-sol, Claude-Opus-5, DeepSeek-V4-Pro 등 8개 AI 에이전트 조합을 테스트한 결과, 눈에 보이는 공개 테스트는 대부분 90%대로 잘 통과했지만 숨겨진 정밀 검증(비공개 테스트)에서는 성공률이 크게 떨어졌다
- 04실패 원인을 지식 부족, 겉핥기식 수리, 통합 누락, 일반화 실패의 네 가지로 분류해 분석했다
- 05과학적 배경 설명을 추가로 주는 실험에서, 어떤 모델(DeepSeek-V4-flash)은 성적이 올랐지만 다른 모델(GPT-5.6-sol)은 오히려 정확 성공률이 떨어졌다. 즉 정보를 더 준다고 무조건 더 잘 고치는 게 아니었다
무엇을 했나
- 기존 코딩 벤치마크는 단순 함수 작성이나 일반 소프트웨어 버그 수정 위주였는데, 이번 연구는 실제 과학 연구용 소프트웨어(시뮬레이션, 실험 데이터 처리 코드 등)를 고치는 능력을 테스트했다
- 과제를 세 유형으로 나눴다: 알려진 버그를 고치는 '이슈 기반', 원인을 스스로 추리해야 하는 '전문가 탐색형', 여러 모듈을 연결해야 하는 '엔지니어링 통합형'
- GPT-5.6-sol, Claude-Opus-5, DeepSeek-V4-Pro 등 8개 AI 에이전트 조합을 테스트한 결과, 눈에 보이는 공개 테스트는 대부분 90%대로 잘 통과했지만 숨겨진 정밀 검증(비공개 테스트)에서는 성공률이 크게 떨어졌다
- 실패 원인을 지식 부족, 겉핥기식 수리, 통합 누락, 일반화 실패의 네 가지로 분류해 분석했다
- 과학적 배경 설명을 추가로 주는 실험에서, 어떤 모델(DeepSeek-V4-flash)은 성적이 올랐지만 다른 모델(GPT-5.6-sol)은 오히려 정확 성공률이 떨어졌다. 즉 정보를 더 준다고 무조건 더 잘 고치는 게 아니었다
| Scientific domain | Tasks |
|---|---|
| Chemistry | 24 |
| Materials Science and Engineering | 16 |
| Biology | 13 |
| Biomedical Engineering | 12 |
| Physics | 11 |
| Mathematics | 7 |
| Astronomy | 7 |
| Atmospheric Science | 5 |
| Civil Engineering | 5 |
| Surveying and Mapping Science and Technology | 3 |
| Geophysics | 3 |
| Mechanics | 3 |
| Electrical Engineering | 2 |
| Marine Science | 2 |
| Geography | 1 |
| Aeronautical and Astronautical Science and Technology | 1 |
| Nuclear Science and Technology | 1 |
| Computer Science and Technology | 1 |
| Statistics | 1 |
| Information and Communication Engineering | 1 |
| Total | 119 |
왜 중요한가
AI가 과학 논문을 뒷받침하는 코드까지 대신 고쳐주는 시대가 다가오는데, 겉보기 테스트만 통과시키고 실제 과학적 타당성은 놓치는 '눈속임 수리'가 흔하다는 걸 이 연구가 구체적으로 보여준다. 연구 소프트웨어를 다루는 개발자나 AI 도구 개발자 모두 이런 실패 유형을 알아야 더 신뢰할 수 있는 도구를 만들 수 있다.
이 논문의 용어
- pass@1 · AI가 한 번 시도해서 숨겨진 모든 정밀 테스트를 완벽히 통과했는지 보는 엄격한 성공률 지표
- 이슈 기반(Issue-driven) 과제 · 실제 보고된 버그를 그대로 고치는 유형의 과제
- 전문가 탐색형(Expert-exploratory) 과제 · 원인이 알려지지 않은 상태에서 AI가 스스로 원인을 찾아내야 하는 유형
- 엔지니어링 통합형(Engineering-integration) 과제 · 여러 파일과 모듈을 연결해 전체 기능을 완성해야 하는 유형
- 공개/비공개 테스트 · AI가 미리 볼 수 있는 검증용 테스트와, 제출 후에야 적용되는 숨겨진 정밀 검증 테스트
본문에 싣지 못한 그림
- Figure 1
최신 논문
- 논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기논문 속 시연이 아니라 실제 서비스에 넣을 수 있는 희소 어텐션 만들기
- 고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법고객상담 AI 상담원이 규정을 '한 번의 행동'이 아니라 '전체 절차'로 지키게 만드는 방법
- 로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다로봇 팔에게 사람의 시연 없이 새 일 시키기, 말 잘하는 AI가 대신 가르친다
- 에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법에이전트 학습용 환경을 새로 만드는 대신, 기존 환경에 '패치 부품'을 씌워 그 에이전트의 약점에 맞게 바꾸는 방법
- AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다AI 모델을 '소유'하지 못한 조직은 안전 통제도 절반밖에 못 한다
- AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다AI가 선생님 모델을 따라 배우다가, 정답에 다가가는 '좋은 생각'까지 억누르는 문제를 잡아낸다
- AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다AI가 특정 사람 말투를 흉내내도록 시켜봤더니, 결국 AI 자신의 말투에서 못 벗어난다
- AI 비서가 뭘 기억할지 결정할 때, '물어봐야 할 순간'에 되레 세상에 확인하고 넘어간다AI 비서가 뭘 기억할지 결정할 때, '물어봐야 할 순간'에 되레 세상에 확인하고 넘어간다
METAL MEDIA 최신 기사
그림 출처: Zhipeng Xu et al., arXiv:2608.19799, CC BY 4.0