컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

올림피아드 기하 문제는 잘 푸는 AI들도 정작 그 문제의 도형은 제대로 못 그린다

arXiv:2608.181112026-08-20

Solving Is Not Drawing: A Benchmark for Diagrammatic Reasoning in Olympiad Geometry

올림피아드 기하 문제는 잘 푸는 AI들도 정작 그 문제의 도형은 제대로 못 그린다

연구진은 954개의 올림피아드 기하 문제 각각에 사람이 직접 만든 Asymptote 코드 기반 정답 도형을 짝지은 벤치마크를 만들어, AI 모델이 정답을 맞히는 것과 별개로 문제에 맞는 도형을 정확히 그릴 수 있는지 검증했다. Claude Sonnet 4.6, Gemini 3.1 Flash-lite, GPT-5.4-mini, Kimi K2.5, GLM 5.1을 테스트한 결과, 이 모델들이 AIME 2025 같은 문제 풀이 벤치마크에서는 거의 만점에 가까운 성적을 내는데도 생성한 도형 코드는 평균 36.14%만 정상적으로 컴파일되었고, 비전-언어 모델 심사위원이 매긴 기하학적 정확도 점수는 100점 만점에 46.58점에 그쳤다. 정답 풀이 전체를 함께 제공해도 코드 텍스트의 유사도만 올라갈 뿐 실제 그려지는 도형의 정확도는 개선되지 않았다.

METAL MEDIA 해설 도표

올림피아드 기하 문제는 잘 푸는 AI들도 정작 그 문제의 도형은 제대로 못 그린다

  1. 01기하 도형을 정밀하게 표현하도록 만들어진 코드 언어인 Asymptote로 작성된 사람 제작 정답 도형과 전체 풀이를 짝지은, 954개 문제(그중 297개는 더 어려운 부분집합)로 구성된 공개 데이터셋을 구축했다.
  2. 02다섯 개 모델을 두 조건에서 테스트했다: 문제만 주는 경우, 문제와 전체 정답 풀이를 함께 주는 경우, 두 경우 모두 모델이 도형을 그리는 Asymptote 코드를 출력하게 했다.
  3. 03텍스트·코드 겹침 점수(BLEU, CodeBLEU, ROUGE-L), 이미지 유사도 지표인 LPIPS, 비전-언어 모델을 심사위원으로 쓰는 방식, 그리고 코드가 실제로 컴파일되는지 확인하는 지표까지 여러 방식으로 평가했다.
  4. 04같은 모델들이 AIME 2025 문제 풀이에서는 87~100%의 성적을 내는데도, 생성한 도형 코드의 평균 컴파일 성공률은 36.14%에 불과했고 비전-언어 모델이 매긴 최고 점수도 100점 만점에 약 53점을 넘지 못했다.
  5. 05컴파일 성공률이 가장 높은 모델이 기하학적으로 가장 정확한 도형을 그리는 모델은 아니었으며, 정답 풀이를 제공하면 코드 텍스트 유사도는 올라가지만 실제 도형 정확도는 개선되지 않았다.
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. 기하 도형을 정밀하게 표현하도록 만들어진 코드 언어인 Asymptote로 작성된 사람 제작 정답 도형과 전체 풀이를 짝지은, 954개 문제(그중 297개는 더 어려운 부분집합)로 구성된 공개 데이터셋을 구축했다.
  2. 다섯 개 모델을 두 조건에서 테스트했다: 문제만 주는 경우, 문제와 전체 정답 풀이를 함께 주는 경우, 두 경우 모두 모델이 도형을 그리는 Asymptote 코드를 출력하게 했다.
  3. 텍스트·코드 겹침 점수(BLEU, CodeBLEU, ROUGE-L), 이미지 유사도 지표인 LPIPS, 비전-언어 모델을 심사위원으로 쓰는 방식, 그리고 코드가 실제로 컴파일되는지 확인하는 지표까지 여러 방식으로 평가했다.
  4. 같은 모델들이 AIME 2025 문제 풀이에서는 87~100%의 성적을 내는데도, 생성한 도형 코드의 평균 컴파일 성공률은 36.14%에 불과했고 비전-언어 모델이 매긴 최고 점수도 100점 만점에 약 53점을 넘지 못했다.
  5. 컴파일 성공률이 가장 높은 모델이 기하학적으로 가장 정확한 도형을 그리는 모델은 아니었으며, 정답 풀이를 제공하면 코드 텍스트 유사도는 올라가지만 실제 도형 정확도는 개선되지 않았다.
Figure 1: Overview of the Data Curation and Evaluation Processes. We web-scrape high-quality mathematical olympiad problems, namely from national and international competitions with well-documented solutions. We then extract human-made Asymptote code to generate the diagrams corresponding to each solution. To create our dataset, we filter our data, eliminating problems that are not self-contained or not geometric. We then prompt GPT-5.4-mini to generate a difficulty score and a summary of each solution’s approach for further analysis. Using a difficulty cutoff, we curate a subset of harder geometry problems. We evaluate foundation models on a range of metrics with two different experimental settings: 1) a baseline with solely the problem statement and 2) including the full reference solution and approach.
Figure 1: Overview of the Data Curation and Evaluation Processes. We web-scrape high-quality mathematical olympiad problems, namely from national and international competitions with well-documented solutions. We then extract human-made Asymptote code to generate the diagrams corresponding to each solution. To create our dataset, we filter our data, eliminating problems that are not self-contained or not geometric. We then prompt GPT-5.4-mini to generate a difficulty score and a summary of each solution’s approach for further analysis. Using a difficulty cutoff, we curate a subset of harder geometry problems. We evaluate foundation models on a range of metrics with two different experimental settings: 1) a baseline with solely the problem statement and 2) including the full reference solution and approach.
Table 1: Experimental Results (Mean Score Scaled to 100). LPIPS is lower-is-better. VLM Critic raw scores were on a 0–10 scale and have been linearly rescaled to 0–100 for consistency. “With” denotes that the model was given the full reference solution and approach as context; “Without” denotes that the model was given only the problem statement.
MethodGPT5.4-miniClaude Sonnet 4.6Gemini 3.1 Flash-liteKimi K 2.5Glm 5.1
WithWithoutWithWithoutWithWithoutWithWithoutWithWithout
Text/Code-Based Metrics
↑ Keyword Match F155.451.455.952.847.442.149.447.954.651.5
↑ BLEU18.516.815.715.316.613.919.116.417.816.3
↑ chrF++35.732.934.732.430.527.233.830.135.131.9
↑ CodeBLEU17.115.115.114.314.812.417.715.416.415.0
↑ ROUGE-L22.421.620.220.224.823.424.924.022.621.9
Image-Based Metrics
↓ LPIPS54.053.750.651.352.652.747.949.550.853.3
VLM-as-a-Judge
↑ VLM Critic37.946.449.551.042.645.250.853.244.245.0
Compilation Metrics
↑ Compile Success Rate21.720.827.641.359.259.330.922.040.038.6
Figure 2: Mean VLM judge score against VLM-evaluable rate for each model and prompt setting (circle: with solution; diamond: no solution). Dashed lines mark the across-run means. Higher evaluable rates do not correspond to higher judge scores: the most reliably renderable models score below the mean on geometric fidelity, while the best-judged runs render less often.
Figure 2: Mean VLM judge score against VLM-evaluable rate for each model and prompt setting (circle: with solution; diamond: no solution). Dashed lines mark the across-run means. Higher evaluable rates do not correspond to higher judge scores: the most reliably renderable models score below the mean on geometric fidelity, while the best-judged runs render less often.
Table 2: Final Dataset Breakdown based on Difficulty
Dataset12345678910Total
AMC01429919584511500379
AIME001363831161055280440
USAJMO000256350021
USAMO00133514156148
IMO00001131208
Others005121216940058
Total0144817119922518892161954
Figure 3: Change in each metric when the full reference solution is provided, relative to the no-solution setting (with minus without), per model. Left: text- and code-similarity metrics improve uniformly. Right: rendered-image metrics change little and often negatively, indicating that solution context raises code overlap without improving diagram fidelity.
Figure 3: Change in each metric when the full reference solution is provided, relative to the no-solution setting (with minus without), per model. Left: text- and code-similarity metrics improve uniformly. Right: rendered-image metrics change little and often negatively, indicating that solution context raises code overlap without improving diagram fidelity.

왜 중요한가

많은 기하 문제는 도형을 제대로 그려야 풀이가 성립하기 때문에, 논리적으로는 맞게 추론하면서도 도형이 어긋나는 모델은 작도 검증이나 다른 도구에 도형을 넘기는 작업에서 신뢰하기 어렵다. 이는 수학 문제 풀이 점수가 높다고 해서 모델이 문제 뒤에 있는 기하학적 관계를 실제로 이해하거나 구성할 수 있는 것은 아니라는 점을 보여준다.

Figure 5: Breakdown of Problems by Difficulty Score
Figure 5: Breakdown of Problems by Difficulty Score

이 논문의 용어

  • Asymptote · 기하학적 도형을 정밀하게 그리기 위해 설계된 프로그래밍 언어이자 벡터 그래픽 도구
  • 비전-언어 모델(VLM) 심사위원 · 이미지와 텍스트를 함께 이해하는 모델을 심사위원처럼 사용해 결과물 품질을 점수로 매기는 평가 방식
  • LPIPS · 두 이미지가 사람 눈에 얼마나 비슷하게 보이는지를 딥러닝 특징으로 측정하는 지표, 값이 낮을수록 유사함
  • BLEU/CodeBLEU/ROUGE-L · 생성된 텍스트나 코드가 정답과 얼마나 겹치는지 단어·문자 단위로 비교하는 점수들
  • 컴파일 성공률 · 생성된 코드가 오류 없이 실제 이미지로 렌더링되는 비율
Figure 6: Breakdown of All Problems by Difficulty Score
Figure 6: Breakdown of All Problems by Difficulty Score

본문에 싣지 못한 그림

  • Figure 4: Overview of the Problems Filtered during the Dataset Curation Process. We web-scraped a total of 1441 raw datapoints, before filtering out the problems that were not geometric and not self-contained.
원문에서 그림 보기 →

저자 · Hsien Xin Peng, Anthony Kim, Alvin Li, Calvin Supasanya, Shivank Garg, Kevin Zhu

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL MEDIA 최신 기사

그림 출처: Hsien Xin Peng et al., arXiv:2608.18111, CC BY-SA 4.0