컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

수학 연구에서 사람이 문제를 고르고 검토하는 병목을, AI가 논문 더미에서 미해결 문제를 찾아 시도해보고 걸러주는 파이프라인으로 줄여본다

arXiv:2608.169772026-08-16

The Problem Is the Problem: Towards Scalable Mathematical Discovery

수학 연구에서 사람이 문제를 고르고 검토하는 병목을, AI가 논문 더미에서 미해결 문제를 찾아 시도해보고 걸러주는 파이프라인으로 줄여본다

이 논문은 AI가 수학 연구에 기여할 때 사람이 할 일이 '풀 문제 고르기'와 '결과 검토하기'에 몰려 병목이 된다고 지적한다. 저자는 전문가가 단일 문제 대신 관심 있는 연구 방향만 지정하면, 시스템이 방대한 논문에서 후보 미해결 문제를 찾아 시도하고 검토할 만한 결과만 추려주는 FAR(Find, Attempt, and Recommend) 파이프라인을 제안한다. 조합론 분야 시범 운영에서 5,245편의 논문에서 시작해 최종 77개 항목을 전문가 검토용으로 골라냈고, 그중 저자들이 직접 확인한 15개가 모두 수학적으로 맞는 것으로 나타났다.

METAL MEDIA 해설 도표

FAR 파이프라인: 논문 더미에서 전문가 검토용 결과까지

증거 상태측정 결과가 보고됨

  1. Find: 찾기연구 방향에 맞는 논문을 라벨링하고, 미해결 진술을 추출하고, 여전히 열려 있는지 확인해 시도 가능한 문제 풀 𝒫(4,717개)을 구성
  2. Attempt: 시도가장 성능 좋은 모델이 𝒫의 각 문제에 한 번씩 풀이를 시도해 KNOWN/NEW/FIX/NONE 중 하나로 결과를 분류(NEW 1,050개)
  3. Recommend: 추천여러 심사관이 NEW 결과의 정확성을 검증(598개 통과)하고, 두 번째 에이전트가 이미 알려진 것/사소한 것/발표할 만한 것으로 등급을 매겨 최종 77개를 선별
  4. 전문가 검토저자팀이 관심 있는 15개를 직접 검토, 전부 옳음을 확인하고 유명 추측·질문 관련 결과 다수 포함
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. 기존 AI-수학 연구 방식은 사람이 미리 문제를 하나 골라 시스템에 주고, 결과가 나오면 사람이 다시 검토하는 구조여서 문제 선정과 결과 검토라는 두 지점에 사람 노력이 집중돼 병목이 된다.
  2. 저자는 전문가가 '연구 방향'만 지정하면 시스템이 문헌 코퍼스에서 후보 문제를 찾는 새로운 협업 방식을 제안하고, 이를 검색·추천 시스템에서 아이디어를 빌려 FAR(찾기-시도-추천)라는 단계적 필터링 파이프라인으로 구현했다.
  3. FAR은 논문을 방향에 맞게 분류(Label)하고, 미해결 진술을 추출(Extract)하고, 여전히 열려 있는지 확인(Check)해 시도 가능한 문제 풀을 만든 뒤, 각 문제에 한 번씩 풀이를 시도(Solve)하고, 통과한 결과를 전문가 검토용으로 추천(Judge)하는 단계로 구성된다.
  4. 조합론 분야에 적용한 결과 51,110편 중 5,245편의 조합론 논문에서 6,453개의 후보 추측·미해결 문제를 뽑았고, 이 중 4,717개가 여전히 열려 있는 것으로 확인돼 시도 가능한 문제 풀이 되었으며, 이후 자동 심사 단계를 거쳐 598개의 잠재적 해결안, 최종 77개가 저자팀 검토 대상으로 선정됐다.
  5. 저자들은 이 중 관심이 가는 15개를 직접 검토했고 모두 수학적으로 옳았으며, Davies-Jenssen-Perkins-Roberts, Erdős-Straus, Ikenmeyer-Pak-Panova, Lund-Saraf-Wolf의 추측·질문과 관련된 결과가 포함됐다.
Figure 1: From choosing a problem to choosing a direction. The upper part shows the problem-level interface; the lower part shows our approach. Figure 3 gives the details of FAR.
Figure 1: From choosing a problem to choosing a direction. The upper part shows the problem-level interface; the lower part shows our approach. Figure 3 gives the details of FAR.
Table 1: A recovered candidate, from source text to the pool.
FieldValue
Source paperIkenmeyer, Pak, and Panova, Positivity of the Symmetric Group Characters is as Hard as the Polynomial Time Hierarchy
Extracted labelConjecture 5.3.2
Extracted statementThe problem ComputeCharBinary is 𝖦𝖺𝗉𝖯-complete under many-one reductions.
StatusOpen. The check found no credible resolution, and records that the completeness question is still unsettled.
Figure 2: Schematic view of the current reachable region. The figure is illustrative, and both axes should be read qualitatively. A single pass over the pool probes which conjectures can produce artifacts worth review under the current model. As model capability improves, more conjectures may become reachable.
Figure 2: Schematic view of the current reachable region. The figure is illustrative, and both axes should be read qualitatively. A single pass over the pool probes which conjectures can produce artifacts worth review under the current model. As model capability improves, more conjectures may become reachable.
Table 2: Expected number of artifacts, the objective f1.
strategyB=10B=25B=50B=75B=100B=200B=300
uniform random0.170.430.861.291.723.445.17
rank on p^0.400.971.642.292.955.427.92
rank on i​p^0.150.471.021.592.244.787.25
rank on p^ inside the top 1/100.300.700.991.011.061.992.00
rank on p^ inside the top 1/50.170.420.861.251.682.993.72
Figure 3: From papers to recommendations for expert review. The upper row shows a search or recommender pipeline that recalls and filters candidates from a large corpus. Its numbers indicate typical orders of magnitude. The lower row shows the analogous FAR pipeline. Numbers in the lower row are counts from our pilot run detailed in Section 4.
Figure 3: From papers to recommendations for expert review. The upper row shows a search or recommender pipeline that recalls and filters candidates from a large corpus. Its numbers indicate typical orders of magnitude. The lower row shows the analogous FAR pipeline. Numbers in the lower row are counts from our pilot run detailed in Section 4.
Table 3: Expected total importance of the artifacts returned, the objective f2.
strategyB=10B=25B=50B=75B=100B=200B=300
uniform random0.080.210.420.630.841.682.51
rank on p^0.160.400.731.051.382.623.87
rank on i​p^0.090.280.600.891.222.493.72
rank on p^ inside the top 1/100.260.600.840.860.901.691.70
rank on p^ inside the top 1/50.130.340.691.001.342.443.06
Figure 4: Each score against the quantity it judges. Panel (a) plots δ(d−1[a,b)) on an axis starting at 50%, panel (b) plots ι(i−1[a,b)). n counts attempts in (a) and accepted resolutions in (b). Candidates that a later status recheck reclassified as solved or invalid are excluded.
Figure 4: Each score against the quantity it judges. Panel (a) plots δ(d−1[a,b)) on an axis starting at 50%, panel (b) plots ι(i−1[a,b)). n counts attempts in (a) and accepted resolutions in (b). Candidates that a later status recheck reclassified as solved or invalid are excluded.
Table 4: Expected maximum importance among the artifacts returned, the objective f3.
strategyB=10B=25B=50B=75B=100B=200B=300
uniform random0.0780.1760.2990.3860.4480.5740.629
rank on p^0.1570.3540.4370.4670.4850.4990.500
rank on i​p^0.0900.2800.5460.5970.6000.6000.600
rank on p^ inside the top 1/100.2590.5960.8410.8500.8500.8500.850
rank on p^ inside the top 1/50.1260.2940.5400.6900.7790.8500.850
수학 연구에서 사람이 문제를 고르고 검토하는 병목을, AI가 논문 더미에서 미해결 문제를 찾아 시도해보고 걸러주는 파이프라인으로 줄여본다 figure 4
Table 5: The base-Q digits of the parts of μ and of the two targets s and s−1. Here 𝟏 and 𝟎 denote the all-ones and all-zeros patterns on the block indicated, and 𝟏S denotes the indicator pattern of S on the X-block, with 𝟏S′ defined analogously on the X′-block. No column can reach Q, so subset sums may be compared digit by digit: a subset of parts summing to s must take cA, hence miss the X′-block entirely and pick out an exact cover of (X,C), while a subset summing to s−1 must take cB and pick out an exact cover of (X′,C′).
units digitX-blockX′-blockselector digit
Q0Q1,…,QkQk+1,…,Qk+k′Qk+k′+1
aS (S∈C)0𝟏S𝟎0
bS′ (S′∈C′)0𝟎𝟏S′0
cA1𝟎𝟏1
cB0𝟏𝟎1
H2𝟏𝟏1
s1𝟏𝟏1
s−10𝟏𝟏1
Figure 5: Allocation strategies against the budget. Each fit is made on four fifths of 𝒫 and applied to the remaining fifth, from which B/5 conjectures are drawn. The five selections together make one set of B conjectures, and each point averages what that set returns over 1000 random partitions. Ties are broken at random, and the uniform baseline is computed exactly from its closed form. Here, B only counts the allocated attempts.
Figure 5: Allocation strategies against the budget. Each fit is made on four fifths of 𝒫 and applied to the remaining fifth, from which B/5 conjectures are drawn. The five selections together make one set of B conjectures, and each point averages what that set returns over 1000 random partitions. Ties are broken at random, and the uniform baseline is computed exactly from its closed form. Here, B only counts the allocated attempts.

실제로 확인된 결과

  • 조합론 시범 운영에서 51,110편의 수학 논문 중 5,245편이 방향 분류를 통과했고, 6,453개의 후보 추측·미해결 문제가 추출됐으며, 검증 후 4,717개가 여전히 열려 있는 것으로 확인돼 시도 가능한 풀을 이뤘다.
  • 각 문제에 한 번씩 시도한 결과 1,050개에서 해결 주장이 나왔고, 심사(judging)를 통과한 것은 598개, 최종적으로 발표할 만하다고 등급이 매겨진 것은 77개였다.
  • 저자들이 흥미롭다고 판단한 15개를 직접 검토한 결과 전부 수학적으로 옳았으며, Davies-Jenssen-Perkins-Roberts와 Lund-Saraf-Wolf 추측의 반례, Ikenmeyer-Pak-Panova 추측의 증명, Erdős-Straus 질문에 대한 답이 포함됐다.
  • 모델이 매긴 난이도 점수는 해결안이 나오지 않을 확률과 AUC 0.69로, 중요도 점수는 심사 통과 결과 중 발표 등급을 받을 확률과 AUC 0.60으로 유의미한 상관관계를 보였다(각각 p<10^-40, p=0.008).
  • 예산 배분 전략 비교에서, 확률 추정치를 알고 있을 때 정렬 기반 전략이 균등 배분 기준선보다 더 많은 발표 가능한 결과물을 만들어낼 수 있음을 보였고, 목표(개수/총중요도/최대중요도)에 따라 최적 전략이 달라졌다.
Figure 6: Each score against the quantity it judges, with Wilson intervals. Panel (a) gives δ against the difficulty score, panel (b) gives ι against the importance score.
Figure 6: Each score against the quantity it judges, with Wilson intervals. Panel (a) gives δ against the difficulty score, panel (b) gives ι against the importance score.

어디에 쓸 수 있나

  • 특정 수학 분야(예: 조합론)에서 방대한 논문 더미로부터 아직 풀리지 않은 추측이나 질문을 자동으로 찾아내는 문헌 스크리닝 도구로 활용
  • 전문가 검토 자원이 한정된 상황에서, AI가 생성한 다수의 결과 후보를 자동으로 1차 심사해 검토 우선순위를 매기는 용도
  • 제한된 모델 추론 예산을 여러 후보 문제에 어떻게 나눌지 결정하는 배분 전략(개수 최대화 vs 중요도 최대화 등) 설계에 참고

한계와 남은 검증

  • 시범 운영은 조합론이라는, 저자들이 직접 검증할 전문성을 가진 한 분야에 한정돼 있어 다른 수학 분야로의 일반화는 검증되지 않았다.
  • 각 문제에 시도를 단 한 번만 배정하는 방식(밴딧 알고리즘의 초기화 단계에 해당)만 실제로 실행했고, 반복 시도나 더 정교한 밴딧 알고리즘은 향후 연구로 남겨두었다.
  • 난이도·중요도 점수는 같은 모델이 매긴 것이라 두 점수 사이에 스피어만 상관 0.83의 강한 상관관계가 있으며, 독립적인 신호로 보기에는 한계가 있다.
  • 심사·추천 단계에서 이미 알려진 결과인지 확인하는 과정 자체가 완벽하지 않아, 실제로 시범 운영 중 발견된 한 결과는 몇 달 전에 이미 다른 경로로 해결된 것으로 뒤늦게 확인됐다.
  • 예산 배분 전략은 각 문제의 성공 확률과 중요도를 미리 안다는 가정하에 이론적으로 도출된 것으로, 실제 미지의 확률값 추정 오차가 성능에 미치는 영향은 별도로 검증되지 않았다.

왜 중요한가

프론티어 모델의 추론 능력과 전문가의 검토 시간은 둘 다 한정된 자원인데, 이를 어디에 쓸지 잘 배분하는 문제는 AI가 실제 연구 성과를 내는 데 핵심적이다. 이 파이프라인은 사람이 일일이 문제를 고르지 않아도 대규모 문헌에서 스스로 유의미한 미해결 문제를 찾아 시도하고, 전문가는 이미 여러 단계로 걸러진 소수의 결과만 검토하면 되는 구조를 실제로 시연해 보였다.

이 논문의 용어

  • FAR (Find, Attempt, and Recommend) · 문헌에서 문제를 찾고, 시도해보고, 검토할 만한 결과를 추천하는 3단계 파이프라인
  • 시도 가능한 문제 풀(pool 𝒫) · 문헌에서 추출해 여전히 미해결 상태임이 확인된, 실제로 풀이를 시도할 수 있는 문제들의 집합
  • 추천 캐스케이드(recommendation cascade) · 많은 후보를 단계마다 점점 더 정교한 필터로 걸러 소수만 남기는 검색·추천 시스템의 방식
  • 밴딧(bandit) 관점 · 제한된 시도 횟수를 여러 선택지(문제) 중 어디에 배분할지 결정하는 문제로 보는 틀
  • AUC (ROC 곡선 아래 면적) · 무작위로 고른 두 항목 중 실제로 결과가 좋은 쪽을 점수가 더 높게 매길 확률로, 점수의 변별력을 재는 지표

저자 · Zeyu Zheng

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL MEDIA 최신 기사

그림 출처: Zeyu Zheng et al., arXiv:2608.16977, cc-by-nc-sa-4.0