컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

과학 연구를 위한 397B급 멀티모달 AI가 이미지·시계열·긴 작업을 하나의 모델로 처리한다

arXiv:2608.135052026-08-12

Intern-S2-Preview: Scientific Agentic Foundation Model

과학 연구를 위한 397B급 멀티모달 AI가 이미지·시계열·긴 작업을 하나의 모델로 처리한다

Intern-S2-Preview는 과학 문헌의 텍스트·이미지·시계열을 함께 이해하고, 도구를 써서 여러 단계에 걸친 작업을 수행하도록 설계된 397B 파라미터 규모의 과학 에이전트 기반 모델이다. 사전학습부터 지도학습, 강화학습, 에이전트 강화학습, 정책 증류까지 이어지는 통합 후처리 파이프라인을 거쳤다. 생물학, 화학, 시계열 예측 등 여러 과학 벤치마크에서 경쟁력 있거나 앞서는 결과를 보였고, 별도의 메모리 확장 모듈로 397B 백본을 건드리지 않고도 특정 분야 성능을 끌어올렸다.

METAL MEDIA 해설 도표

Intern-S2-Preview 397B의 구조와 학습 흐름

증거 상태측정 결과가 보고됨

  1. 멀티모달 사전학습렌더링된 과학 문서, 이미지-텍스트 교차 데이터, 다양한 과학 말뭉치로 텍스트와 시각 정보를 함께 학습
  2. 통합 후처리 파이프라인지도미세조정 → 다중과제 강화학습 → 화이트박스·블랙박스 에이전트 강화학습 → 온폴리시 증류로 이어지는 단계
  3. 시계열 이해·예측 모듈긴 시계열을 효율적으로 이해하는 인코더에 숫자값을 직접 예측하는 전용 예측 브랜치를 추가
  4. 메모리 디코더(별도 확장)397B 백본은 고정하고, 도메인별로 학습된 메모리를 라우터가 동적으로 섞어 특정 분야 지식을 보완
  5. 다중 벤치마크 평가과학, 멀티모달, 에이전트, 범용, 시계열 벤치마크에서 경쟁력 있거나 선두권 결과를 확인
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. 과학 문헌은 텍스트뿐 아니라 그림, 표, 수식, 페이지 레이아웃, 시계열 신호 등 여러 형태로 정보가 흩어져 있는데, 이 모델은 이런 이형 데이터를 함께 학습하고 도구를 반복적으로 사용하는 긴 작업까지 수행하도록 만들어졌다.
  2. 학습은 렌더링된 과학 문서, 이미지-텍스트가 뒤섞인 데이터, 다양한 과학 말뭉치로 사전학습한 뒤, 지도미세조정, 다중과제 강화학습, 화이트박스·블랙박스 에이전트 강화학습, 온폴리시 증류로 이어지는 통일된 후처리 파이프라인을 적용했다.
  3. 아키텍처 측면에서 397B 모델은 시계열을 이해만 하던 것에서 나아가 숫자로 미래 값을 예측하는 전용 브랜치를 추가했고, 별도로 '메모리 디코더'라는 모듈을 붙여 397B 백본을 고정한 채로 특정 과학 분야에 빠르게 특화시키는 방법도 함께 연구했다.
  4. 과학, 멀티모달, 에이전트, 범용 벤치마크 전반에서 평가한 결과 397B 모델은 여러 설정에서 경쟁력 있거나 선두권 성능을 보였고, SciTS 벤치마크에서 시계열 이해와 예측 성능이 개선됐으며, 생물학 전용 메모리 확장(Intern-MemDec-4B)은 백본을 바꾸지 않고도 Biology-Instructions 평균 점수를 56.92에서 60.32로 끌어올렸다.
Figure 1: Architecture of the separate Memory Decoder extension for Intern-S2-Preview-397B. The frozen Intern-S2-Preview-397B backbone and a domain memory process the same input in parallel and produce separate next-token distributions. A lightweight token-level router uses their hidden states and output-distribution uncertainty features to predict a dynamic fusion weight λ, which controls the contribution of the two distributions to the final prediction.
Figure 1: Architecture of the separate Memory Decoder extension for Intern-S2-Preview-397B. The frozen Intern-S2-Preview-397B backbone and a domain memory process the same input in parallel and produce separate next-token distributions. A lightweight token-level router uses their hidden states and output-distribution uncertainty features to predict a dynamic fusion weight λ, which controls the contribution of the two distributions to the final prediction.
Figure 2: Architecture of the time series modules for long-sequence understanding and numerical forecasting.
Figure 2: Architecture of the time series modules for long-sequence understanding and numerical forecasting.
Table 1: Public sources used to construct executable coding and terminal tasks.
ProviderCollection#Tasks#Environments
SWE-benchSWE-smith [93]59,136222
SWE-GymSWE-Gym [59]2,4382401
R2E-GymR2E-Gym-V1 [38]7,4808101
NebiusSWE-rebench-V2 [6]32,10032075
AweAI-TeamScale-SWE [104]20,20019472
NVIDIANemotron-Terminal-Synthetic-Tasks [60]80,0008
RUC-AIBOXClawGym-Task [7]13,5001
(b) Structure of the time series forecaster.
(b) Structure of the time series forecaster.
Figure 3: Overview of matched text and visual pre-training. The text pathway predicts tokens from parsed PDF content, whereas the visual pathway predicts foreground visual latents from rendered pages, improving alignment between textual and visual document representations.
Figure 3: Overview of matched text and visual pre-training. The text pathway predicts tokens from parsed PDF content, whereas the visual pathway predicts foreground visual latents from rendered pages, improving alignment between textual and visual document representations.
Table 4: Results of time series understanding on SciTS benchmark. F1 scores are reported. Higher F1 indicates better performance.
SciTS Task IDASU01ASU03BIU01BIU03EAU01MEU01NEU06PHU01PHU04RAU01RAU02
Text LLMGPT-4.1-mini67.215.60.212.767.044.016.124.052.724.610.6
Gemini2.5-Flash64.116.31.512.467.660.95.820.764.820.913.5
DeepSeek-V31.112.30.05.840.259.313.628.950.719.44.2
VL LLMGPT-5-mini65.718.90.817.967.630.413.321.447.824.39.1
Gemini2.5-Flash61.615.20.98.372.564.111.622.759.031.611.3
Intern-S1-Pro98.075.920.888.399.565.671.336.893.2--
Intern-S2-Preview-397B97.191.036.598.3100.081.870.266.999.988.460.2
Figure 4: Pipeline for producing the interleaved image-text pair data from PDF documents, including OCR and layout parsing, visual-unit cropping, visual-gain filtering, and document-level sequence assembly.
Figure 4: Pipeline for producing the interleaved image-text pair data from PDF documents, including OCR and layout parsing, visual-unit cropping, visual-gain filtering, and document-level sequence assembly.
Figure 6: Overview of the post-training pipeline for Intern-S2-Preview. The pretrained base model is first enhanced through supervised fine-tuning, followed by multi-task RLVR and black-box agentic RL for general and specialized capability improvement. On-policy distillation then consolidates the resulting scientific reasoning and agentic capabilities into a single unified model.
Figure 6: Overview of the post-training pipeline for Intern-S2-Preview. The pretrained base model is first enhanced through supervised fine-tuning, followed by multi-task RLVR and black-box agentic RL for general and specialized capability improvement. On-policy distillation then consolidates the resulting scientific reasoning and agentic capabilities into a single unified model.
Table 5: Results of time series forecasting on the SciTS benchmark, reported in the format MAPE (success rate %). Lower MAPE indicates better performance, while higher success rate is better.
SciTS Task IDENG02ENG03MEG03NEG03PHG02URG01URG05
Text LLMGPT-4.1-mini125.0 (1.4)8.3 (96.0)42.1 (49.6)95.2 (96.4)1.1e3 (94.2)320.6 (18.6)126.6 (100)
Gemini2.5-Flash72.5 (5.9)9.6 (99.0)62.2 (57.9)63.5 (99.2)110.8 (99.0)246.0 (23.3)98.6 (100)
DeepSeek-V3117.2 (46.1)7.7 (98.0)46.4 (30.9)4.3 (3.1)200.1 (92.2)350.0 (18.6)296.7 (93.0)
VL LLMGPT-5-mini56.1 (4.5)11.2 (76.0)37.6 (51.8)74.3 (97.2)155.3 (97.4)182.1 (58.1)71.1 (72.9)
Gemini2.5-Flash103.9 (7.4)15.6 (53.0)53.1 (37.2)–185.2 (36.9)351.9 (16.3)114.6 (91.2)
Time Series ModelsMoirai-Large [85]121.2 (100)12.8 (100)51.7 (100)59.1 (100)116.9 (100)294.7 (100)74.6 (100)
TimeMoE-Large [68]70.4 (100)11.6 (100)39.0 (100)70.1 (100)80.2 (100)218.4 (100)84.4 (100)
Chronos-bolt-Base [5]73.7 (100)12.0 (100)41.5 (100)78.5 (100)109.3 (100)139.3 (100)70.6 (100)
UniTS [31]70.1 (100)12.8 (100)42.0 (100)95.2 (46.4)135.9 (44.1)389.7 (100)–
TimeOmni [86]68.6 (100)7.4 (100)37.5 (100)78.7 (100)163.0 (100)247.0 (100)174.0 (100)
Intern-S2-Preview-397B60.2 (100)7.1 (100)32.8 (100)59.2 (100)72.2 (100)138.9 (100)60.6 (100)
Figure 7: Overview of our co-located partial-rollout system based on XTuner and LMDeploy. During rollout, completed requests are continuously replaced to keep the inference engine fully utilized. Once sufficient completed trajectories have been collected for one training batch, the remaining in-flight rollouts are paused and their generated prefixes are retained. The same GPUs then switch to policy training. After the training states are offloaded and the updated model weights are synchronized to the inference engine, the paused requests resume generation from their retained prefixes.
Figure 7: Overview of our co-located partial-rollout system based on XTuner and LMDeploy. During rollout, completed requests are continuously replaced to keep the inference engine fully utilized. Once sufficient completed trajectories have been collected for one training batch, the remaining in-flight rollouts are paused and their generated prefixes are retained. The same GPUs then switch to policy training. After the training states are offloaded and the updated model weights are synchronized to the inference engine, the paused requests resume generation from their retained prefixes.
Figure 8: Comparison of training with and without adaptive length penalty, showing similar reward curves and shorter outputs with regularization.
Figure 8: Comparison of training with and without adaptive length penalty, showing similar reward curves and shorter outputs with regularization.

실제로 확인된 결과

  • 397B 모델은 Biology-Instructions(56.92), Mol-Instructions(52.37), SciReasoner(63.97)에서 강력한 오픈·클로즈드 소스 모델들을 능가했고, 내부 MP20·ProteinBinder-9 평가셋에서 최고 성능을 냈다.
  • MolecularIQ(61.49), TOMG-Bench(65.66), XLRS-Bench(51.97), MicroVQA(68.81)에서 오픈소스 모델 중 최고 성능을 기록했고, MMLU-Pro(89.75), SimpleQA-Verified(69.90), MMMU-Pro(80.46), ChartQAPro(69.65)에서도 오픈소스 최고 성능을 보였다.
  • 과학 지향 에이전트 과제에서 DeepSeek-V4-Pro와 Qwen3.5-397B를 대체로 앞섰고 GLM-5.2에만 뒤졌으며, 일반 에이전트 과제에서는 Qwen3.5-397B를 꾸준히 앞서고 Kimi-K2.7-Code와 비슷한 수준이었다.
  • SciTS 시계열 이해 과제에서 텍스트·비전언어 LLM들을 일관되게 앞섰고, 파라미터 수가 절반도 안 되면서 1조 파라미터급 Intern-S1-Pro보다 9개 중 7개 과제에서 더 나은 성능을 보였다(PHU01의 F1 점수는 36.8에서 66.9로 상승).
  • 생물학 도메인에 특화된 Intern-MemDec-4B는 397B 백본을 그대로 둔 채 Biology-Instructions 평균 점수를 56.92에서 60.32로 올렸고, 일반 지식·추론·멀티모달 벤치마크에서는 백본과 비슷한 수준을 유지해 목표 분야만 선택적으로 강화됨을 보였다.
Figure 9: Overview of our agentic RL infrastructure. Heterogeneous white-box and black-box agents are unified by the Agent Gateway and execute against a shared sandbox and model-serving substrate. Semantic trajectories and verifier feedback are retained in the Replay Buffer, while the Rollout Trace Store preserves exact token-level evidence through a per-session incremental PrefixTree. Experience assembly aligns the two views for advantage estimation and policy optimization.
Figure 9: Overview of our agentic RL infrastructure. Heterogeneous white-box and black-box agents are unified by the Agent Gateway and execute against a shared sandbox and model-serving substrate. Semantic trajectories and verifier feedback are retained in the Replay Buffer, while the Rollout Trace Store preserves exact token-level evidence through a per-session incremental PrefixTree. Experience assembly aligns the two views for advantage estimation and policy optimization.
Figure 10: Self-evolving construction of general agentic tasks. Community skills are filtered and composed through compatible skill-state paths before stage-wise synthesis produces validated task bundles. Online and offline rollouts yield curated reusable trajectories, while execution failures update sampling and synthesis components to generate the next task distribution.
Figure 10: Self-evolving construction of general agentic tasks. Community skills are filtered and composed through compatible skill-state paths before stage-wise synthesis produces validated task bundles. Online and offline rollouts yield curated reusable trajectories, while execution failures update sampling and synthesis components to generate the next task distribution.

어디에 쓸 수 있나

  • 과학 문헌의 그림·표·수식과 텍스트를 함께 이해해야 하는 문헌 분석 및 질의응답 시스템
  • 생물학, 화학, 재료과학 등 특정 분야 지식을 백본 재학습 없이 모듈 형태로 빠르게 추가하려는 상황
  • 긴 수치 시계열 데이터를 이해하고 미래 값을 예측해야 하는 천문학, 지구과학, 신경과학, 생리신호, 레이더 신호 분석 등의 과제
  • 코딩, 터미널 작업, 소프트웨어 엔지니어링처럼 도구를 반복 사용하며 여러 단계를 거쳐야 하는 에이전트형 작업
Figure 11: Reward trajectories across SWE, general-purpose, and terminal tasks under multiple agent harnesses. Each panel presents a representative example over 160 optimization steps. Curves are locally smoothed to highlight the overall optimization trends.
Figure 11: Reward trajectories across SWE, general-purpose, and terminal tasks under multiple agent harnesses. Each panel presents a representative example over 160 optimization steps. Curves are locally smoothed to highlight the overall optimization trends.

한계와 남은 검증

  • 이 논문은 '프리뷰' 시스템이라고 스스로 밝히며, 더 긴 과학 워크플로우에서의 신뢰성 개선, 도메인별 메모리 및 작업 환경 확장, 검증기 강화, 전문 과학 도구와의 통합 심화가 향후 과제로 남아 있다.
  • 메모리 디코더는 생물학 한 분야만을 대표 사례로 평가했으며, 다른 과학 분야에 대한 메모리 확장 효과는 별도로 검증되지 않았다.
  • 메모리 디코더의 교차 도메인 평가는 일반 지식·추론·멀티모달 벤치마크에서 백본과 '비슷한 수준을 유지'하는지를 확인한 것으로, 모든 분야에서 부작용이 전혀 없다는 것을 증명한 것은 아니다.
  • 일반 시계열 예측 벤치마크인 GIFT-Eval에서는 제로샷 MASE 0.785로 '경쟁력 있는' 수준으로만 보고되어, 특화 모델을 능가했는지는 별도로 명시되지 않았다.

왜 중요한가

과학 연구는 텍스트 질의응답을 넘어 그림·수치·도구를 넘나들며 여러 단계를 거쳐야 하는데, 이 모델은 그런 워크플로우 전체를 하나의 시스템으로 다루려는 시도를 보여준다. 또한 새 분야 지식을 백본을 다시 학습시키지 않고 모듈만 붙여 확장하는 방식은 연구자가 특정 도메인에 빠르게 모델을 맞추면서도 기존 범용 능력을 잃지 않을 수 있는 실용적 방향을 제시한다.

이 논문의 용어

  • 에이전트 강화학습(agentic RL) · 모델이 도구나 환경과 상호작용하며 여러 단계를 거쳐 문제를 푸는 과정을 보상 신호로 학습시키는 방법
  • 메모리 디코더 · 기본 모델(백본)을 고정한 채 별도로 학습시켜 붙이는 지식 저장 모듈로, 도메인별 지식을 추가해준다
  • 온폴리시 증류 · 여러 전문화된 정책이 학습한 능력을 하나의 통합 모델로 옮겨 담는 학습 기법
  • 시계열 예측 브랜치 · 숫자를 텍스트 토큰으로 쓰지 않고 별도의 신경망 경로로 직접 예측해 정밀도를 지키는 구조
  • SciTS 벤치마크 · 과학 시계열 신호의 이해와 예측 능력을 평가하는 벤치마크

본문에 싣지 못한 그림

  • Figure 5: The pipeline of the image retrieval process, including image encoding, vector database construction, and online text-to-image and image-to-image retrieval with post-processing.
원문에서 그림 보기 →

저자 · Lei Bai

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL MEDIA 최신 기사

그림 출처: Lei Bai et al., arXiv:2608.13505, CC BY 4.0