AI 에이전트에게 진짜 컴퓨터로 데이터 분석을 처음부터 끝까지 시켜보니, 최고 성능도 정답률 57%에 그쳤다
arXiv:2608.103662026-08-10
DSAgentBench: Can Agents Automate End-to-End Data-Science Workflows in Real Computer Environments?
AI 에이전트에게 진짜 컴퓨터로 데이터 분석을 처음부터 끝까지 시켜보니, 최고 성능도 정답률 57%에 그쳤다
DSAgentBench는 실제 운영체제 환경에서 노트북, IDE, 터미널, 브라우저, 데이터베이스를 넘나들며 데이터 수집부터 시각화, 모델 평가까지 전체 데이터과학 워크플로를 완수할 수 있는지 평가하는 275개 과업 벤치마크다. 15개 폐쇄형·오픈소스 AI 모델을 테스트한 결과 가장 뛰어난 Claude-4.6-Sonnet도 성공률 56.70%에 그쳤고, 오픈소스 모델들은 전부 1% 미만이었다. 사람 참가자는 같은 조건에서 85.09% 성공률을 보여 AI와 인간의 격차가 크게 드러났다.
METAL MEDIA 해설 도표
DSAgentBench 평가 구조
증거 상태측정 결과가 보고됨
1. 실제 컴퓨터 환경 구축OSWorld를 확장해 우분투 위에 VS Code, Jupyter Notebook, Chrome, Kaggle API, OpenML, SQLite를 갖춘 실행 환경을 만들었다
2. 275개 과업 설계전문가 4명이 3개월간 Kaggle 실제 데이터로 데이터 수집·탐색·특성공학·모델링·평가·시각화 6단계 과업을 만들고 이중 검증했다
3. 에이전트 실행 루프에이전트가 스크린샷(+A11y Tree)을 보고 마우스·키보드 행동을 최대 15단계까지 반복하며 과업을 수행한다
4. 결정론적 채점코드 실행 여부가 아니라 수치 정확도, 그래프의 축·제목·범례, 모델 성능 같은 최종 결과물을 자동 채점기가 확인한다
5. 결과 비교Claude-4.6-Sonnet 56.70% 대 사람 85.09%, 오픈소스 모델 전부 1% 미만으로 격차를 드러냈다
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
기존 벤치마크는 코드가 실행되는지만 확인하고 실제 컴퓨터 조작(파일 탐색, 도구 전환, 오류 대응)은 평가하지 않는다는 문제에서 출발해, OSWorld라는 컴퓨터 조작 평가 틀을 데이터과학용으로 확장했다.
Kaggle, OpenML, SQLite, GitHub 등에서 가져온 실제 데이터셋으로 데이터 수집, 탐색적 분석, 특성 공학, 모델링, 평가, 시각화 6단계를 아우르는 275개 과업을 전문가 4명이 3개월간 만들고 이중 검증했다.
에이전트는 화면 스크린샷과 접근성 정보(A11y Tree, 화면 요소 정보)를 보고 마우스·키보드로 실제 조작하며, 코드가 도는지가 아니라 상관계수 값, 그래프의 축·제목·범례, 모델 정확도 같은 결과물이 맞는지 자동 채점기가 확인한다.
Claude-4.6-Sonnet이 스크린샷+A11y Tree 조건에서 56.70%로 1위, GPT-5가 29.81%로 2위였고 나머지 폐쇄형 모델은 20% 안팎, 오픈소스 모델은 전부 1% 미만이었다. 사람 참가자 3명은 같은 조건에서 85.09% 성공률을 기록했다.
단계 수를 15에서 50으로 늘려도 성공률이 24.54%에서 25.81%로 거의 늘지 않아, 문제가 시도 횟수 부족이 아니라 화면 인식·계획·추론 능력 자체의 한계임을 보였다.
Figure 1: Example agent workflow task in DSAgentBench, showing selected stages from a multi-step workflow: the agent retrieves data, executes code, and produces the final outputs. The illustrated trajectory is generated by GPT-4o.
Table 1: Comparison of DSAgentBench with existing benchmarks across unified agent and data-science capabilities. ✓ = Yes, ▲ = Partial, ✗ = No.
Benchmark
Full OS Interaction
Web Tools & Browsers
Terminal + GUI Control
Cross-App Usage
Intermediate State
Controlled Exec Env
Multimodal Support
Data-Science Tasks
Visualization Evaluation
Environment Scalability
HumanEval chen2021evaluating
✗
✗
✗
✗
✗
✗
✗
✗
✗
✗
KRAMABench lai2025kramabench
✗
✗
✗
✗
✓
code
✗
▲
✗
✗
DS-1000 lai2023ds
✗
✗
✗
✗
✗
✗
✗
▲
✗
✗
DABStep egg2025dabstep
✗
✗
✗
✗
✓
code
✗
▲
✗
✗
MLAgentBench huang2023mlagentbench
✗
✗
✗
✗
✗
✗
✗
▲
✗
✗
DSBench jing2024dsbench
✗
✗
✗
✗
✗
✗
✓
▲
✗
✗
DSEval zhang2024benchmarking
✗
✗
✗
✗
✗
✓
✗
▲
✗
✗
ARCADE yin2023natural
✗
✗
✗
✗
✗
✗
✗
▲
✗
✗
DA-CODE huang2024code
✗
✗
✗
✗
✗
code
✗
▲
▲
▲
OSWORLD xie2024osworld
✓
✓
✓
✓
✓
✓
✓
✗
✗
✓
DSAgentBench (Ours)
✓
✓
✓
✓
✓
✓
✓
✓
✓
✓
Figure 3: Task category distribution in our benchmark, reflecting real-world data science practice.
Figure 4: DSAgentBench execution workflow: the agent perceives screenshots and the A11y tree, executes GUI-based actions, and is evaluated by a custom script.
Table 3: DSAgentBench accuracy (%) under two observation settings (Screenshot and Screenshot + A11y Tree) across data-science lifecycle tasks: Data Acquisition (DA), Exploratory Data Analysis (EDA), Feature Engineering (FE), Modeling, Visualization (Vis), and Evaluation (Eval). Results for open-source models are reported in Table 13.
Model
Screenshot
Screenshot + A11y Tree
DA
EDA
FE
Model
Vis
Eval
Overall
DA
EDA
FE
Model
Vis
Eval
Overall
GPT-4o
0.00
27.06
24.24
16.67
7.14
33.33
19.34
13.04
29.66
35.14
21.95
15.62
8.33
24.54
O4-mini
4.35
1.68
2.70
0.00
3.03
0.00
1.82
0.00
4.20
5.41
0.00
0.00
0.00
2.55
GPT-5-mini
8.70
17.28
25.00
3.57
21.43
0.00
15.20
4.55
24.14
27.03
7.50
21.88
0.00
19.03
GPT-5
17.39
27.41
27.03
26.83
9.09
16.67
23.63
26.08
33.44
29.72
32.22
15.15
33.33
29.81
Gemini-2.5-Pro
4.55
17.86
16.13
17.24
10.71
16.67
14.49
4.35
22.78
33.33
14.81
30.77
0.00
20.81
OpenAI CUA
0.00
10.59
12.50
0.00
14.29
0.00
8.13
4.35
9.52
6.06
2.86
6.67
0.00
6.61
Claude-4-Sonnet
0.00
7.46
4.17
0.00
3.85
0.00
4.55
0.00
4.86
0.00
1.00
11.11
0.00
4.64
Claude-4.5-Sonnet
4.76
4.17
0.00
3.45
3.23
0.00
3.17
8.33
12.31
12.50
4.55
4.17
0.00
9.21
Claude-4.6-Sonnet
43.48
57.98
51.35
41.46
39.39
50.00
50.55
47.82
64.88
56.75
46.34
42.42
66.67
56.70
Human Performance
73.91
90.76
91.89
73.17
78.79
83.33
85.09
73.91
90.76
91.89
73.17
78.79
83.33
85.09
Figure 5: Example environments in DSAgentBench: agent interaction across data-science environments, demonstrating autonomous coordination of file systems, databases, notebooks, IDEs, visualization, execution, debugging, and web-based data retrieval.
Table 4: DSAgentBench accuracy (%) across stage type, task complexity, and tool usage under different settings.
Model
Screenshot
Screenshot + A11y Tree
Single
Multi
Easy
Medium
Hard
VS Code
Jupyter
Single
Multi
Easy
Medium
Hard
VS Code
Jupyter
GPT-4o
26.97
13.52
38.46
24.74
11.79
14.69
39.22
35.59
16.13
46.67
34.38
12.31
23.87
27.45
O4-mini
4.20
0.00
20.00
1.55
0.00
1.79
1.92
5.04
0.64
13.33
3.88
0.00
2.69
1.92
GPT-5-mini
24.71
8.00
38.46
24.47
9.41
15.23
11.00
31.03
9.87
66.67
27.20
5.47
14.68
38.00
GPT-5
27.73
20.51
53.33
27.13
16.79
25.10
17.30
39.49
22.43
66.67
32.55
22.89
27.35
40.38
Gemini-2.5-Pro
19.12
10.92
46.15
15.62
9.18
17.31
2.40
32.10
12.93
53.85
28.74
9.28
17.45
31.25
OpenAI CUA
13.64
4.00
23.08
13.40
1.20
9.49
2.30
10.68
3.60
15.38
10.43
1.84
5.21
12.60
Claude-4-Sonnet
6.67
2.93
8.33
4.65
4.00
5.60
0.00
8.06
2.10
25.00
6.33
0.64
4.86
3.70
Claude-4.5-Sonnet
3.16
3.17
16.67
3.51
1.05
4.14
0.00
14.49
4.82
36.36
10.00
3.28
8.74
10.20
Claude-4.6-Sonnet
59.66
43.60
73.33
55.04
43.52
54.01
35.71
63.86
51.24
86.68
60.62
49.41
56.92
55.77
Figure 6: Example of error that occured with the model OpenAI CUA.
Table 5: Lifecycle grouping based on DS-World task category hierarchy.
Category
Lifecycle / Macro Group
Data Loading and Multi-Table Joining
Data Acquisition
Web Data Scraping
Data Acquisition
Summary Statistics
EDA
Data Cleaning and Missing-Value Handling
EDA
Data Filtering and Conditional Queries
EDA
Correlation and Relationship Analysis
EDA
Grouping and Aggregation
EDA
Outlier Detection
EDA
Feature Engineering and Transformation
Feature Engineering
Dimensionality Reduction
Feature Engineering
Standardization and Normalization
Feature Engineering
Feature Importance and Interpretability
Feature Engineering
Classification
Modeling
Regression
Modeling
Clustering
Modeling
Ensemble Methods
Modeling
Imbalanced Data Handling
Modeling
Model Validation and Evaluation
Evaluation and Deployment
Hyperparameter Tuning
Evaluation and Deployment
Statistical Testing
Evaluation and Deployment
Visualization and Chart Generation
Visualization and Reporting
Data Export and Reporting
Visualization and Reporting
Figure 7: Example of error that occured with the model Jedi-3B.
Table 6: Representative simplified Example Tasks in DSAgentBench by Category
Task Category
# Tasks
Example Task
Data Acquisition
23
Open the database, inspect the available tables and relevant columns, identify the customer ID and transaction fields, merge the required records, compute total and average transaction amounts per customer, calculate a risk score, and save the aggregated results to an output file.
Exploratory Data Analysis
119
Inspect a SQLite database schema, identify meal- and workout-related fields, join the relevant tables, compute an efficiency index, rank workout categories, and save the top five results to a CSV file.
Feature Engineering
37
Load a diabetes dataset, create a new insulin resistance feature, handle missing or zero values using median imputation, compute correlation with insulin levels, group results by outcome, and save summary statistics to output files.
Modeling
41
Load and merge multiple retail datasets by store and date, train multiple regression models to predict weekly sales, stack them using a meta-learner, perform cross-validation, and save the average error metric to a summary file.
Evaluation and Deployment
12
Perform multi-stage hyperparameter tuning for a gradient boosting model using cross-validation, select the best configuration based on error metrics, and save the final model parameters and performance results.
Visualization and Reporting
33
Analyze the relationship between body mass index, glucose level, and age with diabetes outcome, generate and inspect interactive visualizations, and create a PowerPoint report summarizing the key findings with appropriate charts, labels, and legends..
Figure 8: Example of error that occured with the model Jedi-8B.
Table 7: Canonical agent prompt templates used under different observation modalities. One representative prompt is shown per setting; other variants differ only in minor wording or formatting.
Observation Modality
Output Format
Prompt Description
Screenshot-only
Code / Action
The agent receives a full-resolution screenshot of the desktop at each step and predicts grounded mouse and keyboard actions based solely on visual information. Interaction is coordinate-based, without access to image matching or additional screenshots. At each step, the agent must return either executable actions or a control token (WAIT, FAIL, DONE).
Screenshot + A11y Tree
Code / Action
The agent jointly observes both the screenshot and the accessibility tree extracted via AT-SPI, enabling alignment between visual context and structured UI metadata. This hybrid prompt improves grounding precision and interaction robustness and is used for all main experiments unless stated otherwise.
Figure 9: Example of error that occured with the model UI-Tars-1.5-7B.
Table 8: Unified action space listing specific commands and their functions.
Action Category
Description
Mouse Actions
Handles spatial interactions including absolute cursor movement (MOVE_TO, DRAG_TO), scrolling (SCROLL), and button operations (CLICK, RIGHT_CLICK, DOUBLE_CLICK, MOUSE_DOWN, MOUSE_UP).
Keyboard Actions
Manages alphanumeric input via TYPING, discrete key presses (PRESS), simultaneous key combinations (HOTKEY), and raw key state manipulation (KEY_DOWN, KEY_UP).
Control Actions
Special meta-actions to pause execution (WAIT) or terminate the episode by signaling failure (FAIL) or success (DONE).
Table 9: Efficiency of successful runs measured by interaction steps.
Model
Mean Steps
Median Steps
Std
CUA
15.00
15
0.00
GPT-4.0
10.03
15
7.63
Gemini-2.5-Pro
6.76
6
2.93
GPT-5-Mini
7.33
5
3.82
Claude-Sonnet-4.6
10.93
12
3.04
Table 10: Root-cause failure analysis across models (%).
Model
Grounding
Terminal
Code
Logic
CUA
94.44
2.78
0.46
2.31
GPT-4.0
80.00
5.64
13.33
1.03
Gemini-2.5-Pro
43.08
36.15
13.85
6.92
GPT-5-Mini
56.92
7.69
30.77
4.62
GPT-5
41.67
8.33
38.33
11.67
Claude-Sonnet-4.5
39.32
23.07
27.60
10.00
Claude-Sonnet-4.6
32.77
9.24
43.70
14.29
GUI-OWL-7B
97.09
1.09
1.45
0.36
UI-Tars-1.5-7B
98.18
1.82
0.00
0.00
Jedi-7B
81.89
6.69
7.09
4.33
Table 11: Ablation results for GPT-4o on DSAgentBench under different interaction step budgets.
Metric
15 Steps
30 Steps
50 Steps
Task Success Rate (%)
24.54
25.45
25.81
Average Score
0.55
0.56
0.57
Table 12: Model-wise performance and trajectory behavior (normalized over 100 tasks per model for comparison). FF denotes the first failure step, i.e., the earliest step in the trajectory where an error is detected.
Model
#Tasks
Mean FF Step
Median FF
Early (%)
Mid (%)
Late (%)
Budget Exhaustion (%)
Recovery (%)
CUA
65
13.62
15
3.41
3.41
93.17
100.0
0.0
GPT-4.0
100
8.77
15
41.54
3.59
54.87
93.85
1.54
Gemini-2.5-Pro
100
5.80
6
42.02
45.38
12.61
62.31
19.23
GPT-5-Mini
100
5.92
4
57.38
19.67
22.95
63.08
3.08
GUI-OWL-7B
50
14.16
15
2.91
4.00
93.09
100.0
0.0
UI-Tars-1.5-7B
50
14.40
15
0.00
0.00
100.00
100.0
0.73
Jedi-7B
50
12.10
15
11.02
18.11
70.87
98.43
1.18
Table 13: DSAgentBench accuracy (%) across data-science lifecycle task types and overall performance under Screenshot settings (Open-Source Models).
Model
Screenshot
Screenshot + A11y Tree
DA
EDA
FE
Model
Vis
Eval
Overall
DA
EDA
FE
Model
Vis
Eval
Overall
Jedi-3B w/GPT4o
0.00
0.00
0.00
0.00
0.00
0.00
0.00
N/A
N/A
N/A
N/A
N/A
N/A
N/A
Jedi-7B w/GPT4o
0.84
0.00
0.00
0.00
1.00
0.00
0.73
N/A
N/A
N/A
N/A
N/A
N/A
N/A
UI-Tars-2B
0.00
0.00
0.00
0.00
0.00
0.00
0.00
N/A
N/A
N/A
N/A
N/A
N/A
N/A
UI-Tars-1.5-7B
0.00
0.00
0.00
0.00
0.00
0.00
0.00
N/A
N/A
N/A
N/A
N/A
N/A
N/A
GUI-OWL-7B
0.00
0.00
0.00
0.00
0.00
0.00
0.00
N/A
N/A
N/A
N/A
N/A
N/A
N/A
OpenCUA-72B
4.35
0.91
0.00
0.00
0.00
0.00
0.73
N/A
N/A
N/A
N/A
N/A
N/A
N/A
Table 14: Structure of a deterministic numerical evaluation function.
Evaluation Step
Description
Script Validation
Confirms that the required Python script exists and executes successfully.
Output Verification
Verifies that the expected output file (e.g., .txt or .csv) is generated.
Value Extraction
Extracts numeric values using robust parsing to avoid formatting artifacts.
Numerical Matching
Compares extracted values against ground-truth references using a small tolerance to account for floating-point variation.
Scoring
Assigns partial credit for intermediate correctness and caps the final score at 1.0.
Table 15: DSAgentBench average score (%) across ds lifecycle task types and overall performance under Screenshot and Screenshot + Accessibility Tree observation settings.
Ensures that the visualization script exists and executes successfully.
Artifact Verification
Confirms that required visualization files are generated and non-empty.
Semantic Validation
Uses a fixed evaluation prompt with GPT-4o as a judge to assess whether each chart correctly represents the intended variables, axes, and trends.
Design Criteria
Checks readability, labeling, scale consistency, and layout clarity.
Scoring
Combines deterministic and semantic signals into a bounded score in the range [0, 1].
실제로 확인된 결과
최고 성능 Claude-4.6-Sonnet이 스크린샷+A11y Tree 조건에서 56.70% 성공률로 1위, GPT-5는 29.81%, GPT-4o·Gemini-2.5-Pro·GPT-5-mini는 약 20% 수준이었다.
오픈소스 모델(UI-TARS, Jedi, GUI-OWL, OpenCUA 등)은 전부 성공률 1% 미만이었고 A11y Tree 입력을 지원하는 모델도 없었다.
사람 참가자 3명(응용과학자 2명, 석사 졸업자 1명)은 동일 환경·평가 기준에서 85.09% 성공률을 기록해 AI와 큰 격차를 보였다.
오픈소스 모델은 실패 원인의 97~98%가 화면 요소를 제대로 인식하지 못하는 '그라운딩 오류'였고, 강한 폐쇄형 모델(Gemini-2.5-Pro, GPT-5, Claude-4.6-Sonnet)은 터미널 조작·코드·추론 오류가 섞여 나타났다.
상호작용 단계 제한을 15에서 50으로 늘려도 GPT-4o 성공률이 24.54%에서 25.81%로만 올라, 시도 횟수보다는 인식·계획 능력 자체가 한계임을 보였다. 터미널 우선 사용을 유도해도 19.34%에서 20.73%로 소폭 개선에 그쳤다.
어디에 쓸 수 있나
AI 에이전트가 실제 업무용 데이터 분석 자동화 도구로 얼마나 준비됐는지 가늠하는 표준 평가 기준으로 활용할 수 있다.
화면 인식, 여러 프로그램 전환, 오류 복구 능력을 따로 떼어 어느 지점이 약한지 진단하는 데 쓸 수 있다.
새로운 GUI 조작 에이전트나 데이터과학 특화 모델을 개발할 때 비교 기준점(사람 성공률 85.09% 대비)으로 삼을 수 있다.
한계와 남은 검증
실험은 우분투 환경에서만 수행됐고, 윈도우·맥 등 다른 운영체제에서의 성능은 아직 측정되지 않았다.
과업은 최대 15단계, 15분(1800초) 제한 안에서 수행되므로 이보다 훨씬 긴 실제 업무 시나리오는 다루지 않는다.
전체 과업의 약 10%만 LLM 기반 시각 평가자를 함께 쓰고 나머지는 규칙 기반 채점이라, 시각화 품질 평가의 일반화 가능성은 제한적이다.
R/RStudio, PyCharm, 클라우드 환경 등으로 확장 가능하다고 언급했지만 이번 논문에서 실제로 검증하지는 않았다.
저자들은 프롬프트, 평가 코드, 추론 스크립트를 포함한 전체 저장소를 공개할 계획이라고 밝혔으나 이는 향후 계획이며 이번 보고 결과와는 별개다.
왜 중요한가
실제 회사 업무에서 데이터 분석은 코드 한 줄 작성이 아니라 여러 프로그램을 오가며 오류를 고치고 결과를 확인하는 과정인데, 지금의 AI 에이전트는 이런 실전 환경에서 여전히 크게 부족하다는 것을 구체적 수치로 보여준다. 이는 AI에게 실제 업무 자동화를 맡기기 전에 어떤 지점(화면 인식, 도구 전환, 여러 단계 추론)을 먼저 보강해야 하는지 알려주는 기준점이 된다.
이 논문의 용어
OSWorld · 실제 운영체제(우분투, 윈도우, 맥) 안에서 AI가 마우스·키보드로 프로그램을 조작하는지 평가하는 기존 벤치마크 틀
A11y Tree(접근성 트리) · 화면에 어떤 버튼·글자·창이 있는지 구조화된 정보로 알려주는 데이터로, 원래는 시각장애인 보조 프로그램을 위해 만들어졌다
결정론적 평가기(Deterministic Evaluator) · 같은 결과물을 넣으면 항상 같은 점수를 주는, 사람 판단 없이 자동으로 정답 여부를 채점하는 프로그램
성공률(Task Success Rate) · 채점 점수가 0.95 이상인 과업의 비율로, 결과가 거의 완벽하게 맞아야 성공으로 인정
본문에 싣지 못한 그림
Figure 2: Benchmark Construction Pipeline: We source heterogeneous real-world datasets (1); design tasks and evaluators through human–LLM collaboration with pre- and post-execution configurations (2); and apply dual-annotator review and verification (3). The result is a curated benchmark of reproducible tasks with complete configurations and deterministic evaluation scripts.
