영상 편집 AI가 소리도 같이 잘 고치는지 처음으로 제대로 시험하는 벤치마크와, 그걸 잘 해내는 에이전트를 함께 내놓았다
arXiv:2607.248212026-07-16
AVE-Compass: Towards Holistic Evaluation for Audio-Video Editing Abilities
영상 편집 AI가 소리도 같이 잘 고치는지 처음으로 제대로 시험하는 벤치마크와, 그걸 잘 해내는 에이전트를 함께 내놓았다
영상을 문장으로 편집하는 AI들은 화면은 그럴듯하게 바꿔도 소리는 엉뚱하게 남기거나 지워버리는 경우가 많다. AVE-Compass는 145개 원본 영상과 196개의 오디오-비디오가 함께 걸린 편집 지시, 2,688개의 세부 체크리스트로 이 문제를 정밀하게 진단하는 벤치마크다. 저자들은 이 진단 결과를 바탕으로 계획-실행-평가 3단계로 움직이는 AVE-Agent를 만들어 기존 6개 모델과 비교했다.
METAL MEDIA 해설 도표
AVE-Compass와 AVE-Agent의 작동 구조
증거 상태측정 결과가 보고됨
원본 영상+지시문 입력화면과 소리가 함께 담긴 영상과 자연어 편집 지시를 받는다
계획 에이전트영상을 분석해 지시를 화면·소리·말소리 하위 작업의 의존 그래프(DAG)로 쪼개고 각 단계 평가 기준을 정한다
실행 에이전트각 하위 작업을 화면·오디오·말소리 도구로 수행하고, 평가 기준에 못 미치면 스스로 점검해 재시도한다
통합 평가 에이전트완성된 결과물을 지시 이행·보존·품질 기준으로 다시 채점해 리믹스, 재작업, 재계획 중 필요한 조치를 지시한다
AVE-Compass 채점체크리스트 기반 지시 이행/보존 점수, 별도 자연스러움 채점, 립싱크 등 자동 지표로 모델별 성능을 진단한다
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
기존 영상 편집 벤치마크는 대부분 무음 영상의 화면만 평가하거나 오디오 편집을 따로 떼어 평가해서, 화면과 소리를 동시에 바꿔야 하는 실제 편집 요구를 다루지 못한다는 문제에서 출발했다.
연구팀은 145개 원본 영상에 196개의 화면-소리 결합 편집 지시문을 만들고, 지시 이행 여부와 편집 안 한 부분 보존 여부를 확인하는 Yes/No 체크리스트 2,688개를 사람이 검증해 만들었다.
평가는 지시 이행(IF), 원본 보존(FP), 자연스러움(Realism), 그리고 이 둘을 곱해 완전한 편집 성공을 보는 편집 의도(EI) 네 축과, 립싱크·오디오-비디오 동기화 같은 자동 측정 지표 7종으로 나눠 진행했다.
진단을 바탕으로 계획 에이전트(지시를 화면·소리·말소리 하위 작업 그래프로 쪼갬)-실행 에이전트(각 하위 작업을 수행하고 스스로 점검·재시도)-평가 에이전트(완성본을 다시 채점해 재작업 지시)로 구성된 AVE-Agent를 제안하고 Wan2.7, HappyHorse, Gemini-Omni, Seedance, LTX2 등 5개 기존 모델과 함께 벤치마크에서 비교했다.
Figure 1: Illustration of AVE-Compass. Given the same editing instruction, the four panels illustrate characteristic ways current audio-visual editing models drift, with IF (Instruction Following) and FP (Fidelity Preserving) marks indicating where each output breaks.
Table 1: Comparison of AVE-Compass with existing editing benchmarks. Target Modality denotes the evaluated streams. Task Labels summarize task coverage with normalized labels, including object, scene, motion, camera, VFX, audio event, and speech. # Metrics and # Task Categories count evaluation dimensions and editing operation types, respectively. Cross-Modal Evaluation indicates whether the benchmark evaluates audio–video coupled editing, ranging from object-level correspondence to global-scene dependencies with diagnostic checks. Multi-Shot and Speech Edit indicate support for multi-shot source clips and speech-related editing. Difficulty Analysis denotes stratified evaluation over factors such as target localization, audio-source complexity, and cross-modal linkage. AVE-Compass is the only benchmark that jointly supports all these capabilities.
Benchmark
Target Modality
Target
Modality
Task Labels
Task
Labels
# Metrics
#
Metrics
# Task Categories
# Task
Categories
Cross-Modal Evaluation
Cross-Modal
Evaluation
Multi- Shot
Multi-
Shot
Speech Edit
Target
Modality
Task
Labels
#
Metrics
# Task
Categories
Cross-Modal
Evaluation
Multi-
Shot
Speech
Edit
Difficulty
Analysis
Video-Only Editing Benchmarks
VEBench Sun 2025
Video
Object, Scene
3
N/A
✗
✗
✗
✗
IVEBench Chen 2025
Video
Object, Scene
12
35
✗
✗
✗
✗
FiVE Li 2025
Video
Object
15
6
✗
✗
✗
✗
UniVBench Wei 2026
Video
Scene
21
6
✗
✓
✗
✗
CoVEBench Wu 2026
Video
Object, Scene
11
19
✗
✗
✗
✗
Audio-Visual Editing Benchmarks
SAVEBench Xu 2025
VideoAudio
Object
12
1
Object-level
✗
✗
✗
AVED-Bench Lin 2026
VideoAudio
Object
5
3
Object-level
✗
✗
✗
AVI-Edit Zheng 2025
VideoAudio
Audio Event
7
3
Object-level
✗
✗
✗
AVE-Compass (Ours)
VideoAudio
Object, Scene, Audio Event, Speech
Object, Scene,
Audio Event, Speech
19
28
Global Scene
✓
✓
✓
Object, Scene,
Audio Event, Speech
Figure 2: Dataset statistics of the AVE-Compass benchmark.
Table 2: MLLM-as-Judge results on AVE-Compass. We report four dimensions—Editing Intent, Instruction Following, Fidelity Preserving, and Realism—each as Overall / Video / Audio scores on a 0–100 scale. Models are ranked by the Overall Editing Intent score, which serves as the primary measure of complete edit execution by jointly accounting for instruction following and fidelity preservation. All metrics are higher-is-better. Best in bold. ∗Gemini misses 16 speech edits due to content moderation.
Model
Editing Intent
Instruction Following
Fidelity Preserving
Realism
Overall
Video
Audio
Overall
Video
Audio
Overall
Video
Audio
Overall
Video
Audio
AVE-Agent (Wan)
59.8+17.4
66.7+6.6
50.2+25.4
77.3+8.0
84.8+6.5
69.4+9.1
77.6+13.4
80.1+1.6
74.8+26.7
62.1+1.7
45.3+1.8
78.9+1.5
Wan2.7
42.4
60.1
24.8
69.3
78.3
60.3
64.2
78.5
48.1
60.4
43.5
77.4
HappyHorse
41.3
56.7
18.8
66.9
75.5
54.5
63.9
74.5
53.3
63.0
49.9
76.0
Gemini-Omni∗
38.0
56.1
10.0
44.9
74.0
10.8
84.9
76.8
96.1
66.9
49.2
84.5
Seedance
26.6
36.1
13.5
37.4
50.5
24.4
81.7
83.0
80.4
69.2
54.0
84.4
LTX2
15.2
10.7
26.4
70.1
72.8
66.2
30.6
24.5
42.3
64.1
42.0
86.2
Figure 3: Overview of AVE-Agent. Given a source video with audio and an edit instruction, the planner agent first preprocesses the input audio-visual clip and analyzes it through structured captioning. Conditioned on this analysis, it decomposes the instruction into a dependency-aware subtask DAG with per-step evaluation criteria. The executor agent executes the subtasks in order. For each subtask, it refines the intent into tool prompts and tool specifications, routes the request to the video, audio, or speech branch, and optimizes the result through a reflection loop guided by the planner-provided criteria. Finally, the mixed evaluator agent consumes the temporary assembled clip and planner criteria, scores instruction following, Fidelity Preserving, and quality, and outputs a control signal for final pass, remixing, subtask regeneration, or replanning.
Table 3: Automated metric results on AVE-Compass, grouped into Cross-Modal, Video, and Audio metrics. All metrics are higher-is-better. Best in bold. ∗Gemini misses 16 speech edits due to content moderation. †Speech Quality and Lip Sync are computed only on speech-category edits.
Model
Cross-Modal
Video
Audio
Lip Sync†
AV Sync
Video Aesthetic
Subject Consistency
Motion Smoothness
Audio Aesthetic
Speech Quality†
AVE-Agent (Wan)
0.622+0.091
0.766+0.073
0.452+0.001
0.972+0.003
0.987+0.001
0.614+0.005
0.368-0.060
Wan2.7
0.531
0.693
0.451
0.969
0.986
0.609
0.428
HappyHorse
0.620
0.695
0.439
0.975
0.989
0.650
0.726
Gemini-Omni∗
–
0.701
0.434
0.974
0.988
0.627
–
Seedance
0.431
0.718
0.430
0.971
0.987
0.629
0.388
LTX2
0.618
0.758
0.468
0.968
0.986
0.641
0.522
Figure 4: Robustness under difficulty. Left: Editing Intent across source-video duration. Right: object-localization hardness, audio-source complexity, and cross-modal linkage degree evaluated with modality-matched metrics. Hatched audio-source complexity bars mark Audio Fidelity Preserving inflated by audio non-response. Scores are on a 0–100 scale.
Table 4: Response-gated Fidelity Preserving and Realism by modality. Response rate measures whether the target modality changes. The “all” columns average over all evaluated cases, while the “gated” columns recompute Fidelity Preserving and Realism only on cases where the corresponding target modality responds. All metrics are higher-is-better. Bold marks the lowest, i.e., worst, response rates.
Model
Response Rate
Fidelity Preserving (all)
Fidelity Preserving (gated)
Realism (all)
Realism (gated)
Video
Audio
Video
Audio
Video
Audio
Video
Audio
Video
Audio
AVE-Agent (Wan)
92.7
94.4
80.1
74.8
77.9
70.9
45.3
78.9
43.0
76.6
Wan2.7
90.6
95.6
78.5
48.1
76.3
44.8
43.5
77.4
40.4
75.1
HappyHorse
95.8
74.4
74.5
53.3
73.1
31.7
49.9
76.0
48.8
73.2
Gemini-Omni
89.7
22.0
76.8
96.1
74.2
80.6
49.2
84.5
46.8
81.2
Seedance
69.1
47.8
83.0
80.4
74.9
60.1
54.0
84.4
48.5
82.8
LTX2
90.1
91.1
24.5
42.3
16.8
39.0
42.0
86.2
36.7
84.4
Figure 5: Metric orthogonality, single-modality editing, and error analysis. Left: Spearman correlation between subjective and objective metrics. Middle: video-only and audio-only performance, with axes normalized per metric. Right: per-model error counts across five failure categories.
Table 5: Human-LLM agreement of MLLM-as-Judge metrics. Agreement measures consistency between human annotations and automatic MLLM judgments, averaged over evaluated models. Values are percentages.
Metric
Editing Intent
Instruction Following
Fidelity Preserving
Realism
Overall
Video
Audio
Overall
Video
Audio
Overall
Video
Audio
Overall
Video
Audio
Agreement
89.9
90.0
89.9
91.3
92.9
89.7
88.8
87.9
90.1
91.0
93.0
89.0
Figure 6: Ablation of planner-side prompt enhancement and evaluator-driven retry refinement. Solid bars show the score without the module; hatched segments show the drop from the full AVE-Agent.
Table 6: Reference-free objective score routing in AVE-Compass. Each score is activated only for the instruction categories where it provides relevant evidence.
Metric Group
Score Name
Active Categories
Cross-Modal
lip_sync
speech
av_sync
audio-only, joint, speech
Video
video_aesthetic
video-only, joint, speech
subject_consistency
video-only, joint, speech
motion_smoothness
video-only, joint, speech
Audio
audio_aesthetic
audio-only, joint, speech
speech_quality
speech
Figure 7: Qualitative case analysis. Each row shows the source frame, edit instruction, and aligned edited frames from AVE-Agent, LTX2, Wan2.7, Seedance, Gemini-Omni, and HappyHorse. Red tags mark the dominant failure observed in each selected output, including low Fidelity Preserving under regeneration, over-realistic visual effects, non-response, physical-logic errors, spurious text/object insertion, temporal inconsistency, and poor Audio Fidelity Preserving.
Table 7: Difficulty-stratified analysis on AVE-Compass, each axis paired with its modality-matched metric. All values are on a 0–100 scale. Video Realism is normalized from the 1–5 rubric via (x−1)/4×100. Baselines degrade with difficulty, while our agent stays notably more robust under audio-source complexity and implicit cross-modal linkage.
Model
Object-Localization Hardness Video-IF
Object-Localization Hardness Video Realism
Audio-Source Complexity Audio Fidelity Preserving
Cross-Modal Linkage Audio-IF
easy
hard
easy
hard
simple
mod.
complex
explicit
implicit
AVE-Agent (Wan)
90.5
83.7
48.5
44.7
73.6
75.1
75.9
69.0
73.3
Wan2.7
89.3
76.3
47.3
42.7
60.3
46.3
36.0
61.3
56.0
HappyHorse
78.6
74.9
56.6
48.5
66.2
55.0
38.0
61.3
13.3
Gemini-Omni
73.1
74.2
54.4
48.1
100.0
96.4
91.4
10.5
13.3
Seedance
64.3
48.1
59.8
52.7
80.5
85.5
76.8
21.6
39.3
LTX2
75.6
72.2
37.3
43.0
52.0
35.8
36.4
65.4
72.7
Table 8: Single-modality editing (objective metrics). Top: video-only (n=16)—visual quality plus Audio Similarity (preservation of the untouched audio). Bottom: audio-only (n=5)—audio quality plus Video Similarity (preservation of the untouched video). Best in bold. ‡Our agent’s Audio Similarity is mildly depressed by a residual ∼1-frame muxing offset (frame-level alignment leaves an ∼8 ms residual); sample-aligned, the audio is essentially preserved.
Model
Video Aesthetic
Subject Consistency
Motion Smoothness
Audio Similarity
AVE-Agent (Wan)
0.463
0.983
0.985
0.969‡
Wan2.7
0.467
0.983
0.986
0.759
HappyHorse
0.454
0.986
0.989
0.999
Gemini-Omni
0.438
0.983
0.987
0.978
Seedance
0.442
0.980
0.985
0.833
LTX2
0.478
0.973
0.983
0.647
Table 9: Error analysis across five failure categories (error counts; lower is better). An edit is counted as an error in a category when it fails the corresponding checklist questions (per-case yes-rate <0.5) or, for audio-visual quality, when its Realism is below 3/5. Best (lowest) per row in bold; Gemini’s low Audio Fidelity Preserving count reflects non-response, not preservation quality.
Category
AVE-Agent (Wan)
Wan2.7
Happy Horse
Gemini Omni
Seedance
LTX2
1. Poor Video Fidelity Preserving (FP×video)
22
27
34
28
28
161
2. Poor Audio Fidelity Preserving (FP×audio)
37
97
93
5
34
106
3. Poor Video Instruction Following (IF×video)
20
32
39
40
88
44
4. Poor Audio Instruction Following (IF×audio)
48
69
78
144
133
56
5. Poor AV Quality (Realism <3/5)
48
58
50
31
31
39
Total
175
283
294
248
314
406
Table 10: MLLM-as-Judge agent-backbone ablation on the 34-case subset. Scores are on a 0–100 scale. All metrics are higher-is-better. Best results within each backbone pair are in bold.
Model
Editing Intent
Instruction Following
Fidelity Preserving
Realism
Overall
Video
Audio
Overall
Video
Audio
Overall
Video
Audio
Overall
Video
Audio
AVE-Agent (Wan)
62.5+17.1
69.4+10.7
57.0+30.5
81.8+7.7
85.3+2.0
79.8+14.1
77.1+12.2
80.9+8.1
73.5+22.8
58.0+0.1
37.7+1.7
78.3-1.5
Wan
45.4
58.7
26.5
74.1
83.3
65.7
64.9
72.8
50.7
57.9
36.0
79.8
AVE-Agent (sd2)
49.0+16.2
44.2+10.5
52.0+25.1
70.0+26.3
69.6+19.1
68.5+31.9
70.0-12.6
64.7-17.5
77.2-6.1
64.8-8.4
50.2-10.1
80.3-5.7
Seedance
32.8
33.7
26.9
43.7
50.5
36.6
82.6
82.2
83.3
73.2
60.3
86.0
Table 11: Automated metric agent-backbone ablation on the 34-case subset. All metrics are higher-is-better. Best results within each backbone pair are in bold. †Speech Quality and Lip Sync are computed only on the two speech-category edits.
Model
Cross-Modal
Video
Audio
Lip Sync†
AV Sync
Video Aesthetic
Subject Consistency
Motion Smoothness
Audio Aesthetic
Speech Quality†
AVE-Agent (Wan)
0.858+0.060
0.821+0.109
0.452+0.000
0.971+0.004
0.986+0.000
0.627+0.031
0.402-0.144
Wan
0.798
0.712
0.452
0.967
0.986
0.596
0.546
AVE-Agent (sd2)
1.000+0.671
0.691+0.059
0.419-0.015
0.976+0.007
0.989+0.001
0.608-0.026
0.506+0.010
Seedance
0.329
0.632
0.434
0.969
0.988
0.634
0.496
실제로 확인된 결과
AVE-Agent가 편집 의도(EI)와 지시 이행(IF) 점수에서 가장 높았고, 특히 소리 쪽 지시 이행과 화면-소리 동기화에서 큰 격차로 앞섰다.
LTX2는 지시를 많이 따르지만 원본을 거의 새로 만들어버려 보존 점수가 낮았고, Gemini-Omni와 Seedance는 원본을 그대로 반환해 보존 점수는 높지만 지시를 안 따르는 경우가 많았다.
일부 모델은 화면·소리 품질 점수는 높아도 자연스러움(Realism) 점수가 낮아, 기술적 품질과 논리적 타당성이 별개로 나타났다.
반복 측정 시 자동 지표는 0.01 미만, MLLM 평가는 1% 미만으로 변동해 평가가 안정적이었고, 사람 판정과의 일치율은 네 항목 평균 약 90%였다.
오류 유형 분석에서 AVE-Agent는 총 175건의 오류로 다른 모델(248~406건)보다 적었고, 특정 실패 유형에 편중되지 않았다. Gemini는 소리를 안 건드려서 소리쪽 지시 이행 오류가 144건으로 가장 많았고, LTX2는 화면 보존 오류가 161건으로 가장 많았다.
어디에 쓸 수 있나
오디오와 화면을 함께 바꿔야 하는 영상 편집 AI 모델을 도입 전에 진단하는 평가 도구로 활용
특정 모델이 소리를 잘못 지우는지, 화면을 과하게 새로 만드는지 등 실패 패턴을 파악해 편집 파이프라인 개선 방향을 잡는 데 참고
교육용 콘텐츠, 재더빙, 로컬라이제이션 등 접근성 목적의 오디오-비디오 편집 워크플로 설계 시 참고 자료
한계와 남은 검증
벤치마크는 145개 영상과 196개 지시문 규모로, 폐쇄형 API와 MLLM 채점 비용 문제로 규모를 의도적으로 제한했다고 밝혔다.
AVE-Agent는 서드파티 도구에 의존하므로 그 도구들의 동작이 바뀌면 장기적 재현성에 영향을 줄 수 있다.
말소리 관련 편집에서 Gemini는 콘텐츠 검토 정책 때문에 16건의 편집을 수행하지 못해 해당 결과에서 제외됐다.
AVE-Agent의 오디오 유사도 지표는 약 1프레임의 잔여 정렬 오차(약 8ms) 때문에 다소 낮게 나올 수 있어, 표본 단위로 정렬하면 실제로는 원본이 거의 그대로 보존된다고 설명한다.
딥페이크나 목소리 무단 복제 같은 오남용 위험이 있어 저자들은 신원 복제 도구를 제외하고 워터마킹 등 출처 표시 기술과 함께 쓸 것을 권장했다.
왜 중요한가
영상 생성·편집 AI를 실무에 쓰려는 사람들은 화면만 보고 품질을 판단하기 쉬운데, 이 연구는 소리 쪽 실패가 훨씬 두드러진다는 것을 정량적으로 보여주고 그 진단 도구를 공개한다. 오디오-비디오 편집 모델을 고르거나 평가할 때 어떤 실패 유형을 확인해야 하는지 구체적인 기준을 제공한다.
이 논문의 용어
MLLM-as-Judge · 거대 멀티모달 언어모델이 편집 결과를 사람처럼 채점하는 평가 방식
체크리스트(checklist) · 편집이 제대로 됐는지, 원본이 잘 보존됐는지 확인하는 예/아니오 질문 목록
Editing Intent(EI) · 지시 이행과 원본 보존을 곱해 계산하는, 완전한 편집 성공 여부를 나타내는 지표
DAG(작업 의존 그래프) · 하위 작업들의 실행 순서와 상호 관계를 표현한 그래프 구조
Fidelity Preserving(FP) · 편집하지 않은 부분(화면·소리)이 원본과 얼마나 잘 유지됐는지 평가하는 항목
