컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

멀티모달 AI가 이미지를 못 보는 게 아니라, 봤는데도 통제가 안 되는 것이다

arXiv:2607.263262026-07-27

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

멀티모달 AI가 이미지를 못 보는 게 아니라, 봤는데도 통제가 안 되는 것이다

이 논문은 멀티모달 대형언어모델(MLLM)이 이미지와 사전지식이 충돌할 때 왜 실패하는지를 두 가지로 나눠 진단한다. 이미지를 모델의 마지막 층 표현만으로 재구성해보니 반사실적(현실과 다른) 정보가 여전히 남아 있어서, 실패 원인이 '못 봐서'가 아니라 '봤는데 못 다뤄서'임을 보였다. 이를 검증하기 위해 WhatIfVis라는 벤치마크를 만들고, 지시문 미세조정과 활성화 패칭, 조향 벡터 실험으로 시각적 맥락 민감도를 통제할 수 있음을 확인했다.

METAL MEDIA 해설 도표

지각(H1) 대 활용(H2), 그리고 통제 개입 흐름

증거 상태측정 결과가 보고됨

  1. 1. 재구성 진단고정된 MLLM의 마지막 층 이미지 토큰만으로 이미지를 다시 그려, 반사실적 속성이 실제로 남아있는지 확인 (H1 배제)
  2. 2. WhatIfVis 평가이미지·문장으로 짝지은 반사실적 예제에 '이미지만 따르라' 또는 '무시하라' 지시를 줘서 기본 모델의 통제력을 측정 (H2 확인)
  3. 3. SFT로 통제력 학습공간-시간 속성 데이터만으로 지도미세조정해 지시 따르기 능력을 올리고 다른 속성에도 전이되는지 확인
  4. 4. 활성화 패칭으로 층 찾기미세조정된 모델의 내부 층을 바꿔 넣어 시각-사전지식 트레이드오프가 일어나는 좁은 층 구간을 국지화
  5. 5. 조향 벡터로 지시문 없이 통제찾아낸 층의 한 방향(벡터)에 값을 고정해 넣으면, 지시문 없이도 기본 모델의 이미지-사전지식 의존도를 바꿀 수 있음을 확인
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. 연구팀은 MLLM이 이미지와 배치되는 사전지식 중 어느 쪽을 따르는지 조절하지 못하는 문제를 '지각 실패(H1)'와 '활용 실패(H2)' 두 가설로 나눠 검증했다.
  2. 얼어붙은(고정된, 학습 안 시킨) MLLM의 마지막 층 이미지 토큰만으로 이미지를 재구성하는 실험을 해서, 색깔이 이상하거나 다리 수가 이상한 반사실적 속성이 실제로 남아있는지 인간 평가자가 확인했다.
  3. 이미지와 텍스트로 같은 반사실적 내용을 짝지어 만든 WhatIfVis 벤치마크(3,049개 예제, 5개 속성 유형)로, '이미지만 보고 답하라' 또는 '이미지를 무시하고 알던 대로 답하라'는 지시를 각각 줘서 모델이 지시를 얼마나 잘 따르는지 측정했다.
  4. 지도미세조정(SFT), 활성화 패칭(모델 내부 특정 층의 계산 결과를 다른 값으로 바꿔 원인을 추적하는 기법), 그리고 학습된 방향벡터로 층 값을 강제로 밀어주는 조향(steering) 세 가지 개입 방법을 여섯 개 모델에 적용해 비교했다.
Figure 2: The counterfactual attribute survives to the final layer and is visible in the reconstruction. Species identity, pose, structure, and dominant colors are preserved, including the counterfactual attribute (e.g. the anomalous limb count), while high-frequency texture softens.
Figure 2: The counterfactual attribute survives to the final layer and is visible in the reconstruction. Species identity, pose, structure, and dominant colors are preserved, including the counterfactual attribute (e.g. the anomalous limb count), while high-frequency texture softens.
Table 1: Human evaluation of reconstructed images. Across three LLM backbones, the counterfactual attribute (count) is preserved in the vast majority of generated samples. CF denotes counterfactual.
BackboneCF(%)Real(%)
Gemma-4-E2B-IT97.82.2
Qwen2.5VL-3B93.46.6
Qwen3.5-4B97.82.2
Figure 3: Evaluation pipeline for controllable multimodal context sensitivity. We probe a model’s sensitivity to visual and textual contexts separately through targeted instruction following. Given a visual (left) or textual (right) context, the model must answer a question by either strictly grounding its reasoning in the explicit context ("Consider only…") or suppressing the context to recall standard world knowledge ("Ignore…").
Figure 3: Evaluation pipeline for controllable multimodal context sensitivity. We probe a model’s sensitivity to visual and textual contexts separately through targeted instruction following. Given a visual (left) or textual (right) context, the model must answer a question by either strictly grounding its reasoning in the explicit context ("Consider only…") or suppressing the context to recall standard world knowledge ("Ignore…").
Table 3: WhatIfVis composition. The benchmark spans five conflict types across two families, incorporating data from VLindBench (16), ViLP (31), Pixel-vs-Priors (10), VLMsAreBiased (45), ROME (57), and a Generated set (49). Perception tasks require reading directly observable attributes; Perception+Reasoning tasks additionally require inference beyond direct visual features.
FamilyTaskDescriptionSources# Samples
PerceptionSpatial & TemporalIdentify what surrounds, feeds, or characterizes an entity.VLindBench, ViLP, GeneratedVLindBench,ViLP,Generated1,537
VLindBench,
ViLP,
Generated
ColorReport the color of an object shown in a non-canonical hue.Pixel-vs-Priors, ViLP, VLindBenchPixel-vs-Priors,ViLP,VLindBench282
Pixel-vs-Priors,
ViLP,
VLindBench
ReasoningCountCount parts or instances when the depicted number is anomalous.VLMsAreBiased, ViLP, VLind-BenchVLMsAreBiased,ViLP,VLind-Bench390
VLMsAreBiased,
ViLP,
VLind-Bench
SizeJudge relative size when the visual cue inverts the usual ordering.ROME, Pixel-vs-Priors, VLindBenchROME,Pixel-vs-Priors,VLindBench773
ROME,
Pixel-vs-Priors,
VLindBench
WeightJudge relative weight from a balance-scale image with counterfactuals.Generated67
Total3,049
Figure 4: Illustration of the five WhatIfVis tasks across text and vision modalities. Each WhatIfVis example pairs a counterfactual image with a matched text statement asserting the same content. Contextual answers (CTX) are inferred from the visual evidence in the input image, whereas prior answers (PRI) rely on the model’s internal world knowledge. This distinction can reveal the visual context preference of MLLMs.
Figure 4: Illustration of the five WhatIfVis tasks across text and vision modalities. Each WhatIfVis example pairs a counterfactual image with a matched text statement asserting the same content. Contextual answers (CTX) are inferred from the visual evidence in the input image, whereas prior answers (PRI) rely on the model’s internal world knowledge. This distinction can reveal the visual context preference of MLLMs.
Table 4: Reconstruction fidelity extends beyond count to the other coarse attributes. Pixel-level agreement between each reconstruction and its counterfactual reference image on the Color, Size, and Weight subsets.
AttributeBackboneCounterfactual accuracy%SSIM↑PSNR↑LPIPS↓
ColorQwen2.5VL-3B940.68814.390.253
Qwen3.5-4B980.71816.730.179
Gemma-4-E2B980.74918.290.146
SizeQwen2.5VL-3B920.64213.400.308
Qwen3.5-4B960.66615.140.245
Gemma-4-E2B980.72017.290.197
WeightQwen2.5VL-3B920.65616.200.246
Qwen3.5-4B920.64316.040.245
Gemma-4-E2B940.68718.000.189
Figure 5: SFT lifts visual controllability across every model and task. Top row: pair-accuracy per task. Bottom row: the same runs as context-accuracy (x) against prior-accuracy (y); points above the diagonal follow the prior over the image. SFT lifts controllability consistently, with the largest gains on Color and Spatial-Temporal and the smallest on Weight and Count. All pair-accuracies are probabilities unless noted.
Figure 5: SFT lifts visual controllability across every model and task. Top row: pair-accuracy per task. Bottom row: the same runs as context-accuracy (x) against prior-accuracy (y); points above the diagonal follow the prior over the image. SFT lifts controllability consistently, with the largest gains on Color and Spatial-Temporal and the smallest on Weight and Count. All pair-accuracies are probabilities unless noted.
Table 5: The modality gap is a failure to follow visual evidence, not to override it. Per-intent accuracy (probability scorer, macro-averaged over six models) on the image and matched-text channels. PairAcc credits satisfying both intents on the same example. Here we separate its two halves. Following the evidence (context intent) is far harder from an image than from a matched sentence (+19.0 to +30.8 pp), whereas overriding the evidence (prior intent) is nearly identical across channels (≤4.5 pp, and negative under steering). The gap is thus concentrated in the context intent, the model’s ability to follow visual evidence on demand.
Context intent (follow evidence)Prior intent (override evidence)
ConditionImage (%)Text (%)Gap (%)Image (%)Text (%)Gap (%)
Base45.773.9+28.268.969.5+0.6
SFT62.593.3+30.888.492.9+4.5
Steering54.773.7+19.077.674.7−2.9
Figure 6: Activation patching localizes the vision-versus-prior trade-off to a narrow layer band. The trade-off initiates within the patched window (marked) and amplifies sharply in downstream layers. Δ(Answer probability)=S​o​u​r​c​ep​r​o​b​a​b​i​l​i​t​y−T​a​r​g​e​tp​r​o​b​a​b​i​l​i​t​y, which is the larger the better patched.
Figure 6: Activation patching localizes the vision-versus-prior trade-off to a narrow layer band. The trade-off initiates within the patched window (marked) and amplifies sharply in downstream layers. Δ(Answer probability)=S​o​u​r​c​ep​r​o​b​a​b​i​l​i​t​y−T​a​r​g​e​tp​r​o​b​a​b​i​l​i​t​y, which is the larger the better patched.
Table 6: Pair-accuracy (probability scorer), averaged over six models The text control is an instruction-following upper bound, since the statement asserts the counterfactual outright. The Random rank-1 projection row applies a randomly-initialized projection at the same image-channel layers with the same multipliers (no DAS; three seeds, per-model std ≤3.5 pp): it falls below the base (−8.8 pp), confirming the steering lift (+23.0 pp) comes from the learned vector, not the freedom of a rank-1 edit.
ConditionImage (%)Δ vs. base (pp)Text (%)Text−Image (pp)
Baseline14.7—43.428.6
Random rank-1 projection (image)5.9−8.8——
SFT52.7+38.086.333.6
Steering37.7+23.053.315.6
(b) Qwen3.5-9B, pri→ctx, L14–21
(b) Qwen3.5-9B, pri→ctx, L14–21

실제로 확인된 결과

  • 세 개 서로 다른 계열 모델(Qwen2.5VL-3B, Qwen3.5-4B, Gemma-4-E2B-IT)에서 반사실적 속성(다리 개수)이 재구성 이미지에 93.4~97.8%의 비율로 정확히 나타났다.
  • 미세조정을 하지 않은 기본 모델은 이미지를 따르라는 지시와 무시하라는 지시를 동시에 만족하는 비율(PairAcc)이 평균 14.7%로 매우 낮았다.
  • 공간-시간 속성 하나로만 지도미세조정(SFT)을 했는데도 여섯 모델 평균 PairAcc가 14.7%에서 52.7%로 올랐고, 색상과 공간-시간 과제에서는 80% 근처까지 향상됐으며 다른 세 과제(개수, 무게 등)에도 일부 전이됐다.
  • 활성화 패칭으로 시각-사전지식 트레이드오프가 여섯 모델 모두에서 몇 개 층으로 좁게 국지화됨을 확인했으며, 정확한 위치는 모델 구조마다 달랐다.
  • 지시문 없이 학습된 조향 벡터 하나만 적용해도 평균 PairAcc가 14.7%에서 37.7%로 올랐고, 무작위로 만든 방향벡터를 같은 방식으로 적용하면 5.9%로 오히려 기본값보다 떨어져 학습된 벡터의 효과가 특정 방향에서만 나옴을 확인했다.
(c) Gemma-4-E4B, ctx→pri, L20–25
(c) Gemma-4-E4B, ctx→pri, L20–25

어디에 쓸 수 있나

  • 멀티모달 모델이 이미지 근거와 사전지식 중 무엇을 우선할지 지시로 통제해야 하는 서비스(예: 이상 탐지, 사실확인 챗봇)에서 통제 가능성을 진단하는 방법으로 활용할 수 있다.
  • 특정 속성(개수, 무게 비교 등 추론이 필요한 항목)에서 모델이 이미지를 무시하고 상식에 의존하는 경향이 강하다는 점을 감안해 프롬프트 설계나 후처리 검증에 참고할 수 있다.
  • 적은 데이터(1,136개 샘플)로 한 가지 속성만 미세조정해도 다른 속성으로 통제력이 일부 전이된다는 결과는, 제한된 라벨링 자원으로 시각 근거 준수 능력을 높이려는 실무에 참고가 될 수 있다.
(d) Gemma-4-E4B, pri→ctx, L20–27
(d) Gemma-4-E4B, pri→ctx, L20–27

한계와 남은 검증

  • 재구성 실험과 벤치마크는 색상, 개수, 크기, 무게, 공간-시간 등 비교적 거친(coarse-grained) 속성에 한정되며, 세밀한 질감이나 작은 객체 같은 미세 정보에는 적용되지 않는다.
  • 개수(Count)와 무게(Weight)처럼 이미지만 보고 직접 답을 읽어낼 수 없고 추론이 필요한 속성은 미세조정이나 조향으로도 개선 폭이 작았다.
  • 조향 벡터는 지도미세조정 모델에서 위치를 찾은 뒤 기본 모델에 적용한 것으로, 기본 모델이 원래부터 조향 가능한 상태였다는 뜻은 아니다.
  • 텍스트 채널이 이미지 채널보다 일관되게 통제하기 쉬웠고 이 격차는 모델 규모가 커질수록 벌어졌는데, 왜 그런지에 대한 설명은 이후 연구 과제로 남겨졌다.
  • 실험은 세 모델 계열, 총 여섯 개 모델에 한정되어 있어 다른 아키텍처나 더 큰 모델에 이 결과가 그대로 적용되는지는 확인되지 않았다.
Figure 7: An instruction-free steering knob recovers controllability over the vanilla model, and the visual channel stays harder to control than text. Per-model macro pair-accuracy (probability scorer); left: image, right: text. Steering lifts every model; text is uniformly higher (Appendix E).
Figure 7: An instruction-free steering knob recovers controllability over the vanilla model, and the visual channel stays harder to control than text. Per-model macro pair-accuracy (probability scorer); left: image, right: text. Steering lifts every model; text is uniformly higher (Appendix E).

왜 중요한가

지금까지는 멀티모달 AI가 이미지를 잘 못 봐서 틀린다고 여겨졌지만, 이 연구는 실제로는 이미지 정보를 이미 갖고 있으면서도 그것을 쓸지 말지를 스스로 조절하지 못하는 게 문제라는 걸 보였다. 이는 향후 개선 방향을 인코더 성능 향상이 아니라 모델이 시각 정보와 사전지식 중 무엇을 따를지 결정하는 내부 메커니즘 쪽으로 옮겨야 한다는 뜻이다.

Figure 8: Metaquery Framework. Without learnable queries, we adapt the Metaquery to only use the image tokens of the final layers of a MLLM.
Figure 8: Metaquery Framework. Without learnable queries, we adapt the Metaquery to only use the image tokens of the final layers of a MLLM.

이 논문의 용어

  • MLLM(멀티모달 대형언어모델) · 이미지와 텍스트를 함께 입력받아 답을 생성하는 AI 모델
  • 활성화 패칭 · 모델 내부 특정 층의 계산값을 다른 입력에서 나온 값으로 바꿔 넣어, 그 층이 결과에 얼마나 영향을 주는지 알아보는 분석 기법
  • 조향 벡터(steering vector) · 모델 내부 표현의 한 방향을 학습해 그 값을 강제로 바꾸면, 별도 지시문 없이도 모델의 행동(이미지를 따를지 사전지식을 따를지)을 바꿀 수 있게 하는 벡터
  • PairAcc(짝 정확도) · 같은 예제에서 '이미지를 따르라'는 지시와 '무시하라'는 지시 둘 다를 동시에 만족해야 정답으로 치는 엄격한 평가 지표
  • 반사실적(counterfactual) 이미지 · 현실 세계 상식과 다른 내용(예: 다리가 여섯 개인 동물)을 담은 이미지
Figure 9: The SFT lift reproduces under exact-match at lower absolute values. Per-task pair-accuracy (exact-match scorer, image channel). Orange: baseline (with intent instructions); blue: SFT (LoRA, trained on Spatial-Temporal only; all other tasks are out-of-distribution). The qualitative pattern, with large gains on the perceivable attributes and marginal gains on the reasoning-heavy ones, matches the probability scorer (Figure 5).
Figure 9: The SFT lift reproduces under exact-match at lower absolute values. Per-task pair-accuracy (exact-match scorer, image channel). Orange: baseline (with intent instructions); blue: SFT (LoRA, trained on Spatial-Temporal only; all other tasks are out-of-distribution). The qualitative pattern, with large gains on the perceivable attributes and marginal gains on the reasoning-heavy ones, matches the probability scorer (Figure 5).

본문에 싣지 못한 그림

  • Figure 1: One MLLM, two opposite failures. A single model lacks a stable setpoint on the visual context-sensitivity axis between its parametric prior and the image, giving rise to two opposite failure modes: (Left) Prior-dominant failures, where strong parametric priors overwhelm anomalous visual input; and (Right) Context-dominant failures, where the model over-indexes on visual features even when instructed to ignore them..
원문에서 그림 보기 →

저자 · Jiaang Li

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL MEDIA 최신 기사

그림 출처: Jiaang Li et al., arXiv:2607.26326, CC BY 4.0