컴백부터 K-뷰티까지 — K-컬쳐의 모든 것을 메일로 받아보세요메일로 받아보기

METAL MEDIA

문장 9개짜리 감정 이름만으로 AI 속 '긍정-부정' 방향을 찾아내면, 그 방향이 텍스트뿐 아니라 그림, 소리, 심지어 뇌파에서도 똑같이 통했다

arXiv:2608.180902026-08-20

Nine Emotion Centroids: A Label-Free Valence Axis That Transfers Across Four Modalities

문장 9개짜리 감정 이름만으로 AI 속 '긍정-부정' 방향을 찾아내면, 그 방향이 텍스트뿐 아니라 그림, 소리, 심지어 뇌파에서도 똑같이 통했다

언어모델 안에는 문장이 긍정적인지 부정적인지를 나타내는 하나의 내부 방향(V축)이 숨어 있다. 연구자는 라벨 수천 개가 필요한 기존 방식 대신, 감정 단어 9개와 짧은 이야기 약 450개만으로 이 방향을 뽑아냈고, 이렇게 찾은 방향이 이미지·오디오·뇌파를 다루는 서로 다른 인공지능 모델에서도 그대로 나타났다. 이 방향을 모델에서 강제로 지우면 감정 분류 성능이 크게 떨어져, 단순한 상관관계가 아니라 실제로 감정 판단에 쓰이는 핵심 요소임이 확인됐다.

METAL MEDIA 해설 도표

문장 9개짜리 감정 이름만으로 AI 속 '긍정-부정' 방향을 찾아내면, 그 방향이 텍스트뿐 아니라 그림, 소리, 심지어 뇌파에서도 똑같이 통했다

  1. 01분노, 혐오, 공포, 슬픔, 즐거움 등 9가지 감정 이름과 감정별 짧은 이야기 약 50개(총 450개)만 사용해, 기존 지도학습 방식보다 라벨을 약 1500배 적게 쓰고도 '긍정-부정' 방향(V축)을 찾아냈다.
  2. 02이야기들을 얼려둔(추가 학습 없는) 인공지능 모델에 넣어 나온 내부 벡터를 감정별로 평균 낸 뒤, 이 9개 평균 벡터가 가장 크게 퍼지는 방향(주성분 분석의 1번 방향)을 V축으로 정했다.
  3. 03이 V축은 텍스트(Llama-3-8B 기준 SST-2 감정분류 AUC 0.772, 지도학습 대비 93% 수준), 이미지(EmoSet, 사람이 매긴 감정 점수와 상관계수 0.636), 오디오(ESC-50, AUC 0.906), 뇌파(FACED, AUC 0.720)에서 모두 지도학습 분류기와 7퍼센트포인트 이내로 근접한 성능을 보였다.
  4. 04언어모델의 내부 상태에서 V축 방향을 수술하듯 제거하자 감정분류 정확도가 3개 모델에서 5.5~37.2퍼센트포인트나 떨어졌지만, 크기가 같은 무작위 방향을 제거했을 때는 최대 0.88퍼센트포인트만 떨어져, V축이 실제로 감정 판단에 쓰이고 있음을 보여줬다.
  5. 05텍스트로만 학습한 2개짜리 아주 단순한 분류기가 이미지(AUC 0.961), 오디오(0.764), 뇌파(0.828) 데이터에도 라벨 없이 그대로 통했는데, 이는 일반적인 16차원 공통 특징을 쓴 경우(0.525, 우연 수준)보다 훨씬 뛰어난 결과였다.
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.

무엇을 했나

  1. 분노, 혐오, 공포, 슬픔, 즐거움 등 9가지 감정 이름과 감정별 짧은 이야기 약 50개(총 450개)만 사용해, 기존 지도학습 방식보다 라벨을 약 1500배 적게 쓰고도 '긍정-부정' 방향(V축)을 찾아냈다.
  2. 이야기들을 얼려둔(추가 학습 없는) 인공지능 모델에 넣어 나온 내부 벡터를 감정별로 평균 낸 뒤, 이 9개 평균 벡터가 가장 크게 퍼지는 방향(주성분 분석의 1번 방향)을 V축으로 정했다.
  3. 이 V축은 텍스트(Llama-3-8B 기준 SST-2 감정분류 AUC 0.772, 지도학습 대비 93% 수준), 이미지(EmoSet, 사람이 매긴 감정 점수와 상관계수 0.636), 오디오(ESC-50, AUC 0.906), 뇌파(FACED, AUC 0.720)에서 모두 지도학습 분류기와 7퍼센트포인트 이내로 근접한 성능을 보였다.
  4. 언어모델의 내부 상태에서 V축 방향을 수술하듯 제거하자 감정분류 정확도가 3개 모델에서 5.5~37.2퍼센트포인트나 떨어졌지만, 크기가 같은 무작위 방향을 제거했을 때는 최대 0.88퍼센트포인트만 떨어져, V축이 실제로 감정 판단에 쓰이고 있음을 보여줬다.
  5. 텍스트로만 학습한 2개짜리 아주 단순한 분류기가 이미지(AUC 0.961), 오디오(0.764), 뇌파(0.828) 데이터에도 라벨 없이 그대로 통했는데, 이는 일반적인 16차원 공통 특징을 쓴 경우(0.525, 우연 수준)보다 훨씬 뛰어난 결과였다.
Figure 1: V-axis ablation degrades sentiment readout in three LLMs; matched-norm random-direction ablation does not. Bars: drop in SST-2 dev accuracy (pp) from inference-time projection out of the residual stream of the V-axis (dark) vs. K=3 matched-norm random directions (light, error bar = std). Annotation: drop in pp. z is |V-drop|/σrandom. Each panel uses the model’s sentiment-optimal block; Qwen3-8B uses block 23 (depth 0.86), consistent with the reasoning-distillation depth shift (§7).
Figure 1: V-axis ablation degrades sentiment readout in three LLMs; matched-norm random-direction ablation does not. Bars: drop in SST-2 dev accuracy (pp) from inference-time projection out of the residual stream of the V-axis (dark) vs. K=3 matched-norm random directions (light, error bar = std). Annotation: drop in pp. z is |V-drop|/σrandom. Each panel uses the model’s sentiment-optimal block; Qwen3-8B uses block 23 (depth 0.86), consistent with the reasoning-distillation depth shift (§7).
Table 1: V-axis (label-free for text/image/audio, supervised-in-axis for EEG) recovers supervised-classifier valence within 7 pp AUC across four modalities. Recipe AUC: held-out AUC of σ​(⟨x,v1⟩) where v1 is the V-axis (text Pearson r for vision). Sup. AUC: a logistic-regression head trained on the modality’s full label set (nSST-2=6,920; nEmoSet=11,811; nESC-50=2,000; nFACED=123 subjects). Ratio: recipe/supervised. See §3.
ModalityEncoderDatasetRecipe AUCSup. AUCRatiop
TextLlama-3-8B-Inst (block 20)SST-20.7720.82893%—
TextQwen3-8B (block 31, depth 0.86)SST-20.7870.84094%—
VisionCLIP-img-768EmoSetr=+0.636r=+0.8179%null 0.112
AudioCLAP-aud-512ESC-500.9060.9496%2.2×10−15
EEGCBraMod-200FACED0.720±0.0550.8387%3.65×10−8
Figure 2: All 12/12 cross-modal cells transfer at AUC ≥0.70. Rows: source modality on which the 2-parameter logistic head was fitted (binary valence labels). Columns: target modality evaluated. Diagonal: 5-fold self-CV (ntext=8,872; nimage=5,905; naudio=1,040; nEEG=1,725). Off-diagonal: cross-modal, nsource∈{728,1034,4133,8000}, no target labels at the head-fitting stage. See §5.
Figure 2: All 12/12 cross-modal cells transfer at AUC ≥0.70. Rows: source modality on which the 2-parameter logistic head was fitted (binary valence labels). Columns: target modality evaluated. Diagonal: 5-fold self-CV (ntext=8,872; nimage=5,905; naudio=1,040; nEEG=1,725). Off-diagonal: cross-modal, nsource∈{728,1034,4133,8000}, no target labels at the head-fitting stage. See §5.
Table 2: V-axis directional ablation drops SST-2 sentiment classification by 5.5–37.2 percentage points across three LLMs (≥12​σ above matched-norm null in every row). Columns: Base/V-abl.: SST-2 dev-split accuracy (%) without/with V-axis projection ablation. Drop (V): V-ablation accuracy − baseline accuracy (pp). Random: mean±std drop over K=3 matched-norm random-direction draws. z=|Drop(V)|/σRandom. nval=872. Source: experiments/d31_causal_mediation/results/. See §4.
ModelBlockBase (%)V-abl. (%)Drop (V)Random (μ±σ)z
Llama-3-8B-Inst2087.9682.45−5.50 pp−0.15±0.05 pp109
Qwen3-1.7B1884.4068.58−15.83 pp−0.88±1.24 pp12
Qwen3-8B2387.6150.46−37.16 pp−0.08±0.19 pp196
Figure 3: V-axis recipe (blue) matches supervised heads (grey) within 7 pp AUC across four modalities; null directions (red dashed) sit at chance. Bars: V-axis vs. supervised performance per modality. Vision: Pearson r to crowdworker valence (EmoSet). Other modalities: held-out AUC. Same numbers as Table 1 in the main paper.
Figure 3: V-axis recipe (blue) matches supervised heads (grey) within 7 pp AUC across four modalities; null directions (red dashed) sit at chance. Bars: V-axis vs. supervised performance per modality. Vision: Pearson r to crowdworker valence (EmoSet). Other modalities: held-out AUC. Same numbers as Table 1 in the main paper.
Table 3: 4×4 V-axis cross-modal AUC matrix; all 12/12 off-diagonal cells ≥0.70. Each entry: held-out AUC of a 2-parameter logistic regression trained on source modality V-axis projections (binary valence) and evaluated on target modality projections. Diagonal: 5-fold CV self-AUC. Off-diagonal: cross-modal transfer with no target-modality labels at the head-fitting stage; sign per modality is fixed once from the source positive class (no off-diagonal sign search). Random-direction baselines per off-diagonal cell are 0.52–0.59. See §5.
Source ↓ Target →TextImageAudioEEG
Text0.741 (CV)0.9610.7640.828
Image0.7250.960 (CV)0.7640.828
Audio0.7250.9610.751 (CV)0.828
EEG0.7250.9610.7640.867 (CV)
Table 4: One sentiment-specific dimension beats 16 generic dimensions by 0.18–0.44 AUC for cross-modal sentiment transfer. All entries: held-out AUC of an SST-2-trained classifier evaluated on EmoSet image valence (ntest=1,772). The bridge in each row replaces the V-axis with the listed substrate. See §5.
Bridge between text and image encoderCross-modal AUC
Generic K=16 substrate (same encoder family)0.525 (chance)
Random K=16 subspace≈ chance
Cross-encoder-family substrate (CLIP-text + CLAP-audio)≈ chance
Raw 768-D CLIP-text features0.771
V-axis (1-D, sentiment-specific)0.961

왜 중요한가

감정처럼 사람이 느끼는 애매한 속성도 아주 적은 예시만으로 AI 내부에서 정확히 짚어낼 수 있고, 그 방향이 텍스트를 넘어 이미지·소리·뇌파까지 공유된다는 것은 감정 인식 시스템을 훨씬 싸고 빠르게 만들 수 있다는 뜻이다. 다만 같은 방법으로 Llama와 Mistral 계열 모델은 생성 결과를 감정 방향으로 조종할 수 있었지만 Qwen과 Gemma 계열은 안 됐다는 점에서, 이 기술이 모델을 감정적으로 조작하는 데 악용될 위험도 함께 논의해야 한다.

이 논문의 용어

  • V축(valence axis) · AI 내부 표현 공간에서 문장·이미지 등이 얼마나 긍정적인지 부정적인지를 나타내는 단일 방향
  • 잔차 스트림(residual stream) · 트랜스포머 모델의 각 층이 정보를 계속 더해가며 쌓아가는 내부 상태의 흐름
  • 주성분 분석(PCA) · 여러 데이터가 가장 크게 퍼져 있는 방향을 찾아내는 통계 기법
  • AUC · 분류기가 정답과 오답을 얼마나 잘 구분하는지 나타내는 지표로, 1에 가까울수록 좋고 0.5는 무작위 수준
  • 방향성 제거(directional ablation) · 모델 내부 상태에서 특정 방향의 성분만 골라 강제로 지워버리는 실험 기법

저자 · Yousef Radwan

arXiv에서 원문 보기

최신 논문

논문 전체 보기 →

METAL MEDIA 최신 기사

그림 출처: Yousef Radwan et al., arXiv:2608.18090, CC BY 4.0