긴 문서를 줄이는 프롬프트 압축기가 답은 남기고 그 답을 이해할 근거는 지워버리는 경우가 흔하다
arXiv:2608.045692026-08-04
Relevant but Incomplete: Referential Dangling as a Paradigm-Level Failure Mode in Hard Prompt Compression
긴 문서를 줄이는 프롬프트 압축기가 답은 남기고 그 답을 이해할 근거는 지워버리는 경우가 흔하다
긴 문서를 짧게 줄이는 프롬프트 압축기들은 문장이나 문단을 각각 독립적으로 점수를 매겨 중요한 것만 남기는데, 이 과정에서 답이 담긴 문장은 남기고 그 답을 해석하는 데 필요한 앞선 정의나 연결 정보는 지워버리는 일이 자주 벌어진다. 저자는 이를 '참조 매달림(referential dangling)'이라 이름 붙이고, 여러 압축기와 데이터셋에서 이 현상이 얼마나 자주 나타나는지, 놓친 문단을 다시 넣으면 정답률이 얼마나 오르는지, 그리고 이를 자동으로 복원하는 분류기가 얼마나 도움이 되는지를 측정했다. 압축률 0.30 기준으로 이 문제는 최대 60%까지 나타났고, 놓친 문단을 되돌리면 정답률이 최대 34점포인트까지 오르는 것으로 확인됐다.
METAL MEDIA 해설 도표
참조 매달림이 생기고 복원되는 과정
증거 상태측정 결과가 보고됨
1. 독립 채점 압축압축기가 문장·문단을 각각 점수 매겨 예산 안에서 상위 것만 남기고 나머지는 삭제, 이때 답 문장과 그 정의 문단이 분리될 수 있다
2. 참조 매달림 진단여섯 압축기·세 데이터셋·LongBench-v2 문서에서 답은 남았는데 정의가 빠진 비율(ρd)을 측정, 32~60% 범위로 확인
3. 고정 예산 재선택빠진 지지 문단을 되돌리고 무관한 문단을 같은 토큰 수만큼 제거해 예산은 유지하되 내용만 바꿔 정답률 변화를 측정
4. 자동 복원 분류기지지 문단 주석 없이 누락 문장이 필요한지 판별하는 소형 분류기를 학습시켜 추론 시점에 상위 후보만 되돌려 넣음
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
압축률 0.30에서 Qwen3-0.6B 임베딩 기반 압축기 Beaver를 세 개의 멀티홉 질의응답 데이터셋(HotpotQA, 2WikiMultiHopQA, MuSiQue)에 적용했을 때, 답을 이해하는 데 필요한 정의 문단이 빠진 사례가 34~54%에 달했다.
같은 HotpotQA 브리지 예시 184개에 여섯 개의 서로 다른 압축기(임베딩, 자기정보량, 학습된 분류기, 구문 파싱, 퍼플렉시티, 어텐션 기반 신호를 각각 사용)를 돌려본 결과 모두 이 문제를 보였고, 비율은 32~60%였으며 질의를 활용하는지 여부와는 관련이 없었다.
LongBench-v2의 단일 문서 질의응답 80개 문서 전부에서 최소 한 건의 참조 매달림이 발견됐고, 하위 7개 주제 영역 모두에서 25~37% 범위의 비율로 나타났다.
빠진 지지 문단을 되돌리고 답변과 무관한 문단을 같은 토큰 수만큼 빼서 예산을 유지했을 때, Qwen3-8B 기준 정답률이 29~34점포인트 올랐고(p<0.0001) 이는 두 지지 문단을 모두 남긴 완전 조건과의 정답률 차이 중 최소 88%를 회복한 수준이었다. 반면 MuSiQue에서 GPT-5.5는 압축된 문맥에서 완전 조건보다 8.8점포인트 낮은 정답률을 보여, 더 강한 모델도 이 손실을 스스로 메우지 못했다.
지지 문단 정답 표시 없이도 누락된 문장이 필요한지 판별하도록 소형 분류기(bert-base-uncased)를 학습시켜 자동으로 상위 후보 문장을 되돌려 넣는 방식을 시험했더니, HotpotQA에서 Qwen3-8B 기준 정답률이 4.7점포인트 올랐고 압축률은 0.30에서 0.31로 거의 변하지 않았다.
Figure 1: Referential dangling with a missing bridge. Independent scoring retains the query subject and the answer string but removes the fact that Tim DuBois was born in Southwest City, leaving the inference chain incomplete.
Table 1: Referential dangling and complete evidence retention under Beaver at r=0.30.
Dataset
Hops
ρd (%)
ρe (%)
HotpotQA
2
34.2
61.0
2WikiMultiHopQA
2
53.5
30.7
MuSiQue
2 to 4
54.2
27.0
Figure 2: Referential dangling under Beaver. Panel (a) reports ρd across compression ratios on HotpotQA (n=269 to 300 per point, including partial paragraph retention). Panel (b) reports ρd by annotated hop count on HotpotQA (n=234), 2WikiMultiHopQA (n=241), and MuSiQue (n=286). Panel (c) reports dangling rates for 4,649 reference pairs in LongBench-v2 Single-Document QA by sentence distance from first mention to later reference. Error bars are bootstrap 95% confidence intervals.
Table 2: Pairwise Jaccard similarities between dangling case sets on the shared HotpotQA bridge set (n=184) at compression ratio 0.30. The first row reports the dangling rate of each compressor. Abbreviations match Figure 3.
BEAVER
PartPr.
Sel.-Ctx
LLML-2
DAC
LongLL
Dangling rate (%)
32.1
47.8
51.6
56.0
58.7
59.8
BEAVER
N/A
0.36
0.23
0.30
0.29
0.32
PartPr.
0.36
N/A
0.36
0.44
0.44
0.37
Sel.-Ctx
0.23
0.36
N/A
0.39
0.35
0.51
LLML-2
0.30
0.44
0.39
N/A
0.47
0.45
DAC
0.29
0.44
0.35
0.47
N/A
0.48
LongLL
0.32
0.37
0.51
0.45
0.48
N/A
Figure 3: Dangling rates for six compressors on the shared HotpotQA bridge set (n=184) at compression ratio 0.30. PartPr. denotes PartPrompt, Sel.-Ctx denotes Selective-Context, LLML-2 denotes LLMLingua-2, and LongLL denotes LongLLMLingua. All outputs are evaluated using the content-word overlap criterion with threshold 0.5. Light bars denote methods that use the query, and darker bars denote methods that do not.
Table 3: Answer accuracy with base contexts produced by Beaver at target compression ratio 0.30. Panel 1 uses the dangling subsets of HotpotQA (n=80), 2WikiMultiHopQA (n=72), and MuSiQue (n=102), with McNemar p values comparing Base and Reselected. Panel 2 uses a separate set of 200 HotpotQA examples, with McNemar p values comparing Base and Full support.
Panel 1: dangling subsets evaluated with Qwen3-8B
Dataset
Downstream LLM
Base
Reselected
Full support
McNemar p
HotpotQA
Qwen3-8B
0.287
0.575
0.600
1.6×10−6
2WikiMultiHopQA
Qwen3-8B
0.097
0.403
0.444
1.1×10−5
MuSiQue
Qwen3-8B
0.147
0.490
0.471
3.1×10−8
Panel 2: a 200 example HotpotQA evaluation set with four downstream LLMs
Dataset
Downstream LLM
Base
Full support
McNemar p
HotpotQA
Qwen3-8B
0.535
0.615
0.001
Qwen3-4B
0.500
0.585
0.002
Llama-3.1-8B
0.575
0.660
0.004
Mistral-7B
0.455
0.545
0.0005
Figure 4: Mean salience percentiles (%) for answer and definition sentences among all sentences in 180 bridge examples. Beaver similarity is query-aware; self-information is not.
Table 4: Answer accuracy of proprietary models under Base and Full support, with base contexts produced by Beaver at target compression ratio 0.30. HotpotQA uses the full shared bridge set, while MuSiQue uses the dangling subset. GLM-5.2 returned answers for 95 of the 102 MuSiQue contexts because of API timeouts.
Model
Dataset
n
Base
Full support
McNemar p
GPT-5.5
HotpotQA
184
0.913
0.913
1.0
GPT-5.5
MuSiQue
102
0.775
0.863
0.011
GLM-5.2
MuSiQue
95
0.695
0.937
2.4×10−7
Figure 5: Dangling rate across content-word-overlap thresholds for 184 bridge examples (Figure 3; ratio 0.30).
Table 5: Changes in answer accuracy, in percentage points relative to Base, for candidate sources with a fixed classifier and Qwen3-8B (K=3). Hybrid augments first-mention candidates with embedding retrieval, and the final row includes the annotated supporting sentence in the candidate set.
Candidate source
HotpotQA
2WikiMultiHopQA
First mention
+4.7 (p=0.022)
+0.5 (not significant)
All mentions
+4.5 (p=0.15)
+4.0 (p=0.20)
Hybrid
+4.5 (p=0.12)
+5.5 (p=0.063)
Annotated support included
+8.0 (p=0.008)
N/A
Figure 6: Referential dangling examples from HotpotQA, 2WikiMultiHopQA, MuSiQue, and LongBench-v2 Single-Document QA. Each panel shows the original context and the compressed output.
Table 6: Dangling rate (%) across content-word overlap retention thresholds on the same 184 bridge examples as Figure 3 at compression ratio 0.30. The 0.5 column matches Figure 3.
Overlap threshold
0.3
0.4
0.5
0.6
0.7
LLMLingua-2 (token)
28.3
43.5
56.0
57.6
36.4
Beaver (chunk)
19.6
25.0
32.1
36.4
40.2
Figure 7: Accuracy gains from full support and first-mention automatic restoration on HotpotQA (Beaver at ratio 0.30, K=3). Full support uses 200 examples; restoration uses 300 for Qwen3-8B and Llama-3.1-8B and 200 for Mistral-7B.
Table 7: Robustness of the dangling diagnostic to its three main free choices (HotpotQA, n=300, ratio 0.30 unless swept). Embedding shifts are measured in percentage points relative to the released Qwen3-0.6B embedding setup.
Check
Variation
Outcome
Embedding scorer
Qwen3-0.6B embeddings → GPT-2
+0.9 points
Overlap threshold
0.3 to 0.7
substantial throughout
Compression ratio
0.70 to 0.20
monotonic increase
Table 8: Referential dangling on LongBench-v2 Single-Document QA by subdomain (Beaver, ratio 0.30, n=80 documents). “Mean rate” is the per-document average fraction of retained sentences that are dangling, macro-averaged over documents. “Affected docs” is the fraction of documents with at least one dangling reference.
Subdomain
n
Mean rate
Affected docs
Academic
13
36.5%
100%
Literary
12
34.4%
100%
Financial
12
32.3%
100%
Legal
8
29.1%
100%
Detective
15
27.3%
100%
Event ordering
11
27.0%
100%
Governmental
9
25.1%
100%
All
80
30.5%
𝟏𝟎𝟎%
Table 9: Official checkpoint and API identifiers. Display names are the shorthand used in the paper; exact identifiers are shown for reproducibility.
Table 10: Automatic restoration results with the classifier fixed at K=3. The evaluation uses 300 HotpotQA examples, except for Mistral-7B, which uses 200. Base is Beaver at compression ratio 0.30, and Restored has an average ratio of 0.31. The reported p values use paired McNemar tests.
Downstream LLM
Candidate source
Base
Restored
p
Qwen3-8B
First mention
0.567
0.613
0.022
Mistral-7B
First mention
0.455
0.520
0.012
Llama-3.1-8B
First mention
0.587
0.600
0.60
Llama-3.1-8B
Hybrid
0.587
0.610
0.17
Table 11: Restoration statistics when the Beaver baseline was incorrect (HotpotQA, n=300, compression ratio 0.30; downstream Qwen3-8B). SD denotes standard deviation.
Feature
Fixed (23)
Failed (107)
Sentences added, mean ± SD
2.13 ± 1.08
1.79 ± 1.17
Sentences added, median
3.0
2.0
McNemar: 23 fixes, 9 breaks, p=0.022
Table 12: Matched addition control on HotpotQA with Qwen3-8B (n=300). Random insertion and targeted restoration add the same number of sentences per example (m: mean 1.81, median 2, interquartile range [1,3]; approximately 40 tokens; compression ratio 0.30 to 0.31; K=3). Brackets report bootstrap 95% confidence intervals.
Condition
Accuracy [95% CI]
Δ
Base compressor
0.567 [.51,.62]
N/A
Random insertion, m sentences
0.587 [.53,.64]
+2.0
Targeted restoration, m sentences
0.613 [.55,.67]
+4.7
Table 13: Transfer of one restoration configuration across four compressor outputs on HotpotQA with downstream Qwen3-8B (n≈150 to 300).
Compressor (output type)
Gain
McNemar p
Beaver (coherent chunks)
+4.7
p=0.022
PartPrompt (parse tree spans)
+3.2
0.30
Selective-Context (self-information)
+1.0
0.80
LLMLingua-2 (token fragments)
+1.0
0.75
실제로 확인된 결과
Beaver로 압축률 0.30일 때 세 데이터셋에서 답변 경로 불완전 비율(ρd)이 34.2~54.2%로 측정됐다.
동일 HotpotQA 브리지 184건에 여섯 압축기를 적용한 결과 매달림 비율이 32.1%(Beaver)에서 59.8%(LongLLMLingua)까지 나타났고, 질의 사용 여부와 무관했다.
LongBench-v2 단일 문서 QA 80개 문서 전부에서 최소 한 건의 매달림이 확인됐다.
지지 문단 재배치(Reselected) 조건은 Base 대비 정답률을 28.8~34.3점포인트 높였다(p<0.0001), 완전 지지 조건과의 격차의 88~92%를 회복했다.
자동 복원 분류기는 HotpotQA에서 Qwen3-8B 기준 정답률을 4.7점포인트 높였고(p=0.022), 압축률은 0.30에서 0.31로만 변했다.
어디에 쓸 수 있나
멀티홉 질의응답이나 근거 문서가 여러 개로 나뉜 작업에 프롬프트 압축을 적용할 때 지지 문단 유지 여부를 점검하는 진단 절차로 활용할 수 있다.
기존 압축기 파이프라인에 소형 분류기를 얹어 누락된 근거 문장을 소량 추가로 복원하는 후처리 단계를 시도해볼 수 있다.
압축 방법을 설계·평가할 때 관련성 점수뿐 아니라 참조 완전성 지표를 함께 보고하도록 요구하는 평가 기준으로 참고할 수 있다.
한계와 남은 검증
측정은 Beaver를 중심으로 이루어졌고, 자동 복원 분류기는 Beaver의 문단·문장 단위 출력 구조에 맞춰 설계되어 다른 압축기 출력으로의 전이는 통계적으로 유의하지 않았다.
자동 복원 실험에서 무작위로 같은 수의 문장을 추가한 대조군은 2.0점포인트 향상을 보여, 타깃 복원(4.7점포인트)과의 차이가 이 표본 크기에서는 통계적으로 유의하지 않았다(p=0.15).
참조 매달림 진단은 원문에 명시된 지지 관계만 다루며 상식적 추론이나 외부 지식이 필요한 의존 관계는 포함하지 않는다.
LongBench-v2 진단은 지지 문단 주석이 없어 첫 언급 문장 기준의 별도 방법을 사용했으므로 다른 데이터셋의 ρd와 직접 비교할 수 없다.
저자가 1인이며 압축기 6종, 데이터셋 3~4종, 하드웨어 A100 1종 환경으로 한정된 실험 범위이고, 다른 임베딩·다른 압축률·다른 다운스트림 모델 조합으로의 일반화는 추가 검증이 필요하다.
왜 중요한가
프롬프트 압축은 긴 문서를 다루는 비용을 줄이는 핵심 기법으로 자리 잡고 있지만, 이 연구는 압축이 단순히 '중요한 부분'만 남기면 된다는 통념이 틀릴 수 있음을 보여준다. 압축 시스템을 만들거나 도입하는 사람은 관련성 점수만이 아니라 문장 간 의존 관계(참조 완전성)도 함께 고려해야 한다는 실질적 설계 기준을 얻을 수 있다.
이 논문의 용어
하드 프롬프트 압축(hard prompt compression) · 토큰·문장·문단 단위로 점수를 매겨 예산 안에서 가장 높은 점수의 조각만 원문 그대로 남기는 압축 방식
참조 매달림(referential dangling) · 답이 담긴 문장은 남았지만 그 답을 해석하는 데 필요한 정의나 연결 정보가 삭제되어 추론 사슬이 끊긴 상태
브리지 예시(bridge example) · 질문의 답을 얻기 위해 중간 개체를 거쳐야 하는 멀티홉 질의응답 문제 유형
압축률(compression ratio, r) · 원문 대비 압축 후 남은 토큰 수의 비율
McNemar 검정 · 같은 예시에 대한 두 조건의 정답/오답 여부 변화를 비교하는 통계 검정 방법
