3DZip: Spatial-Aware Feature Diversity-Guided Token Compression for 3D Question Answering
3D 공간 질문응답 AI, 토큰을 1400개에서 128개로 줄여도 성능은 94.7% 유지
3D 비전-언어 모델은 여러 시점의 카메라 이미지를 3D 공간에 투영해 토큰을 만드는데, 이 과정에서 한 장면당 수천 개의 토큰이 생겨 계산 부담이 크다. 3DZip은 공간적으로 가까운 토큰을 먼저 뭉치고, 그중 특징이 서로 다른 토큰을 골라 대표로 남기고, 나머지를 대표 토큰에 다시 합치는 3단계 압축 방법을 제안한다. SQA3D, OpenEQA, ScanQA 세 벤치마크에서 기존 압축 방법들보다 일관되게 높은 정확도를 보였고, 128개 토큰만으로 원래 성능의 94.7%를 유지하면서 추론 속도는 1.92배 빨라졌다.
METAL MEDIA 해설 도표
3DZip의 3단계 토큰 압축 흐름
증거 상태측정 결과가 보고됨
입력: 다시점 3D 토큰여러 카메라 시점의 2D 이미지 특징을 깊이·카메라 위치 정보로 3D 좌표에 투영해 만든, 장면당 수천 개의 '공간을 아는 토큰'
1단계: 거친 격자 묶기(voxelization)같은 물리적 위치를 여러 시점에서 겹쳐 찍어 생긴 중복 토큰을 일정 크기의 3D 격자 단위로 평균 내어 줄인다
2단계: 특징 다양성 기반 대표 선택(DPP)격자로 줄인 토큰들 중 서로 특징(내용)이 겹치지 않는 대표 토큰(anchor)을 DPP 방식으로 골라, 같은 물체를 반복해서 대표로 뽑는 문제를 줄인다
3단계: 공간 제약 병합대표로 뽑히지 않은 나머지 토큰을 가까운 위치의 대표 토큰에만 합쳐, 기하학적 일관성을 지키면서 주변 정보를 보완한다
출력: 압축된 토큰 집합최종적으로 128개(또는 64/32개) 정도로 줄어든 토큰이 언어모델에 전달돼 3D 질문응답에 사용된다
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
3D 비전-언어 모델(3D VLM)은 여러 카메라 시점의 2D 이미지 특징을 깊이 정보와 카메라 위치를 이용해 3D 공간 좌표로 옮겨 '공간을 아는 토큰'을 만드는데, 장면 하나에 수천 개씩 생겨 메모리와 연산 비용이 크다는 문제를 다뤘다.
저자들은 같은 물체를 여러 방향에서 찍어 생기는 '물체 단위 중복'이 단순히 위치가 가까운 토큰을 합치는 것만으로는 해결되지 않는다는 점을 실험으로 보였다. 위치 기준으로 다양한 토큰을 고르면(XYZ-DPP) 물체의 51%만 커버했지만, 특징(내용) 기준으로 다양한 토큰을 고르면(Feature-DPP) 70%까지 커버율이 올라갔다.
이를 바탕으로 3DZip은 1단계에서 가까운 위치의 토큰을 격자(voxel)로 묶어 중복을 줄이고, 2단계에서 Determinantal Point Process(행렬식점과정, DPP)라는 방법으로 서로 다른 특징을 가진 대표 토큰(anchor)을 고르고, 3단계에서 나머지 토큰을 공간적으로 가까운 대표 토큰에만 합쳐 기하학적 정합성을 지키는 3단계 파이프라인으로 설계됐다.
LLaVA-3D를 기반 모델로 삼아 FastV, SparseVLM, VisionZip, VisPruner 같은 2D용 압축 기법과 3D 전용 기법인 DTC와 비교한 실험에서, 3DZip은 128/64/32개 토큰 예산 전부에서 가장 높은 정확도를 보였다.
RTX 4090 한 대에서 측정한 결과, LLaVA-3D 원본(1410개 토큰, 342ms)에 비해 3DZip(128개 토큰)은 178ms로 추론 속도가 1.92배 빨라졌고, FLOPs는 90.2% 줄고 KV 캐시 용량은 86.0% 줄었으며 정확도는 55.7에서 53.2로 2.5점만 낮아졌다.
Figure 1: (a) Per-object token allocation under different selection strategies. Object coverage is defined as the fraction of GT object instances that contain at least one selected token, computed using GT object masks and aggregated over 10 scenes from SQA3D. Spatial sampling (XYZ-DPP) concentrates tokens on large objects (51% coverage), whereas Feature-DPP distributes tokens more evenly across objects, increasing coverage to 70%. (b) 3DZip overview. 3DZip compresses dense 3D tokens to only 128 while retaining 94.7% accuracy and achieving 1.92× faster inference.
Table 1: Comparison of token compression methods. The 3D-Aware column indicates whether spatial geometry is explicitly considered during token selection.
Method
3D-Aware
ScanQA
SQA3D
OpenEQA
Rel.
All 1410 Tokens
LLaVA-3D (ICCV’25)
✓
26.5
55.7
60.3
100.0%
Retain 128 Tokens ↓(9.1%)
FastV (ECCV’24)
✗
21.9
50.9
56.0
88.9%
SparseVLM (ICML’25)
✗
21.8
50.3
53.9
87.3%
VisionZip (CVPR’25)
✗
22.2
51.5
56.2
89.8%
VisPruner (ICCV’25)
✗
22.3
52.0
55.8
90.0%
Voxelization
✓
23.6
51.5
54.6
90.7%
DTC (CVPR’25)
✓
22.1
51.3
54.8
88.8%
3DZip (Ours)
✓
24.2
53.2
58.6
94.7%
Retain 64 Tokens ↓(4.5%)
FastV (ECCV’24)
✗
21.1
49.5
53.8
85.9%
SparseVLM (ICML’25)
✗
20.9
49.8
53.6
85.7%
VisionZip (CVPR’25)
✗
20.0
49.1
53.4
84.1%
VisPruner (ICCV’25)
✗
21.9
50.1
53.9
87.3%
Voxelization
✓
21.9
49.8
54.6
87.5%
DTC (CVPR’25)
✓
21.3
50.2
54.3
86.8%
3DZip (Ours)
✓
23.3
52.8
56.7
92.3%
Retain 32 Tokens ↓(2.3%)
FastV (ECCV’24)
✗
19.9
47.7
52.5
82.6%
SparseVLM (ICML’25)
✗
20.4
48.7
52.2
83.7%
VisionZip (CVPR’25)
✗
19.6
47.0
52.0
81.5%
VisPruner (ICCV’25)
✗
20.9
49.1
53.5
85.2%
Voxelization
✓
20.7
47.9
53.4
84.2%
DTC (CVPR’25)
✓
20.6
48.8
52.6
84.2%
3DZip (Ours)
✓
21.9
51.1
55.7
88.9%
Figure 2: Overview of geometry-aware 3D token construction and the compression objective. Multi-view RGB-D inputs are projected into world coordinates to form geometry-aware 3D tokens 𝒱 via 3D positional embedding. Due to the large token cardinality N=M×N2D, an efficient token compression strategy is crucial.
Table 2: Category-wise OpenEQA results. 3DZip achieves the highest average at all token budgets, with the largest gains in attribute recognition and object recognition.
OpenEQA
Method
attribute recognition
functional reasoning
object localization
object recognition
object state recognition
spatial understanding
world knowledge
Avg.
All 1410 Tokens
LLaVA-3D (ICCV’25)
64.0
62.7
51.5
55.9
73.7
54.2
59.1
60.3
Retain 128 Tokens ↓(9.1%)
FastV(ECCV’24)
57.8
58.9
46.8
47.7
75.6
45.3
59.4
56.0
SparseVLM(ICML’25)
54.0
54.1
48.3
45.9
74.1
44.5
55.5
53.9
VisionZip(CVPR’25)
58.4
57.8
48.4
51.0
69.4
47.2
60.9
56.2
Voxelization
56.3
58.5
47.2
47.2
68.6
49.1
54.9
54.6
DTC(CVPR’25)
56.4
57.7
48.5
46.2
71.5
47.2
55.3
54.8
3DZip (Ours)
64.2
60.0
50.0
53.2
72.5
49.5
60.1
58.6
Retain 64 Tokens ↓(4.5%)
FastV(ECCV’24)
51.2
58.2
47.1
43.2
76.3
43.2
56.7
53.8
SparseVLM(ICML’25)
50.6
57.8
46.5
45.3
74.3
45.2
55.5
53.6
VisionZip(CVPR’25)
51.7
57.4
48.6
44.7
69.4
45.6
56.3
53.4
Voxelization
50.8
61.4
46.2
47.9
71.5
48.5
55.7
54.6
DTC(CVPR’25)
55.5
58.2
45.5
43.2
74.1
47.8
55.0
54.3
3DZip (Ours)
60.9
59.7
48.8
51.2
69.6
48.1
58.0
56.7
Retain 32 Tokens ↓(2.3%)
FastV(ECCV’24)
50.7
58.6
43.9
41.2
73.6
42.6
56.6
52.5
SparseVLM(ICML’25)
50.8
57.4
45.6
40.6
73.3
42.9
54.2
52.2
VisionZip(CVPR’25)
51.0
57.0
45.2
42.6
68.1
44.4
55.6
52.0
Voxelization
50.4
60.3
46.9
43.8
68.8
46.1
57.7
53.4
DTC(CVPR’25)
51.3
56.8
45.1
42.9
72.2
44.2
55.6
52.6
3DZip (Ours)
56.3
59.7
47.4
50.5
70.7
47.7
57.4
55.7
Figure 3: Overview of the proposed three-stage token compression pipeline. Given geometry-aware 3D tokens 𝒱, we first apply coarse voxelization to obtain a spatially reduced set 𝒱vox. We then perform diversity-aware anchor selection via DPP on 𝒱vox to identify semantically representative anchors 𝒜. Finally, spatially-constrained token merging aggregates nearby non-anchor tokens into anchors to produce the compressed set 𝒱′.
Table 3: Component-wise ablation results on SQA3D. (a) feature vs. spatial distance in anchor selection, (b) the effect of varying voxel sizes (δ) in coarse voxelization, and (c) the role of the merging step and spatial constraints.
Method
EM
All 1410 Tokens
LLaVA-3D
55.7
Retain 64 Tokens
Voxelization
49.8
DTC (CVPR’25)
50.2
Spatial distance
50.1
Feature distance
52.8
Retain 32 Tokens
Voxelization
47.9
DTC (CVPR’25)
48.8
Spatial distance
49.0
Feature distance
51.1
Figure 4: Qualitative comparison of retained 3D tokens on OpenEQA. VisPruner tends to allocate many tokens to floor regions, while DTC may miss some key objects in the scene. In contrast, 3DZip retains tokens on multiple semantically important objects and further enriches them through spatially-constrained merging.
(a)
Method
EM
All 1410 Tokens
LLaVA-3D
55.7
Retain 64 Tokens
Voxelization
49.8
DTC (CVPR’25)
50.2
Spatial distance
50.1
Feature distance
52.8
Retain 32 Tokens
Voxelization
47.9
DTC (CVPR’25)
48.8
Spatial distance
49.0
Feature distance
51.1
Figure 5: Additional qualitative examples on SQA3D. This figure illustrates the retained 3D tokens produced by 3DZip across different indoor scenes.
(b)
Method
EM
All 1410 Tokens
LLaVA-3D
55.7
Retain 64 Tokens
w/o Coarse voxelize
51.8
δ=0.1m
52.6
𝜹=0.2m
52.8
δ=0.3m
52.1
Retain 32 Tokens
w/o Coarse voxelize
50.2
δ=0.1m
50.9
𝜹=0.2m
51.1
δ=0.3m
50.6
Figure 6: Additional qualitative examples on OpenEQA. This figure illustrates the retained 3D tokens produced by 3DZip across different indoor scenes.
(c)
Method
EM
All 1410 Tokens
LLaVA-3D
55.7
Retain 64 Tokens
DTC (CVPR’25)
50.2
w/o Merge
52.5
w/o Spatial-Const.
52.3
w/ All
52.8
Retain 32 Tokens
DTC (CVPR’25)
48.8
w/o Merge
50.5
w/o Spatial-Const.
50.8
w/ All
51.1
Figure 7: Additional qualitative examples on ScanQA. This figure illustrates the retained 3D tokens produced by 3DZip across different indoor scenes.
Table 4: Efficiency and accuracy comparison on a single RTX 4090 using SQA3D.
Method
Retain Tokens
FLOPs (T)
Latency (ms/sample)
Cache Size (MB)
EM
LLaVA-3D
1410
9.18
342
722
55.7
FastV (ECCV’24)
128
1.41
191
139
50.9
DTC (CVPR’25)
128
0.90
196
101
51.3
3DZip (Ours)
128
0.90
178
101
53.2
Figure 8: Object-level token allocation across selection strategies on the full SQA3D test scenes. Per-object token counts for 1,729 foreground object instances across 67 ScanNet scenes from the SQA3D test split. The voxel-only distribution (gray) reveals a pronounced long-tail pattern, where a small subset of objects receives a disproportionately large number of tokens. Spatial sampling (XYZ-DPP) reduces the extreme concentration but still allocates tokens to a limited subset of objects, resulting in 47% object coverage. In contrast, Feature-DPP promotes diversity in feature space and distributes tokens more evenly across object instances, improving object coverage to 64%.
Table 5: Generalization across projection-based 3D VLM models. We evaluate 3DZip on two recent projection-based 3D VLMs, Video-3D-LLM and SR-3D. Under identical token budgets, 3DZip consistently outperforms all baselines across both architectures, demonstrating that the proposed compression strategy generalizes beyond the LLaVA-3D model used in the main experiments.
Method
ScanQA
SQA3D
OpenEQA
All 3920 Tokens
Video-3D-LLM (CVPR’25)
29.9
58.4
59.4
Retain 128 Tokens ↓(3.3%)
VisPruner (ICCV’25)
23.6
51.2
53.5
Voxelization
24.6
52.2
52.9
DTC (CVPR’25)
23.7
51.9
53.5
3DZip (Ours)
24.7
53.1
54.6
Retain 64 Tokens ↓(1.6%)
VisPruner (ICCV’25)
22.3
49.2
51.4
Voxelization
22.7
50.0
51.9
DTC (CVPR’25)
22.5
49.2
52.0
3DZip (Ours)
23.8
52.2
54.6
Retain 32 Tokens ↓(0.8%)
VisPruner (ICCV’25)
21.0
48.4
50.2
Voxelization
20.9
48.3
50.3
DTC (CVPR’25)
20.8
49.0
50.0
3DZip (Ours)
23.3
51.8
53.0
(a) Video-3D-LLM [52]
Method
ScanQA
SQA3D
OpenEQA
All 3920 Tokens
Video-3D-LLM (CVPR’25)
29.9
58.4
59.4
Retain 128 Tokens ↓(3.3%)
VisPruner (ICCV’25)
23.6
51.2
53.5
Voxelization
24.6
52.2
52.9
DTC (CVPR’25)
23.7
51.9
53.5
3DZip (Ours)
24.7
53.1
54.6
Retain 64 Tokens ↓(1.6%)
VisPruner (ICCV’25)
22.3
49.2
51.4
Voxelization
22.7
50.0
51.9
DTC (CVPR’25)
22.5
49.2
52.0
3DZip (Ours)
23.8
52.2
54.6
Retain 32 Tokens ↓(0.8%)
VisPruner (ICCV’25)
21.0
48.4
50.2
Voxelization
20.9
48.3
50.3
DTC (CVPR’25)
20.8
49.0
50.0
3DZip (Ours)
23.3
51.8
53.0
(b) SR-3D [9]
Method
ScanQA
SQA3D
OpenEQA
All 2420 Tokens
SR-3D (ICLR’26)
29.6
61.0
61.7
Retain 128 Tokens ↓(5.3%)
VisPruner (ICCV’25)
23.0
51.5
54.3
Voxelization
22.8
51.1
52.2
DTC (CVPR’25)
23.5
51.4
53.5
3DZip (Ours)
24.2
53.2
54.5
Retain 64 Tokens ↓(2.6%)
VisPruner (ICCV’25)
21.9
50.3
52.0
Voxelization
21.1
48.8
49.6
DTC (CVPR’25)
21.1
49.6
52.0
3DZip (Ours)
23.1
51.9
52.6
Retain 32 Tokens ↓(1.3%)
VisPruner (ICCV’25)
20.1
49.1
51.5
Voxelization
19.9
47.9
50.3
DTC (CVPR’25)
19.7
48.1
51.4
3DZip (Ours)
21.5
49.6
51.7
Table 6: 3D dense captioning results on the Scan2Cap benchmark. We compare 3DZip with existing token compression methods under different token budgets.
Method
CIDEr
BLEU-4
METEOR
ROUGE-L
All 1410 Tokens (Baseline)
LLaVA-3D (ICCV’25)
65.8
11.2
15.5
37.0
Retain 128 Tokens ↓(9.1%)
VisPruner (ICCV’25)
43.9
9.5
13.9
33.9
DTC (CVPR’25)
39.9
9.0
13.4
33.7
3DZip (Ours)
49.2
9.6
14.3
34.4
Retain 64 Tokens ↓(4.5%)
VisPruner (ICCV’25)
38.9
9.0
13.6
33.2
DTC (CVPR’25)
36.0
8.8
13.3
33.1
3DZip (Ours)
45.7
9.3
14.0
33.8
Table 7: Additional captioning-oriented metrics on ScanQA. We report BLEU-4, METEOR, ROUGE-L, and CIDEr scores under different token budgets. 3DZip consistently outperforms existing token compression methods across all metrics.
Method
CIDEr
BLEU-4
METEOR
ROUGE-L
EM
All 1410 Tokens (Baseline)
LLaVA-3D (ICCV’25)
85.5
11.2
17.1
43.6
26.5
Retain 128 Tokens ↓(9.1%)
FastV(ECCV’24)
71.8
8.9
14.6
37.4
21.9
SparseVLM(ICML’25)
69.2
9.7
14.0
36.3
21.8
VisionZip(CVPR’25)
73.1
10.9
14.7
37.7
22.2
VisPruner (ICCV’25)
73.1
10.3
14.8
37.7
22.3
Voxelization
75.8
10.5
15.3
39.0
23.6
DTC (CVPR’25)
72.6
10.4
14.8
37.8
22.1
3DZip (Ours)
78.2
11.4
15.6
40.3
24.2
Retain 64 Tokens ↓(4.5%)
FastV(ECCV’24)
68.9
8.0
14.0
36.0
21.1
SparseVLM(ICML’25)
67.4
8.5
13.8
35.5
20.9
VisionZip(CVPR’25)
66.0
8.3
13.7
34.9
20.0
VisPruner (ICCV’25)
71.6
9.0
14.5
37.1
21.9
Voxelization
70.9
10.0
14.6
37.1
21.9
DTC (CVPR’25)
69.5
8.7
14.3
36.6
21.3
3DZip (Ours)
76.1
10.7
15.3
39.0
23.3
Retain 32 Tokens ↓(2.3%)
FastV(ECCV’24)
65.5
8.1
13.6
34.6
19.9
SparseVLM(ICML’25)
65.5
7.8
13.4
34.8
20.4
VisionZip(CVPR’25)
64.9
7.7
13.7
34.7
19.6
VisPruner (ICCV’25)
67.4
8.0
14.0
35.9
20.9
Voxelization
66.9
8.6
13.8
35.4
20.7
DTC (CVPR’25)
67.7
9.0
14.1
35.8
20.6
3DZip (Ours)
70.5
9.7
14.5
37.0
21.9
Table 8: Point-level redundancy under voxel aggregation. PLR (Eq. (21)) is the mean number of tokens surviving per physical point; 1.0 denotes no duplication. PLR drops monotonically with voxel size δ while object purity degrades, and EM peaks at δ=0.2 m.
δ
PLR ↓
Obj. purity ↑
Tok./vox.
EM@64 ↑
w/o
4.74
N/A
N/A
51.8
0.10 m
3.09
0.975
3.1
52.6
0.20 m
2.50
0.915
9.5
52.8
0.30 m
2.25
0.847
19.4
52.1
Table 9: Component-wise ablation on SQA3D. (a) Comparison of diversity-promoting strategies for anchor selection. (b) Effect of different feature-space distance metrics. (c) Effect of the spatial constraint threshold τg in token merging.
Method
EM
All 1410 Tokens
LLaVA-3D
55.7
Retain 64 Tokens
Voxelization
49.8
DTC (CVPR’25)
50.2
FPS-based
52.2
MMDP-based
52.5
DPP-based
52.8
Retain 32 Tokens
Voxelization
47.9
DTC (CVPR’25)
48.8
FPS-based
51.0
MMDP-based
51.0
DPP-based
51.1
(a)
Method
EM
All 1410 Tokens
LLaVA-3D
55.7
Retain 64 Tokens
Voxelization
49.8
DTC (CVPR’25)
50.2
FPS-based
52.2
MMDP-based
52.5
DPP-based
52.8
Retain 32 Tokens
Voxelization
47.9
DTC (CVPR’25)
48.8
FPS-based
51.0
MMDP-based
51.0
DPP-based
51.1
(b)
Method
EM
All 1410 Tokens
LLaVA-3D
55.7
Retain 64 Tokens
Voxelization
49.8
DTC (CVPR’25)
50.2
ℓ1
52.5
ℓ2
52.4
Cosine
52.8
Retain 32 Tokens
Voxelization
47.9
DTC (CVPR’25)
48.8
ℓ1
50.9
ℓ2
50.6
Cosine
51.1
(c)
Method
EM
All 1410 Tokens
LLaVA-3D
55.7
Retain 64 Tokens
(w/o Merge)
52.5
τg=1
52.5
τg=3
52.7
τg=5
52.8
τg=7
52.6
(w/o Spatial-Const.)
52.3
Retain 32 Tokens
(w/o Merge)
50.5
τg=1
50.6
τg=3
50.9
τg=5
51.1
τg=7
51.1
(w/o Spatial-Const.)
50.8
Table 10: Comparison with 2D Diversity-based method. 3DZip consistently outperforms DivPrune, demonstrating that spatial awareness is a necessary complement to feature diversity in 3D token compression.
Method
3D-Aware
ScanQA
SQA3D
OpenEQA
Rel.
All 1410 Tokens
LLaVA-3D (ICCV’25)
✓
26.5
55.7
60.3
100.0%
Retain 128 Tokens ↓(9.1%)
DivPrune (CVPR’25)
✗
22.2
51.6
57.3
90.5%
3DZip (Ours)
✓
24.2
53.2
58.6
94.7%
Retain 64 Tokens ↓(4.5%)
DivPrune (CVPR’25)
✗
20.6
50.6
56.2
87.3%
3DZip (Ours)
✓
23.3
52.8
56.7
92.3%
Retain 32 Tokens ↓(2.3%)
DivPrune (CVPR’25)
✗
19.6
49.3
54.9
84.5%
3DZip (Ours)
✓
21.9
51.1
55.7
88.9%
Table 11: Robustness of Stage 2 to different Stage-1 aggregation strategies (SQA3D). Under an identical 64-token budget, adding DPP-based anchor selection (Stage 2) consistently improves EM across all Stage-1 strategies. All variants exclude Stage 3; “+ DPP” denotes adding Stage 2 on top of the corresponding Stage-1 aggregation strategies.
Method
EM
ConceptFusion [21]
50.3
ConceptFusion + DPP
52.7 +2.4
OpenFusion++ [22]
49.8
OpenFusion++ + DPP
52.3 +2.5
Voxel-mean
49.8
Voxel-mean + DPP
52.5 +2.7
Table 12: Fine-grained performance analysis on ScanQA (EM@64 tokens). Subsets: Fine detail (shape/contour/material/color), Local struct. (part-/local structure), Small obj. (bottom 10% by size). Small obj. purity: fraction of a voxel’s tokens from one small object.
Method
EM@64 ↑
Small obj. purity ↑
All
Fine.
Local.
Small obj.
3DZip (Full)
23.3
30.5
22.4
19.5
0.426
w/o Voxel (S2+S3)
22.8
31.7
22.4
21.6
N/A
Voxel-only (S1)
21.9
29.9
20.1
16.9
0.070
Table 13: Scene-size dependence on SQA3D. At a 32-token budget, small scenes favor smaller δ and tighter τg, large scenes the opposite; the fixed setting (δ=0.2m, τg=5) is the best overall trade-off.
Param.
Small
Overall
Large
Retain 32 Tokens (↓2.3%)
δ=0.1m
54.1
50.9
43.8
δ=0.2m
53.6
51.1
44.6
δ=0.3m
53.5
50.6
43.8
τg=1
54.1
50.6
43.8
τg=3
53.9
50.9
44.9
τg=5
53.6
51.1
44.6
τg=7
53.6
51.1
45.9
Table 14: Latency comparison of token selection methods at K=128. We report the selection algorithm time, total inference latency, and the proportion of the selection overhead relative to the total time.
Method
Retain Tokens
Algorithm Latency (ms)
Total Latency (ms)
Overhead (%)
DTC
128
36
196
18.4
DPP (Ours)
128
18
178
10.1
실제로 확인된 결과
SQA3D 64토큰 기준으로 3DZip은 EM 52.8을 기록해 DTC(50.2), VisionZip(49.1)을 앞섰고, 32토큰에서도 51.1을 유지해 2D용 기법과 기존 3D 기법을 모두 앞섰다.
128토큰과 64토큰 예산에서 원본 대비 성능 유지율(Rel.)이 각각 94.7%, 92.3%로 비교 기법 중 가장 높았다.
OpenEQA 세부 항목에서 속성 인식은 128토큰에서 64.2점으로 무압축(64.0)에 근접했고 2위 기법보다 5.8점 높았으며, 물체 인식은 32토큰에서도 50.5를 유지해 6.7점 격차로 가장 컸다.
위치 기준 DPP(XYZ-DPP) 대신 특징 기준 DPP를 쓰면 64토큰 기준 EM이 50.1에서 52.8로 올랐고, 물체 커버율도 51%에서 70%로 개선됐다(SQA3D 10개 장면 분석 기준).
RTX 4090에서 LLaVA-3D 원본 342ms 대비 3DZip은 178ms로 지연시간이 48.0% 줄었고, 같은 128토큰 조건에서 DTC(196ms)보다도 9.2% 더 빨랐다.
어디에 쓸 수 있나
실내 로봇이나 임베디드 AI가 3D 장면을 보고 질문에 답해야 할 때 계산 자원을 줄이는 전처리 단계로 고려할 수 있다.
이미 학습된 3D VLM(LLaVA-3D 등) 위에 추가 학습 없이 얹어 추론 속도를 높이는 용도로 참고할 수 있다.
Video-3D-LLM, SR-3D 같은 다른 투영 기반 3D VLM 구조에도 같은 방식으로 적용을 시도해볼 수 있다.
한계와 남은 검증
1단계 격자 묶기(voxelization) 과정에서 작은 물체의 토큰이 주변 물체나 배경과 합쳐져 세부 정보가 손실될 수 있다고 저자들이 직접 분석했다.
격자 크기(δ)와 병합 거리 임계값(τg) 같은 하이퍼파라미터가 모든 장면에 동일하게 고정돼 있어, 장면 크기나 물체 밀도가 다른 환경에서는 최적이 아닐 수 있다.
OpenEQA 평가는 HM3D 서브셋의 원본 카메라 경로 데이터가 더 이상 공개되지 않아 ScanNet 서브셋만으로 진행됐다.
작은 물체나 세부 형태·재질을 묻는 질문에서는 격자 묶기를 뺀 버전보다 오히려 성능이 낮게 나와, 이 부분은 아직 해결되지 않은 한계로 남아 있다.
장면 크기별로 하이퍼파라미터를 다르게 주면 더 좋은 결과가 나올 수 있음이 확인됐지만, 장면 복잡도에 자동으로 맞추는 방법은 향후 과제로 남겨져 있다.
왜 중요한가
3D 공간 질문응답, 실내 로봇, 임베디드 AI처럼 3D 장면을 실시간으로 이해해야 하는 응용에서는 토큰 수가 많으면 GPU 메모리와 지연시간이 병목이 되는데, 이 연구는 정확도를 크게 잃지 않으면서 토큰을 90% 이상 줄이는 방법을 제시한다. 특히 별도 학습 없이 기존 3D VLM 위에 적용 가능하다는 점에서 실제 배포 비용을 낮추는 데 참고할 만하다.
이 논문의 용어
3D VLM(3D 비전-언어 모델) · 이미지와 깊이 정보를 3D 공간 좌표에 투영해 텍스트로 3D 장면을 이해하고 답하는 인공지능 모델
토큰 · 모델이 처리하는 정보 조각 단위. 여기서는 이미지의 한 영역이 3D 위치와 함께 표현된 것
Determinantal Point Process(DPP) · 여러 후보 중에서 서로 겹치지 않고 다양한 조합을 골라내는 확률적 선택 방법
voxel(복셀) · 3D 공간을 일정한 크기의 격자로 나눈 하나의 칸
EM(Exact Match) · 모델의 답이 정답과 정확히 일치하는 비율로 측정하는 정확도 지표
