텐센트 Hunyuan팀, 3D 이해·생성·편집을 한 모델로 묶은 Buffalo 1.0 공개
arXiv:2608.027112026-08-02
Hunyuan3D-Buffalo 1.0: A Unified Multimodal Model for Scalable 3D Generation, Understanding, and Editing
텐센트 Hunyuan팀, 3D 이해·생성·편집을 한 모델로 묶은 Buffalo 1.0 공개
Hunyuan3D-Buffalo 1.0은 3D 객체를 이해하고, 텍스트로 새로 만들고, 지시에 따라 편집하고, 부품 단위로 생성하는 일을 하나의 모델로 처리한다. 이를 위해 8700만 개 규모의 3D 멀티모달 학습 데이터를 자체 파이프라인으로 구축했고, 특히 편집 데이터 부족 문제를 Nano3D-v2라는 자동 편집 데이터 생성 알고리즘으로 풀었다. 실험 결과 텍스트-3D 생성과 3D 편집 벤치마크에서 기존 방법들을 능가했고, 생성 능력이 좋아지면 편집 능력도 함께 좋아지는 상호 보완 효과를 확인했다.
METAL MEDIA 해설 도표
Hunyuan3D-Buffalo 1.0 구조 흐름
증거 상태측정 결과가 보고됨
데이터 엔진이해 25M, 텍스트-투-3D 50M, 편집 12M을 자동 파이프라인으로 구축, 총 8700만 샘플
Nano3D-v2시점 선택, 편집 영역 예측, 복셀 편집, 형상·텍스처 다듬기, VLM 검수 5단계로 편집 학습 쌍 자동 생성
Hunyuan3D-VLM3D 점군을 입력받아 물체의 의미·구조·부위 위치를 이해하고 생성용 조건 정보를 제공
Hunyuan3D DiTVLM이 준 조건과 원본 객체 표현을 함께 받아 실제 3D 형상을 확산 방식으로 생성·편집
벤치마크 검증Edit3D-Bench에서 Steer3D 대비 CD 86.7% 감소, F1 2.39배 개선
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
3D 이해(25M), 텍스트-투-3D(50M), 편집(12M) 데이터를 합쳐 총 8700만 개 규모의 3D 멀티모달 학습 코퍼스를 자동 파이프라인으로 구축했다.
3D 언어모델 Hunyuan3D-VLM이 물체의 의미·구조·공간 정보를 이해해 조건 정보를 만들고, 이를 Hunyuan3D DiT라는 확산 모델이 받아 실제 3D 형태를 생성한다.
편집 데이터가 부족한 문제를 풀기 위해 Nano3D-v2라는 에이전트 기반 파이프라인을 새로 만들었다. 시점 선택, 편집 영역을 복셀 단위로 특정하는 학습 모델, 세밀한 형상·텍스처 다듬기, VLM 기반 검수까지 5단계로 진행된다.
Edit3D-Bench 벤치마크에서 기존 최강 모델 Steer3D 대비 형상 오차(Chamfer Distance)를 0.0684에서 0.0091로 86.7% 줄였고, 편집 정확도 지표(F1)는 0.2729에서 0.6515로 2.39배 높였다.
텍스트-투-3D 학습 데이터를 소량(닭 머리 샘플 1000개)만 추가했더니 별도의 편집 데이터 없이도 해당 부위를 편집하는 능력이 새로 생겨나, 생성 능력을 키우는 것이 편집 능력 향상에도 도움이 된다는 것을 보여줬다.
Table 1: Overview of the full training corpus across 3D understanding, text-to-3D generation, and instruction-guided 3D editing.
Capability
Subset
#Samples
3D understanding
Text / image / 3D instruction data
∼25M
Text-to-3D
Text–asset pairs
∼50M
3D editing
Human edits
∼7M
Object edits
∼3M
Part generation
∼2M
Subtotal
∼12M
Figure 1: Hunyuan3D-Buffalo 1.0 is an unified 3D multimodal framework that combines autoregressive modeling with diffusion-based generation, enabling 3D understanding, text-to-3D generation, 3D editing, and text-grounded part generation within a single architecture.
Table 2: Six caption tiers produced per asset.
Tier
Length
Emphasis
Detailed
4–6 sentences (≤120 w)
subject, parts, pose, features
Main
24–30 tokens
structure + key parts
Simplified
15–20 tokens
main parts and fit
Paraphrase
15–20 tokens
reworded Simplified
Short
6–10 tokens
subject + ≤1 attribute
Tags
≤8 keywords
disentangled keywords
Figure 2: Pipeline of constructing text-to-3D training corpus.
Table 3: Comparison of part-level question answering and object-level captioning on UniPart-Bench [103]. The two tasks assess complementary aspects of 3D understanding, including localized part-aware reasoning and holistic object-level semantic description.
Model
Part Understanding Q&A
Overall 3D Object Captioning
SBERT
SimCSE
BLEU-1
ROUGE-L
METEOR
SBERT
SimCSE
BLEU-1
ROUGE-L
METEOR
GPT4Point [63]
48.32
45.17
15.16
22.55
16.19
25.60
27.00
11.50
12.00
12.70
PointLLM-7B [93]
61.30
58.48
21.78
29.26
22.45
42.79
42.44
11.58
14.39
16.90
PointLLM-13B [93]
56.36
51.47
21.40
29.16
21.80
43.51
43.12
13.54
15.74
17.45
ShapeLLM-13B [62]
61.19
57.26
23.32
32.56
24.45
25.15
27.14
11.77
12.14
12.84
ShapeLLM-Omni-7B [103]
57.35
51.16
22.77
29.57
23.24
31.18
31.93
17.79
19.04
14.30
Part-X-MLLM [78]
78.98
84.25
40.54
42.26
34.24
53.82
51.97
36.04
38.11
30.71
UniVerse3D [101]
83.11
87.16
46.79
43.94
42.05
65.18
66.25
42.75
44.17
41.11
Hunyuan3D-VLM (Ours)
85.47
89.06
49.95
45.01
45.79
72.94
73.60
50.93
52.84
50.47
Figure 3: Pipeline of constructing 3D editing training corpus (Nano3D-v2).
Table 4: Detailed all-task evaluation of Hunyuan3D-VLM on UniPart-Bench [103]. The benchmark covers pure box listing, multi-part grounding, single-part grounding, box-to-text generation, and part-level question answering.
Task
Name
IoU
SBERT
SimCSE
BLEU-1
ROUGE-L
METEOR
0
Pure box listing
0.864
-
-
-
-
-
1
Multi-Part Grounding (Q1)
0.880
68.00
68.55
52.06
52.09
26.35
2
Multi-Part Grounding (Q2)
0.844
70.92
69.47
40.04
41.86
38.19
3
Single-Part Grounding (Q1)
0.626
78.95
77.92
45.74
47.47
44.07
4
Single-Part Grounding (Q2)
0.525
-
-
-
-
-
5
Box-to-Text (Q1)
-
67.64
68.27
49.89
50.00
25.45
6
Box-to-Text (Q2)
-
74.13
72.99
42.01
44.28
40.96
7
Part QA
0.633
85.47
89.06
49.95
45.01
45.79
Figure 4: Examples of editing pairs in the training corpus created by Nano3D-v2.
Table 5: Results of the user study for text-to-3D generation. We report the preference rate (%), i.e., the percentage of comparisons in which each model is selected as the best among the four candidates. In each comparison, the four results are shown side by side in randomized order, and participants pick the single best result for each criterion (a “tie” option is also allowed, so columns may sum to slightly below 100%). Higher is better, with a random-choice baseline of 25%. Best results are shown in bold.
Model
Text alignment
Geometry quality
Overall preference
Universe3D [101]
8.2
7.4
8.3
TRELLIS [92]
14.9
12.4
14.4
Omni123 [100]
17.5
21.0
18.4
Hunyuan3D-Buffalo 1.0 (Ours)
55.2
57.1
56.6
Figure 5: Examples of multi-round editing by Nano3D-v2.
Table 6: Ablation on the quantity of training data. We report the preference rate (%), i.e., the percentage of comparisons in which a model is chosen as the best among the three variants. In each comparison, the three results are shown side by side in randomized order, and participants select the best result for each criterion (a “tie” option is also allowed, so columns may sum to slightly below 100%). Higher is better, and the random-choice baseline is 33.3%. Best results are shown in bold.
Num. of samples
Text alignment
Geometry quality
Overall preference
300w
9.9
8.8
8.4
1500w
28.8
29.0
28.6
5000w
54.5
57.4
57.5
Figure 6: Hunyuan3D-Buffalo 1.0 pipeline. The framework unifies 3D QA and grounding, text-to-3D generation, and 3D editing through a shared Hunyuan3D-VLM backbone, which connects language, 3D representations, and generative Hunyuan3D DiT modules for multimodal understanding, generation, and editing.
Table 7: Quantitative comparison of language-guided 3D shape editing on Edit3D-Bench [85]. Both CLIP-conditioned and 3D-VLM-conditioned variants of Hunyuan3D-Buffalo 1.0 are included to analyze the effect of stronger 3D instruction understanding.
Method
Add
Remove
Avg
CD ↓
F1 ↑
CD ↓
F1 ↑
CD ↓
F1 ↑
ShapeLLM-Omni [103]
0.2546
0.0877
0.2237
0.1166
0.2392
0.1022
3DEditFormer [90]
0.1676
0.1955
0.1342
0.1836
0.1509
0.1896
Tailor3D [64]
0.1661
0.1217
0.1755
0.1352
0.1708
0.1285
Steer3D [85]
0.1404
0.2414
0.0976
0.3044
0.1190
0.2729
Omni123 [100]
0.0736
0.1743
0.0632
0.2259
0.0684
0.2001
Hunyuan3D-Buffalo 1.0 w/ CLIP (Ours)
0.0154
0.5657
0.0162
0.7015
0.0158
0.6336
Hunyuan3D-Buffalo 1.0 w/ 3D-VLM (Ours)
0.0127
0.5610
0.0054
0.7420
0.0091
0.6515
Figure 8: Qualitative text to 3D results.
실제로 확인된 결과
Edit3D-Bench에서 Hunyuan3D-Buffalo 1.0(3D-VLM 조건)이 기존 최강 모델 Steer3D 대비 평균 Chamfer Distance를 0.0684에서 0.0091로(86.7% 감소), 평균 F1을 0.2729에서 0.6515로(2.39배) 개선했다.
추가/제거 편집 작업 각각에서 Hunyuan3D-Buffalo 1.0(3D-VLM)이 CD/F1 0.0127/0.5610, 0.0054/0.7420을 기록해 국소적 편집과 나머지 형상 보존을 동시에 잘 해냈다.
같은 모델에서 조건 입력을 CLIP 임베딩 대신 3D-VLM으로 바꾸자 평균 CD가 0.0158에서 0.0091로, 평균 F1이 0.6336에서 0.6515로 개선되어 3D 이해 능력이 편집 성능을 높인다는 것을 확인했다.
텍스트-투-3D 데이터에 닭 머리 관련 샘플 1000개만 추가했더니, 편집 데이터를 전혀 추가하지 않았는데도 해당 부위를 편집하는 능력이 새로 생겼다.
정성 평가에서 Hunyuan3D-Buffalo 1.0은 Omni123, Steer3D 등 비교 모델보다 편집 지시 이행과 원본 형상 보존의 균형이 더 안정적이었다.
Figure 9: Qualitative shape editing results. Our method significantly outperforms all baselines in both geometric consistency before and after editing, and responsiveness to editing instructions.
어디에 쓸 수 있나
게임·애니메이션 제작에서 3D 캐릭터나 소품을 텍스트 지시로 부분 수정(안경 추가, 날개 제거 등)하는 도구
부위 단위로 3D 오브젝트를 분해·재조합해 재사용 가능한 3D 에셋 라이브러리를 만드는 파이프라인
3D 자산에 대해 질의응답이나 부위 위치 안내(그라운딩)를 제공하는 3D 검색·주석 도구
Figure 10: Scaling up text-to-3d data facilitates 3D editing. Model A is our base model; when instructed to edit an object by replacing its head with a chicken head, it fails to produce a satisfactory result. Model B is built upon Model A by adding only 1,000 additional chicken samples for the text-to-3D task during the Omni pre-training stage—crucially, without introducing any new editing data. After incorporating this text-to-3D data, the model can successfully replace the head with a chicken head. This suggests a clear direction: to improve 3D editing, the text-to-3D generation capability should be maximized as much as possible. Since constructing text-to-3D data is far less costly than constructing 3D editing data, scaling up text-to-3D data is a relatively more feasible path toward stronger 3D editing.
한계와 남은 검증
텍스처 편집은 아직 다루지 못하고 기하학(geometry) 편집에 집중되어 있어, 색상·재질 변화를 포함한 완전한 편집은 향후 과제로 남아 있다.
편집 데이터 생성 시 마스크 내부의 비편집 영역 일관성을 보장하기 어려운 구조적 한계가 있어, 이것이 학습 과정에 잡음으로 섞여 들어갈 수 있다.
텍스트-투-3D 데이터 캡션에 여전히 Gemini 등 멀티모달 언어모델을 사용하는데, 이 캡션이 모호해 학습 쌍에 잡음이 생기는 문제가 남아 있다.
TRELLIS 기반의 다단계 확산 파이프라인 구조상 고품질 형상을 얻으려면 다단계 편집이 필요해 확장성에 근본적 제약이 있다.
현재 데이터의 양과 질이 아직 이상적인 규모에 도달하지 못했다고 저자들 스스로 밝히고 있어 추가 스케일업이 필요하다.
Figure 11: Qualitative part generation results.
왜 중요한가
지금까지 3D 이해·생성·편집 모델은 따로따로 만들어져 왔는데, 이 연구는 하나의 모델 안에서 세 능력이 서로 도움을 준다는 것을 실제로 보여준다. 3D 콘텐츠를 다루는 게임·영상·제품 디자인 도구를 만드는 사람에게는 별도 파이프라인 없이 이해·생성·편집을 통합할 수 있는 방향을 제시한다.
Figure 12: Qualitative shape editing results.
이 논문의 용어
Nano3D-v2 · 소스 3D 객체와 편집 지시문을 넣으면 편집된 3D 객체를 자동으로 만들어 학습 데이터로 쌓는 에이전트 기반 파이프라인
Hunyuan3D-VLM · 3D 점군 데이터를 보고 물체의 의미, 구조, 부위 위치까지 이해하는 3D 전용 비전-언어 모델
DiT (Diffusion Transformer) · 노이즈에서 시작해 점진적으로 원하는 형태(여기서는 3D 형상)를 만들어내는 확산 기반 생성 모델
Chamfer Distance · 두 3D 형상 표면 사이의 평균 거리를 재는 지표로, 값이 작을수록 원본과 편집 결과가 기하학적으로 가깝다는 뜻
복셀(voxel) · 3D 공간을 격자로 나눈 최소 단위로, 이미지의 픽셀에 해당하는 3D 버전
