인도 소수언어 미조어 음성인식, 데이터 17시간 모으고 Whisper와 SraVaani로 학습시켜보니
arXiv:2608.193612026-08-21
A Speech Corpus for Mizo Automatic Speech Recognition: Whisper and SraVaani 1.0 Fine-Tuning with Morphology-Aware Evaluation
인도 소수언어 미조어 음성인식, 데이터 17시간 모으고 Whisper와 SraVaani로 학습시켜보니
연구진이 인도 미조람 지역에서 쓰이는 저자원 언어 미조어의 음성 데이터 17.62시간을 200명의 화자로부터 모아 정제했다. 이 데이터로 원래 미조어를 지원하지 않는 Whisper 모델과 미조어를 이미 지원하는 인도어 특화 모델 SraVaani 1.0을 각각 미세조정해 성능을 비교했다. Whisper-large-v3가 일반적인 단어오류율 18.08%로 가장 낮았고, 미조어 특유의 띄어쓰기 차이를 감안한 새 평가법으로는 7.22%까지 낮아졌다.
METAL MEDIA 해설 도표
인도 소수언어 미조어 음성인식, 데이터 17시간 모으고 Whisper와 SraVaani로 학습시켜보니
01미조람 지역 화자 200명이 뉴스와 판결문에서 뽑은 약 8천 문장을 웹으로 녹음해 17.62시간, 8274개 문장 단위 음성파일로 정제된 데이터셋을 구축했다.
02이 데이터로 Whisper의 small/medium/large-v3 세 모델과, 원래 미조어를 지원하는 인도어 다국어 모델 SraVaani 1.0을 각각 미세조정하고 화자가 겹치지 않는 학습/검증/테스트로 나눠 평가했다.
03미조어는 한 형태소를 붙여 쓰거나 띄어 쓰는 게 자유로워 기존 단어오류율(WER)이 실제보다 오류를 부풀리는 문제가 있어, 인접한 최대 4개 단어를 이어 붙여 비교하는 형태소 인식 WER(MA-WER)을 새로 만들었다.
04Whisper-large-v3는 일반 WER 18.08%, MA-WER 7.22%로 최고 성능을 냈고, SraVaani 1.0은 원래 상태에서 WER 58.27%였다가 미조어로 미세조정한 뒤 WER 29.45%, MA-WER 17.93%로 크게 개선됐다.
05오류 분석 결과 SraVaani 1.0 원본 모델은 미조어를 다른 인도 문자(메이테이-마엑, 데바나가리)로 잘못 인식하는 사례가 있었고, 인명·지명 오인식, 성문파열음 인식 오류 등이 미세조정 후 크게 줄었다.
METAL MEDIA이 원문을 바탕으로 재구성한 해설 도표이며, 논문 저자의 원문 figure가 아닙니다.
무엇을 했나
미조람 지역 화자 200명이 뉴스와 판결문에서 뽑은 약 8천 문장을 웹으로 녹음해 17.62시간, 8274개 문장 단위 음성파일로 정제된 데이터셋을 구축했다.
이 데이터로 Whisper의 small/medium/large-v3 세 모델과, 원래 미조어를 지원하는 인도어 다국어 모델 SraVaani 1.0을 각각 미세조정하고 화자가 겹치지 않는 학습/검증/테스트로 나눠 평가했다.
미조어는 한 형태소를 붙여 쓰거나 띄어 쓰는 게 자유로워 기존 단어오류율(WER)이 실제보다 오류를 부풀리는 문제가 있어, 인접한 최대 4개 단어를 이어 붙여 비교하는 형태소 인식 WER(MA-WER)을 새로 만들었다.
Whisper-large-v3는 일반 WER 18.08%, MA-WER 7.22%로 최고 성능을 냈고, SraVaani 1.0은 원래 상태에서 WER 58.27%였다가 미조어로 미세조정한 뒤 WER 29.45%, MA-WER 17.93%로 크게 개선됐다.
오류 분석 결과 SraVaani 1.0 원본 모델은 미조어를 다른 인도 문자(메이테이-마엑, 데바나가리)로 잘못 인식하는 사례가 있었고, 인명·지명 오인식, 성문파열음 인식 오류 등이 미세조정 후 크게 줄었다.
Figure 1: Histogram of duration of speech files in the corpus.
Table 1: Data split for training, validation and testing.
Speakers
Sentences
Hours
Training
184
7656
16.18
Validation
11
426
1.02
Testing
05
192
0.42
Figure 2: Schematic diagram showing the flow of the experimental protocol.
Table 2: Durational characteristics of the speech database
Sentences
8274
Total duration
17.62 hours
Minimum duration
0.63 seconds
Maximum duration
41.22 seconds
Mean duration
7.67 seconds
Median duration
6.94 seconds
Table 3: Characteristics of the multilingual ASR models evaluated in this study.
Model
Architecture
Parameters
Pretraining data
Mel bins
Whisper-small
Encoder–Decoder Transformer
244 M
680k h
80
Whisper-medium
Encoder–Decoder Transformer
769 M
680k h
80
Whisper-large-v3
Encoder–Decoder Transformer
1,550 M
∼5M h
128
SraVaani 1.0
FastConformer Hybrid RNNT/CTC
∼430 M
∼31k h
–
Table 4: Fine-tuning configurations used for the ASR models.
Model
Optimizer
LR
Effective batch size
Epochs
Selection
Whisper-small
Adafactor
5×10−6
16
20
Best val. WER
Whisper-medium
Adafactor
5×10−6
16
20
Best val. WER
Whisper-large-v3
Adafactor
5×10−6
16
20
Best val. WER
SraVaani 1.0
AdamW
1×10−4
16
20 + extended
Best val. WER
Table 5: Best epochs and corresponding validation WER of four fine-tuned models.
Model
Best epoch
Validation WER
Whisper-small Mizo–FT
15
28.99
Whisper-medium Mizo–FT
13
26.51
Whisper-large-v3 Mizo–FT
13
23.00
SraVaani 1.0 Mizo–FT
18
33.81
Table 6: Results of evaluation on five models.
Model
CER (%)
WER (%)
MA-WER (%)
Whisper-small Mizo–FT
04.83
24.00
11.49
Whisper-medium Mizo–FT
04.02
21.69
08.87
Whisper-large-v3 Mizo–FT
03.26
18.08
07.22
SraVaani 1.0
17.71
58.27
36.27
SraVaani 1.0 Mizo-FT
06.90
29.45
17.93
Table 7: Error distribution by model. Foreign-script outputs are reported as the number of utterances; all other entries indicate the number of error occurrences.
Model
Foreign script
Names
Glottal stops
Numeral transcripts
Code-mix error
< t Ω >
Whisper-small Mizo–FT
NIL
17
7
2
9
0
Whisper-medium Mizo–FT
NIL
18
6
5
3
0
Whisper-large-v3 Mizo–FT
4 sentences
8
4
3
2
0
SraVaani 1.0
21 sentences
44
9
19
49
31
SraVaani 1.0 Mizo–FT
NIL
24
6
2
19
4
왜 중요한가
이 연구는 인도의 저자원 부족어인 미조어에 대해 처음으로 공개 음성 데이터셋과 미세조정된 ASR 모델, 그리고 언어 특성을 반영한 평가 지표를 함께 내놓아 향후 미조어 음성기술 개발의 발판을 제공한다. 또한 표준 WER이 형태소 경계 표기가 자유로운 언어에서는 실제 인식 품질을 과소평가할 수 있다는 점을 보여줘, 비슷한 티베트-버마어족 언어 평가에도 시사점을 준다.
이 논문의 용어
WER(단어오류율) · 음성인식 결과와 정답 문장을 단어 단위로 비교해 틀린 정도를 나타내는 표준 지표
MA-WER(형태소 인식 WER) · 미조어처럼 형태소 경계의 띄어쓰기가 자유로운 언어를 위해, 인접 단어를 최대 4개까지 붙여 비교하도록 만든 새 오류율 지표
CER(문자오류율) · 단어가 아니라 글자 단위로 오류를 세는 지표
제로샷 평가 · 해당 언어 데이터로 추가 학습하지 않고 사전학습된 모델 그대로 성능을 테스트하는 방식
Whisper / SraVaani 1.0 · Whisper는 다국어 음성인식·번역이 가능한 트랜스포머 기반 모델, SraVaani 1.0은 인도어 여러 언어를 지원하는 다국어 음성인식 모델
