Tokenizer（分词器）

分词器是把文本切成模型能够处理的token片段的部件。具体在哪里切、怎么切，每个模型的设计都不一样。

关键在于，不同语言的切分效率并不相同——同样的内容，韩语往往会被切出比英语更多的token，这正是「明明说的是同一句话，韩语用户却要多付费」这一争论的根源。有关韩语专用模型或分词器改进的新闻，说的通常就是在降低这种低效率。