Hugging Face Blog·· 3 小时前AI 评分24
如何通过专精 SLM 词表将实际应用推理成本降低 77%
How Specializing the Vocabulary of SLMs Can Cut Inference Cost by 77% in Real Applications
AI 导读
基于 Qwen3-4B 的葡萄牙语作文评分器通过 VocabX 重建词表，在不改基础模型、数据和训练配方的情况下将实测推理成本降低 77%。VocabX 按每个 token 的成本而非出现频率选择词表，使输出层从约 152,000 行缩减到约 65,000 行。
来源：Hugging Face Blog · huggingface.co