NVIDIA 推出 X-Token：跨分词器知识蒸馏，在 Llama-3.2-1B 上超越 GOLD 3.82 平均分

NVIDIA 提出 X-Token，一种投影引导的跨分词器知识蒸馏（KD）方法，解决了 GOLD 方法中的两个结构性缺陷。在 Llama-3.2-1B 模型上，X-Token 将 GSM8k 准确率从 2.56% 提升至 15.54%，并在多个基准测试中平均超越 GOLD 3.82 分。该方法通过投影层对齐教师和学生模型的分词器，实现了更有效的知识迁移。X-Token 为小模型蒸馏大模型知识提供了新思路，尤其适用于资源受限场景。