#多token预测

Google 刚公开 Gemma 4 的技术细节，包括 31B 多模态模型和 12B 无编码器版本，还有量化训练和 MTP 新招，搞开源模型的可以看看。

Geek@geekbb原文

做物理信号预测或自回归模型长程展开的开发者，这篇论文用严谨的消融实验揭示了多 token 预测的关键作用，值得仔细看实验设计。