11:16
官方账号arXiv cs.AI@Nathan Godey, Yoav Artzi
精选
推荐理由：想省训练算力又不想掉性能？这个嵌套训练法把三个模型塞一个架构里，直接省36%算力，还顺带加速推理，值得一看。
Matryoshka
共 1 条相关 AI 资讯
8月11日
11:16
Matryoshka训练框架将500M、1.5B和3B三个子模型堆叠进单一嵌套架构，端到端训练。相比独立训练基线，该套件在基准性能和困惑度上持平，但训练计算量减少36%。嵌套结构天然支持投机解码，吞吐量提升14-26%。论文还消融了关键架构选择，为构建强Matryoshka套件提供指导。