编码器扩展相关 AI 资讯 · AI 热点

8月28日

17:41

17:41

官方账号arXiv cs.AI@Frederik Berenz

精选73°

研究人员提出Successive Capacity Growth (SCG)方法，从最小编码器(1头,2层,28.3K参数)开始，根据任务复杂度逐步扩展宽度或深度。在60维多目标动力学任务中，SCG深度扩展使预测损失降低20.3%，参数效率比固定大模型高56倍。在2D导航任务中，单次宽度扩展比固定大模型性能提升23%。

论文 JEPA Vision Transformer SCG

推荐理由：JEPA世界模型编码器不再需要预分配最大容量，SCG方法能根据任务需求逐步扩展，显著提升计算和数据效率。