09:16
官方账号arXiv cs.AI@Zitian Gao, Yilong Chen, Yihao Xiao, Xinyu Yang, Ran Tao, Joey Zhou, Bryan Dai
推荐理由：研究者发布了Loopie循环Transformer，用更少活跃参数在IMO和IPhO拿到金牌，比普通模型强很多。
Loopie
共 1 条相关 AI 资讯
7月20日
09:16
Loopie系列包含两个MoE模型：20B参数（2B活跃）和6B参数（0.6B活跃）。它解决了循环Transformer的经典问题：在预训练计算量增加N倍时，循环N次不如增加参数N倍。实验表明，Loopie显著优于相同计算预算的普通Transformer基线。后训练阶段赋予模型强推理能力，在2025年IMO和IPhO中获得金牌（无外部工具）。