#模型缩放

朋友，这篇论文挺有意思的，作者发现用循环结构（looping）来改写模型架构，能显著提升计算效率。比如他们用7.4B模型就达到了GPT-3 13B的性能，但算力只用了1/20，这个方法挺有启发性的。