#计算效率

朋友，这篇论文挺有意思的，作者发现用循环结构（looping）来改写模型架构，能显著提升计算效率。比如他们用7.4B模型就达到了GPT-3 13B的性能，但算力只用了1/20，这个方法挺有启发性的。

PLES让大模型训练调参效率提升10倍，用小规模实验预测大规模最优配置。

LoGo让模型智能决定哪些token需要全局注意力，大幅提升长文本处理效率，比传统Transformer更聪明。

这篇论文把HB和ASGD在批量大小上的效率权衡讲清楚了，特别是那个sqrtκ倍的窗口，对想用动量方法加速训练的人很有参考价值。

形式化证明领域终于有了计算高效的实用方案——4B 模型就能超越 671B 巨无霸，做定理证明或形式化验证的团队可以直接用，省下大量算力成本。

RiM 解决了自回归推理计算效率低的问题，做模型推理优化的研究者可以直接参考其两阶段训练方法。

做情感分析或文本分类的团队，DABS 用单次编码解决了多方面的计算冗余问题，直接复用编码结果能省 60% 算力，建议试试这个轻量方案。