AITOP
精选
过去 24 小时，从 662 条中筛出 45 条
全部模型产品行业论文技巧
标签：循环Transformer×
6月11日
15:28
15:23
15:07
6月1日
00:09
5月29日
08:02
AITOP5月29日 08:02
Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？🔥Anthropic 把 AI 编程的“确认键”彻底删掉了！Claude Code 搭载全新 Opus 4.8 模型，长时间任务不跑偏、不废话、不中断，像一个资深工程师一样默默干活，从功能开发到漏洞清扫全包圆，你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”，现在它直接交完整交付物……自主编程的最后一层窗户纸，被捅破了。做自动化开发和代码审查的团队，这个模型建议直接上手，效率差距肉眼可见……Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？
5月25日
11:24
11:24arXiv cs.LG@Lizhang Chen, Jonathan Li, Chen Liang, Ni Lao, Qiang Liu
精选
研究者提出了一种无需训练的循环Transformer方法，通过在推理时对冻结的预训练模型进行轻量级循环包装，无需微调或架构改动即可提升性能。该方法将Transformer块视为ODE的欧拉步，通过阻尼子步替代大步更新，避免了简单重复块导致的性能下降。在7个模型家族（包括密集、稀疏MoE和MLA+MoE）上验证有效，如Qwen3-4B-Instruct在MMLU-Pro上提升2.64个百分点，Qwen3-30B-A3B-Instruct在CommonsenseQA上提升1.14个百分点。该方法为利用现有模型提升推理能力提供了低成本方案。
论文循环Transformer推理优化无需训练预训练模型ODE视角
推荐理由：这项研究让使用冻结模型的团队无需重新训练就能提升推理性能，做模型部署或推理优化的开发者值得关注，可以直接在现有模型上尝试。
原文
5月13日
19:12
19:12arXiv cs.AI@Jacob Fein-Ashley, Paria Rashidinejad
精选70°
论文提出Attractor Models，用隐式微分求解不动点替代传统循环Transformer的显式迭代，训练内存不随有效深度增长，迭代次数由收敛自适应决定。在语言模型预训练中，770M参数模型超越1.3B Transformer（训练数据多一倍），困惑度降低46.6%，下游准确率提升19.7%。在推理任务中，27M参数模型在Sudoku-Extreme和Maze-Hard上分别达91.4%和93.1%准确率，而Claude和GPT o3完全失败。模型还展现出“平衡内化”现象：训练后可在推理时移除求解器而性能几乎不降。
论文循环Transformer隐式微分不动点求解语言模型推理增强
推荐理由：循环Transformer训练难、部署贵的问题被Attractor Models用不动点求解优雅解决，做语言模型预训练或推理增强的团队值得关注——它用更少参数和成本实现了对更大模型的超越。
原文