Event ·Single source

arXiv 研究：给训练好的模型加循环层只有小模型才划算

一篇 arXiv 论文研究了给已预训练模型加 loop（重复应用部分层）是否能摊平推理成本。在 Qwen3 和 Qwen3.5 的 0.8B、4B、9B 三种规模上，只有 0.8B 循环模型同时胜过同参数量和同 FLOPs 两个基线。4B 和 9B 的循环模型连同参数量的无循环基线都打不过，而同基准下无循环 9B 模型仍比 4B 高出最多 13 分，说明不是基准太简单。结论是后训练加循环只适合参数预算固定的小模型。

Current read

想省显存给模型加循环层？这篇论文实测了 Qwen3 从 0.8B 到 9B 的效果，结论是小模型才划算，大模型纯亏推理算力。

2 sources41° AI heatLast updated 2026/10/30 16:56:29

Evidence

2 sources

Primary sourcearXiv cs.LG

2026/10/30 16:56:29View source

Related source 1IT之家

2026/11/1 01:02:52View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.

Open the story