不对称容量分配在自优化管道中

自优化，通常由生成、批判和修订三个阶段组成，是提高LLM生成能力广泛采用的范式。本文对Qwen3和Gemma 3的6个和4个模型大小在不同领域的5个基准上进行了自优化管道的模型大小研究。研究发现，较大的生成器和修订器通常可以提高管道性能，而较小的修订器甚至可能损害性能。此外，性能对批判者的大小高度不敏感，尽管包括一个小的批判者始终优于完全省略批判。结果表明，模型容量不应在自优化管道中均匀分配，不同阶段表现出不同的规模扩展特性，为设计更高效的多元语言模型系统提供了实际指导。