10:39
官方账号arXiv cs.LG@Zhuoyi Yang, Ian G. Harris, Salar Hashemitaheri, Cassie Huang, Yuangang Li, Hyunwoo Oh, Paul Dourish, Tony Givargis, Mohsen Imani, Li Zhang
推荐理由：这篇论文研究了自优化管道中模型大小分配的影响，发现不同阶段对模型大小的需求不同，为设计更高效的LLM系统提供了新的视角。
LLM系统
共 1 条相关 AI 资讯
8月24日
10:39
自优化，通常由生成、批判和修订三个阶段组成，是提高LLM生成能力广泛采用的范式。本文对Qwen3和Gemma 3的6个和4个模型大小在不同领域的5个基准上进行了自优化管道的模型大小研究。研究发现，较大的生成器和修订器通常可以提高管道性能，而较小的修订器甚至可能损害性能。此外，性能对批判者的大小高度不敏感，尽管包括一个小的批判者始终优于完全省略批判。结果表明，模型容量不应在自优化管道中均匀分配，不同阶段表现出不同的规模扩展特性，为设计更高效的多元语言模型系统提供了实际指导。