论文精选76°

中科大开源智能体驱动长上下文训练范式:30B模型媲美Qwen3-235B

USTC Open-Sources Agent-Driven Long-Context Training Paradigm: 30B Matches Qwen3-235B

精选理由

中科大用30B模型打平235B的长上下文能力,做长上下文训练的团队可以直接复用这套开源范式,省下大量算力和数据成本。

AI 摘要

中国科学技术大学(USTC)研究人员开源了一种创新的智能体驱动长上下文训练范式,该范式通过智能体引导的数据生成和训练策略,显著提升了长上下文处理效率。实验表明,一个30亿参数的模型在长上下文任务上达到了与阿里巴巴Qwen3-235B模型相当的性能,而参数量仅为后者的八分之一。这一突破降低了长上下文模型训练的门槛,为资源有限的团队提供了高效方案。该范式已开源,有望推动长上下文AI应用的普及。

AI 翻译 · 中文

中国科学技术大学(USTC)研究人员开源了一种创新的智能体驱动长上下文训练范式,该范式通过智能体引导的数据生成和训练策略,显著提升了长上下文处理效率。实验表明,一个30亿参数的模型在长上下文任务上达到了与阿里巴巴Qwen3-235B模型相当的性能,而参数量仅为后者的八分之一。这一突破降低了长上下文模型训练的门槛,为资源有限的团队提供了高效方案。该范式已开源,有望推动长上下文AI应用的普及。

pandailyResearchers at the University of Science and Technology of China (USTC) have open-sourced a novel agent-driven long-context training paradigm that achieves breakthrough efficiency — a 30-billion-parameter model matching