AITOP

Qwen3-4B

共 4 条相关 AI 资讯
8月20日
10:18
10:18官方账号arXiv cs.AI@Zhu Zhang, Jixun Wang, Xiaoang Xu, Xiaorong Wang, Zihan Zhou, Zhiyuan Wang, Shuo Wang, Chaojun Xiao, Yuezhi Zhou
长语境推理任务中，传统策略蒸馏存在教师支持偏差导致效果下降问题。该研究提出GC-OPD组校准策略，对Qwen3-4B等模型优化后，在五个长语境基准测试中表现提升。应用该策略后，Qwen3-8B模型的平均得分从35.12提升至44.65，验证了方法有效性。
论文Qwen3-4BQwen3-8BLong-Context
推荐理由：SolereZhang团队推出的GC-OPD方法，用于优化Qwen系列大模型完成长语境任务，比传统方法效果更好，值得尝试一下。
原文
7月23日
11:23
11:23官方账号arXiv cs.AI@Adel ElZemity, Shujun Li, Budi Arief
论文测试了11个开源小语言模型(SLM)、3个网络安全预训练模型和6个前沿大语言模型(LLM)在Meta的CyberSecEval恶意软件分析基准上的表现。设计了四种编排架构：多智能体管道、对抗性辩论、层级咨询和混合系统。混合系统（Qwen3-4B与Foundation-Sec-8B）达到35.30%准确率，超过最强网络安全基线22.54%和最强无基线前沿模型34.77%。有证据的Gemini达到38.22%，表明证据导向的编排可显著提升协作SLM的性能。
论文Qwen3-4BFoundation-Sec-8BCyberSecEval
推荐理由：别总盯着大模型花钱了，用Qwen3-4B和Foundation-Sec-8B组队就能干翻GPT，这篇论文给了具体方法和数据。
原文
6月29日
10:08
10:08官方账号arXiv cs.AI@Difan Jiao, Raghav Singhal, Robert West, Ashton Anderson
Tandem Reinforcement Learning (TRL) 将 tandem 训练范式引入带可验证奖励的强化学习（RLVR）。TRL 让一个较强的 senior 模型与一个冻结的 junior 模型随机交替协作生成推理过程，对最终结果给予奖励，并对 senior 应用标准 GRPO 损失。在 Qwen3-4B-Instruct 上使用竞赛数学训练，TRL 的 solo 推理能力与 vanilla GRPO 持平，但同时提升了 senior 与 junior 的交接鲁棒性、减少了 junior 侧分布漂移，并产出了对 junior 更易理解的思维链。该工作为多模型通信与人类兼容性提供了实际收益的路径。
AI模型TRLQwen3-4BGRPO
推荐理由：他们提出了 TRL，让强模型和弱模型组队推理，强模型学会写弱模型能看懂的推理过程。训练 Qwen3-4B 后，单打能力不降，协作能力更强。
原文
6月18日
15:10