Qwen3 相关 AI 资讯

论文 Agent 与开发者09:44

Elastic Expert Routing：软化 MoE top-k 路由边界，提升 OLMoE 与 Qwen3 微调效果

一篇 MoE 训练论文：把固定 top-k 换成在 k 附近随机采样，Qwen3-30B-A3B 微调能多拿 2 分，推理成本不变。

#MoE #Elastic Expert Routing #OLMoE #Qwen3

arXiv cs.LG@Yunkai Chai 等 7 人原文

论文 Agent 与开发者22:56

研究发现：基础模型加一句前缀即可提升推理成绩

有人发现给基础模型加一句"Okay"开头，Olmo-3-7B 在 MATH-500 就从 42% 涨到 78%，原理分析也很有意思。

#Olmo-3 #Qwen3 #MATH-500 #推理模型

Aran Komatsuzaki (论文推介)@arankomatsuzaki原文

论文 Agent 与开发者19:23

NeutronGym：面向 LLM 智能体的中子仪器设计评测环境

用中子仪器设计测智能体会不会物理，7个模型最多做对7/16题，RL把Qwen3-8B从11%练到77%，比32B还强。

#NeutronGym #Qwen3 #McStas #智能体

arXiv cs.AI@Lijie Ding, Changwoo Do原文

技巧 Agent 与开发者精选71°08:49

Build A Reasoning Model 第 6 讲：用纯 PyTorch 从零实现 GRPO 训练推理模型

Raschka 又更新了，这讲直接用 PyTorch 手写 GRPO，把 Qwen3-0.6B 的数学成绩从 15% 拉到 47%，想搞懂推理模型怎么训的别错过。

#GRPO #Qwen3 #RLVR #DeepSeek-R1

shao__meng@shao__meng原文

论文 Agent 与开发者精选10:41

多令牌预测头后训练方法研究

DeepSeek团队发现，只需少量后训练就能让Qwen3-8B达到与MiMo-7B相当的推理速度，比原方法节省千倍训练资源。

#Qwen3 #MiMo-7B #DeepSeek #多令牌预测

arXiv: DeepSeek@Prachi Badarayani 等 11 人原文

论文 Agent 与开发者10:19

多教师在线蒸馏研究：从梯度到能力

研究Qwen3如何整合多个RL训练教师，发现梯度传递和参数更新的关键机制。

#Qwen3 #MOPD #蒸馏 #RL

arXiv cs.LG@Siqi Zhu 等 7 人原文

模型 Agent 与开发者22:14

微调Qwen3 4B超越Claude Sonnet 4.6

AWS上微调的Qwen3 4B击败了原始模型和Claude Sonnet 4.6，又快又便宜。

#Qwen3 #Claude Sonnet #微调 #AWS

Ate-a-Pi@svpino原文

论文 Agent 与开发者11:08

Semifactual Credit-Augmented Policy Optimization

SCAPO算法通过半事实稳定性改进了令牌级信用分配，在数学和分布外基准上表现优异。

#SCAPO #GRPO #Qwen3 #强化学习

arXiv cs.AI@Junshu Pan 等 8 人原文

论文 Agent 与开发者多源确认11:01

PivotOPD：学习从关键错误中恢复的多轮智能体

NVIDIA新方法让AI智能体犯错后能自我修正，在多个任务上超越13个基线模型。

#PivotOPD #Qwen3 #NVIDIA #多轮智能体

事件专题

arXiv cs.AI@Yinghui He 等 7 人11 个信源在谈原文

模型中美对照多源确认72°13:25

Anthropic指控7家中国公司蒸馏Claude模型

Anthropic点名7家中国公司，揭秘蒸馏技术原理与最新ODP方法，对比RL训练效率提升近10倍。

#Anthropic #Claude #蒸馏 #Qwen3

事件专题

掘金本周最热@程序员于老七11 个信源在谈原文

论文 Agent 与开发者精选10:43

后训练如何改变数学推理能力

这篇论文分析了不同后训练方法对数学推理的影响，发现压缩只是后训练的一种模式，而非普遍解释。

#Qwen3 #DeepSeek-Math #数学推理 #后训练

arXiv: DeepSeek@Hongyang Li 等 6 人原文

模型 Agent 与开发者精选09:37

EASE：自适应行为技能策展框架

MIT团队发布EASE框架，让一个技能策展器适应不同执行器行为，比传统方法更高效。

#EASE #自进化代理 #技能策展 #Qwen3

事件专题

arXiv: DeepSeek@Zhen Xiong, Qiaoyu Tan2 个信源在谈原文

论文 Agent 与开发者精选20:37

LLM后训练对错误奖励具有鲁棒性

论文发现LLM后训练对错误奖励有鲁棒性，便宜验证器效果不输昂贵的，对训练成本控制有启发。

#Qwen3 #Gemma #后训练 #验证器

Tanishq Abraham (论文推介)@iScienceLuvr原文

论文 Agent 与开发者精选18:34

ScopeIF提升大模型范围感知指令遵循能力

清华新方法让小模型在复杂指令任务上超越大模型，开源代码和数据已公布。

#ScopeIF #Qwen3 #Gemini-2.5-Pro #DeepSeek-V3.2

arXiv: DeepSeek@Bosi Wen 等 6 人原文

论文 Agent 与开发者14:56

PEARL：面向智能体强化学习的自适应 Prefill-Decode 弹性执行系统

训练智能体 RL 的人可以看看：PEARL 动态调 prefill-decode 配置还能借闲置 GPU，吞吐比 RLBoost+ 最高多 36.3%。

#PEARL #Qwen3 #强化学习 #GPU优化

arXiv cs.AI@Jiaan Zhu 等 9 人原文

技巧 Agent 与开发者17:04

本地部署大模型何时爆发？作者判断在 2029 年前后

作者用 Qwen3.8-27B 的部署成本算了笔账，结论是本地模型风口不在明年，得等硬件降价，讲得挺实在。

#Qwen3 #本地部署 #开源模型 #量化

Lxfater@lxfater原文

论文 Agent 与开发者09:12

研究显示推理模型的思考过程会消解部分偏见但制造更多新偏见

这篇 arXiv 论文拿三个 32B 模型做了思考前后对比，发现思考反而制造约 5 倍的新偏见翻转，做公平性评估的人该看看。

#QwQ-32B #DeepSeek-R1 #Qwen3 #推理模型

arXiv: DeepSeek@Deng Pan 等 7 人原文

技巧 Agent 与开发者精选06:01

SGLang 新增 /v1/score 接口与多候选项评分，优化决策模型推理

SGLang 加了个评分接口，做分类、排序这类决策任务时延迟直接砍到三分之一，用 Qwen3 的可以试试。

#SGLang #Qwen3 #Open-Jev #推理优化

官方账号LMSYS Org (SGLang)@lmsysorg原文

模型 Agent 与开发者00:43

RL-Kernel 集成 vLLM：Qwen3-8B 训练与推理 logprob 逐位一致

用 vLLM 做 RL 训练的老大难——训练和推理数值对不上，这次在 AMD MI300X 上真做到了逐位一致，做 RL 的都该看看。

#vLLM #Qwen3 #AMD MI300X #GRPO

官方账号vLLM@vllm_project原文

论文 Agent 与开发者10:39

UECR-GRPO：用熵校准统一策略内蒸馏与GRPO的信用分配

教小模型做数学题的新训练方法，把教师模型的逐token提示和答案对错验证揉进一个GRPO更新里，Qwen3-1.7B和4B都涨了不到1个点，做RL训练的可以看看细节。

#GRPO #Qwen3 #策略内蒸馏 #数学推理

arXiv cs.LG@Jie Zhang 等 5 人原文

论文中美对照11:27

InfoPPO：用信息密度替代token计数重参数化LLM强化学习

训练LLM做推理的看这篇：InfoPPO把RL时间步从token数换成信息密度，Qwen3数学基准五项全升，比PPO稳。

#InfoPPO #Qwen3 #PPO #强化学习

arXiv cs.AI@Yongcheng Zeng 等 12 人原文

论文 Agent 与开发者精选11:16

AutoViewMem：自配置正交视图优化对话长期记忆

给智能体做长期记忆的论文，把语义分视图放到写入阶段，LoCoMo 和 PersonaMem 上跑赢了记忆基线。

#AutoViewMem #Qwen3 #智能体 #长期记忆

arXiv cs.AI@Zijie Cao 等 10 人原文

模型 Agent 与开发者精选78°08:25

Cognition 团队开源 Jev-like 决策模型 Kev，基于 Qwen3 底座

朋友，Cognition 团队开源了一个叫 Kev 的小型决策模型，基于 Qwen3，你可以自己训练和本地部署，对消费级硬件很友好。

#Kev #Qwen3 #决策模型 #开源模型

事件专题

shao__meng@shao__meng2 个信源在谈原文

论文 Agent 与开发者精选10:33

LLM生成资产壳质量评估方法研究

工业4.0中，研究人员用三种模型测试了6400个资产壳实例，找到了评估AI生成资产壳质量的可靠指标。

#AAS #GPT-4o-mini #Qwen3 #DeepSeek-R1

arXiv: DeepSeek@Janek Groß 等 3 人原文

论文 Agent 与开发者78°11:28

ESPO：错误结构化提示优化方法

ESPO方法让提示更短更准，在Qwen3 GSM8K上从15%提升到91.4%，比GEPA短47%还更准。

#ESPO #提示词工程 #NLP #Qwen3

arXiv cs.AI@Lihao Liu 等 4 人原文

论文精选73°10:00

UTP-Bench：不确定性旅行规划基准

UTP-Bench用真实数据测试GPT-5等模型，发现它们在时间缓冲、延迟感知和人群敏感规划方面与人类计划差距明显。

#UTP-Bench #GPT-5 #Qwen3 #旅行规划

arXiv cs.AI@Etcharla Revanth Rao 等 6 人原文

论文09:32

PersianAnonymizer：评估基于LLM标注的波斯语NER匿名化

波斯语数据匿名化新方案，用LLM标注训练轻量NER模型，消费级GPU上2分钟处理4万消息。

#PersianAnonymizer #NER #DeepSeek-V3-0324 #GPT-OSS-120B

arXiv: DeepSeek@Mohammad Hossein Shalchian 等 3 人原文

论文精选09:20

推理模型隐藏指令选择性披露研究

这篇论文揭示了AI模型在隐藏指令披露上的不对称行为，对AI安全和监督机制设计有重要启示。

#Qwen3 #推理模型 #思维链 #AI安全

arXiv: DeepSeek@Zimo Shi 等 3 人原文

论文精选73°09:30

奖励对齐的同策略蒸馏方法

论文提出RA-OPD解决教师模型误导问题，在数学和代码基准上显著提升性能。

#RA-OPD #Qwen3 #DeepSeek-R1 #同策略蒸馏

arXiv: DeepSeek@Siyuan Gan 等 8 人原文

论文73°09:05

VISTA：基于验证器的学生-教师自适应蒸馏方法

VISTA方法改进了OPSD蒸馏技术，通过验证器指导教师自适应，在数学推理任务上显著提升性能。

#VISTA #OPSD #Qwen3 #蒸馏

arXiv cs.LG@Zewen Ding 等 8 人原文

论文10:39

不对称容量分配在自优化管道中

这篇论文研究了自优化管道中模型大小分配的影响，发现不同阶段对模型大小的需求不同，为设计更高效的LLM系统提供了新的视角。

#自优化管道 #模型大小分配 #LLM系统 #Qwen3

事件专题

arXiv cs.LG@Zhuoyi Yang 等 10 人2 个信源在谈原文

模型中美对照10:18

Qwen3模型推出VLA框架监测多代理隐蔽通信

Qwen3推出了VLA框架，用来监测多代理潜在通信，在小范围拍卖里表现好，你可以去了解下。

#Qwen3 #智能体 #多模态 #推理模型

arXiv cs.AI@Ramneet Kaur 等 6 人原文

技巧 Agent 与开发者官方一手精选19:32

用XYZ-Aquila-SFT和Qwen3微调工具调用LLM完整指南

想自己做工具调用模型？这篇手把手教你用XYZ-Aquila-SFT和Qwen3微调，从数据到LoRA都有。

#XYZ-Aquila-SFT #Qwen3 #微调 #工具调用

官方一手marktechpost@Sana Hassan原文

模型中美对照官方一手16:26

VUI Labs语音模型Luna-TTS登顶TTS Arena，击败ElevenLabs

VUI Labs的Luna-TTS登顶语音评测榜，延迟才41.6毫秒，比ElevenLabs还快，搞语音合成的该看看。

#Luna-TTS #VUI Labs #ElevenLabs #Qwen3

官方一手Pandaily@[email protected] (Pandaily)原文

模型中美对照15:18

MiniMax发布音乐模型MiniMax-Music3，最长可生成5分钟歌曲

MiniMax发布了Music3音乐模型，给歌词和描述就能生成5分钟完整歌曲，前奏副歌桥段都有，比常见几十秒的音乐生成更完整。

#MiniMax #MiniMax-Music3 #Qwen3 #音乐生成

IT之家原文

论文精选11:39

TIDE：解决LLM在线蒸馏中师生不匹配问题

这篇论文讲了个反直觉的事：蒸馏时师生token一致反而可能有害。TIDE方法在数学推理上把准确率从6.9%拉到20.3%，还让回答短了3.6倍，值得做LLM后训练的人看看。

#TIDE #在线蒸馏 #Qwen3 #数学推理

arXiv cs.AI@Zichao Yu 等 7 人原文

论文11:37

SKALD：将技能蒸馏进权重而非提示词，提升数学推理

想提升数学推理模型？SKALD 把技能蒸馏进权重，比 GRPO 最高涨 12 分，还不用改推理时的输入。

#SKALD #Qwen3 #GRPO #蒸馏

arXiv cs.AI@Yubo Jiang 等 4 人原文

论文10:43

TRIAL：智能体强化学习的轨迹相对事后蒸馏框架

这个新框架TRIAL能让智能体强化学习更高效，在多个任务上超过GRPO，成功率提升近19个百分点，搞RL的可以看看。

#TRIAL #GRPO #Qwen3 #强化学习

arXiv cs.LG@Haoyu Zheng 等 4 人原文

论文12:28

无监督自蒸馏：U-OPSD仅靠模型自身生成提升推理能力

不需要标注和外部反馈，U-OPSD靠投票让Qwen3数学成绩再涨一截，追平甚至超过OPSD和GRPO。

#U-OPSD #Qwen3 #OPSD #自蒸馏

arXiv cs.LG@Yijiang Li 等 6 人原文

论文11:34

Skill Entropy：长程推理的技能切换评测与训练

Skill Entropy能测出模型切换推理技能的短板，还能当训练信号：Qwen3小模型得分从34%飙到68%，也能用在OpenR1-Math数据上。

#Skill Entropy #Skill^2-Bench #Qwen3 #长程推理

arXiv cs.LG@Yinghui He 等 9 人原文