Qwen3 相关 AI 资讯

6月25日

09:37

官方账号arXiv cs.AI@Tianyu Dong, Yangyang Liu, Jiang Zhou, Xinwei Wu, Xiaohu Zhao, Hao Wang, Heng Liu, Linlong Xu, Longyue Wang, Weihua Luo, Shaolin Zhu, Deyi Xiong

稀疏MoE（Mixture-of-Experts）模型在多语言场景下，低资源语言因数据稀缺导致路由与高资源语言不一致，限制跨语言知识共享。为此提出SARA（Semantically Anchored Routing Alignment）框架，利用对称JS散度对齐路由分布。在Qwen3-30B-A3B和Phi-3.5-MoE-instruct两个模型上，针对5种低资源语言和3个基准测试，SARA在Global-MMLU上分别提升0.8%和1.2%。该方法不依赖输出logits蒸馏，直接对齐内部路由机制，有效缓解低资源语言瓶颈。

论文 SARA MoE Qwen3

推荐理由：论文提出SARA方法，用语义锚对齐MoE路由，让低资源语言也能用好专家能力，Global-MMLU提升0.8%-1.2%。

原文

6月23日

12:03

官方一手arXiv: DeepSeek@Xiang-Jun Ou, Shuang Liang, Xin-Yu Hu, Rong-Hao Huang, Jing Wang, Shao-Qun Zhang

该研究提出一种粒度不确定性分类法，将LLM不确定性归因于输入级、参数级、词元级和解码过程四个源头。研究者将现有21种不确定性量化方法分为贝叶斯、集成、共识和单次推理四类，并在Qwen3、Llama 3.2和DeepSeek-V3三个模型家族上，使用TriviaQA、GSM8K和HumanEval基准进行实验。结果显示，共识方法（Deg和EigV）一致优于其他方法，且更大模型规模与更低不确定性估计相关。该工作为量化LLM不确定性提供了系统诊断工具。

论文 LLM 不确定性量化 Qwen3

事件专题

推荐理由：这篇论文把LLM不确定性拆成四个层面，测了21种方法在多个基准上的效果，结论是共识方法最稳，模型越大越不模糊。

原文

6月22日

18:24

18:24IT之家（博客/媒体）

极摩客 EVO-X3 迷你主机搭载 AMD 锐龙 AI Max+ 395 处理器（16 核心 32 线程），AI 算力达 126 TOPS。官方宣称可本地运行 Qwen3 235B 模型，LM Studio 性能超过 RTX 4090。标配 128GB LPDDR5X-8000 内存，其中 96GB 可分配给显卡作为显存，存储支持双 M.2 PCIe 4.0×4 插槽，最大 16TB。起售价 21699 元（128GB+1TB 版本），配备 OCuLink 接口并兼容 AMD ROCm 生态，可外接 RTX 40/50 系显卡。

AI产品极摩客 EVO-X3 锐龙AI Max+ 395

推荐理由：极摩客发了款迷你主机，锐龙AI Max+ 395，126TOPS算力能本地跑235B模型，性能比RTX 4090还猛，21699元起。

原文

6月18日

10:57

官方账号arXiv cs.AI@Chenyu Zhou, Qiliang Jiang, Shuning Wu, Xu Zhou

论文提出MAST方法，在Qwen2.5-Math-1.5B和Qwen3-1.7B-Base上选择性遗忘RLVR诱导的推理，相比全参数更新附带损害更小。MAST通过token级delta-log-probability分析发现SFT-to-RLVR增量与SFT更新差异显著，全参数梯度上升会损害MATH和GSM8K保留性能。MAST基于离主成分能量、更新幅度和遗忘梯度耦合幅度排序注意力投影张量，仅更新前k个子集。在Qwen2.5-Math-1.5B上，MAST使MATH遗忘从45/150降至37/150（McNemar p=0.0078），且GSM8K提升0.8个百分点，MATH保留仅下降0.5个百分点。在Qwen3上，MAST保持GSM8K，而全参数遗忘使其崩溃。

论文 MAST Qwen2.5 Qwen3

推荐理由：这篇论文提出了MAST，一种更精准的模型遗忘方法，在Qwen2.5和Qwen3上只遗忘你想忘的，保留数学能力不掉。适合研究模型编辑或推理安全的同学。

原文

6月16日

11:57

官方一手arXiv: DeepSeek@Tai Tran Tan, An Dinh Thien

该论文描述了SemEval-2026 Task 6的系统，针对美国总统采访中的政治回避策略分类。比较了两种范式：使用QLoRA对Qwen3（4B-32B）进行参数高效微调，以及使用结构化CoT提示推理模型DeepSeek-V3.2和Grok-4-Fast。Grok-4-Fast在子任务2（9类回避）上取得Macro F1 0.5147，子任务1（3类清晰度）上0.7979，分别排名第8和第13。消融实验表明层次化标签和少样本示例提升了效果，但最强提示变体间Macro F1无显著差异。

论文 Grok-4-Fast DeepSeek-V3.2 Qwen3

事件专题

推荐理由：想知道怎么用CoT提示检测政治回避？这篇论文拿Grok-4-Fast跑出了0.51的F1，比微调Qwen3强，还分析了怎么设计提示最有效。

原文

11:04

官方账号arXiv cs.LG@Kaiyue Wen, Xingyu Dang, Kaifeng Lyu, Tengyu Ma, Percy Liang

论文提出Hyperball，一种简单优化器包装器，固定权重矩阵及其更新量的Frobenius范数，解决Muon等优化器在大模型（如1.2B参数Qwen3模型）上相比AdamW加速效果衰减的问题。实验表明，Muon+Hyperball实现20-30% token等效加速，并改善学习率在宽度和深度上的迁移。该方法受理论启发：权重衰减导致平衡权重范数仅依赖于超参数，进而决定角度学习率。

论文 Hyperball Muon Qwen3

推荐理由：Muon在大模型上加速效果缩水？Hyperball通过固定矩阵范数，让Muon在1.2B Qwen3上又快了20-30%，还更好调参。

原文

10:54

官方账号arXiv cs.LG@Martin Jaggi

混合专家架构通过每个token激活少量专家来高效扩展大语言模型，但训练和推理时仍需加载全部专家参数。本研究提出Expert Tying方法，在保持独立层路由和注意力的前提下，将相邻Transformer层的专家参数共享。在OLMoE、Qwen3和DeepSeek-style MoE上的预训练实验显示，该方法可将内存占用减少近2倍，且困惑度和下游任务质量几乎不受影响。该方法利用了MoE路径中固有的参数冗余，实现了计算与内存的高效权衡。

论文 Expert Tying MoE OLMoE

推荐理由：这个工作很实在：跨层共享专家参数让MoE模型内存减半，性能不掉，适合做模型压缩和高效训练的朋友看看。

原文

09:42

官方一手arXiv: DeepSeek@Jiakai Li, Ke Qin, Rongzheng Wang, Yizhuo Ma, Qizhi Chen, Muquan Li, Shuang Liang

大推理模型（LRM）常因过度思考生成冗余token，降低准确率。ASAG方法通过分析注意力分布推断推理状态，自适应调整生成策略。该方法无需训练，可即插即用，在DeepSeek-R1-Distill和Qwen3系列等主流模型上测试。在Qwen3-8B上，ASAG平均准确率提升3.2%，生成token减少约40%。

论文 ASAG DeepSeek-R1 Qwen3

推荐理由：想减少推理模型输出废话？ASAG免费即插即用，在Qwen3-8B上准确率升3.2%还省近40%token，实打实的效果。

原文

6月15日

11:11

官方账号arXiv cs.LG@Carlo Di Cicco

该论文使用Qwen3-4B-Instruct模型在444个LiveCodeBench任务上研究代码正确性信号。首次尝试的代码正确性可从提示最终隐藏状态线性解码，无泄漏AUC为0.931±0.008。去除提示长度线性效应后AUC仍为0.911±0.010，高于基线0.754±0.014。在236个修复案例中，隐藏状态变化存在对比方向，但去除修复上下文协变量后不显著，表明其为修复上下文相关特征。

论文 Qwen3 代码正确性隐藏状态

推荐理由：论文揭示Qwen3隐藏状态如何预测代码正确性

原文

6月11日

14:06

14:06IT之家（博客/媒体）

精选72°

苹果在 WWDC 上推出 CoreAI 引擎，接替服役 9 年的 CoreML，主打端侧大模型推理。首批基准测试显示，在 M4 Mac 上运行 Qwen3 0.6B 小模型时，CoreAI 解码速度是 MLX 的 2.47 倍，iPhone 17 Pro 上为 1.6 倍。但在 80 亿参数模型上，CoreAI 仅比 MLX 快 5%，优势随模型规模增大而收窄。持续负载测试中，CoreML 配合神经引擎在温控降频场景下性能保持率反超 GPU 路线。横向对比，谷歌 LiteRT-LM 运行 Gemma 时内存占用仅为苹果 MLX 的 1/4.5，显示针对特定模型优化的重要性。

AI产品苹果 CoreAI 端侧推理

推荐理由：苹果端侧 AI 架构迎来重大更新，CoreAI 在小模型推理上显著提速，做本地 AI 应用或模型部署的开发者值得关注，尤其是 M4 Mac 用户可以直接感受到更快的响应。

原文

6月3日

10:38

官方账号arXiv cs.LG@Ting-Yun Chang, Harvey Yiyun Fu, Deqing Fu, Chenghao Yang, Jesse Thomason, Robin Jia

精选

推理模型通过长思维链提升准确性，但长输出导致内存和计算瓶颈。现有KV缓存淘汰方法在压缩缓存时会丢失关键信息，导致模型陷入重复推理循环。研究发现，少量值状态具有异常大的幅度，淘汰它们会引发灾难性失败；引入随机性可提高缓存多样性。基于此，研究者提出VaSE方法，无需训练即可保护大幅度值状态并促进多样化淘汰决策。在6个推理任务上，Qwen3模型使用VaSE实现4倍KV缓存压缩，准确率超过最强淘汰方法4%以上，弥合了效率与准确性之间的差距。

论文 KV缓存推理模型内存优化

推荐理由：推理模型的长输出让内存和计算成本飙升，VaSE用随机淘汰策略在4倍压缩下保持高准确率，做推理模型优化的开发者可以直接参考论文实现。

原文

6月2日

11:10

官方账号arXiv cs.AI@Ekaterina Alimaskina, Darya Rudas, Denis Shveykin, Gleb Molodtsov, Pavel Vasiliev, Aleksandr Beznosikov

精选72°

该研究揭示了大型推理模型在极端低比特（2-bit）量化推理时，并非单纯降低答案准确率，而是产生更长的推理轨迹，包括重复循环、预算耗尽、延迟决策和未闭合推理段，导致端到端速度不升反降。作者针对 Qwen3-8B 和 Qwen3-32B 模型，提出了两种轻量级控制方法：FP16 规划（为 2-bit 模型提供短的高精度大纲）和循环救援（检测重复轨迹并回退或提前提交答案）。在 MATH-500 上，循环救援将 Qwen3-8B 准确率从 17.2% 提升至 74.2%，规划加循环救援将 Qwen3-32B 从 65.0% 提升至 87.2%。研究表明，将低比特推理失败视为可控生成病理，通过轻量检测和选择性 FP16 支持，2-bit 推理可以恢复准确率并保持真实端到端加速。代码已开源。

论文推理模型量化/低比特 Qwen3

推荐理由：做推理模型量化和部署的团队终于有了针对 2-bit 失败模式的系统解法——不是简单降精度，而是用 FP16 规划和循环救援来修复生成过程，Qwen3 用户可以直接复现并提升准确率。

原文

5月28日

11:56

官方一手arXiv: DeepSeek@Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho

精选72°

该研究提出了首个系统化框架，将混合专家模型（MoE）转换为标准全稠密架构。通过专家评分、选择、分组并拼接成稠密前馈网络，再通过知识蒸馏从MoE教师模型精炼。在Qwen3-30B-A3B上评估了7种评分、5种分组和2种幅度缩放方法，共350种配置。发现评分方法影响最大，其提出的多样性感知评分在多个模型上优于先前方法。在参数匹配控制下，MoE转稠密比稠密到稠密剪枝平均下游准确率提升6.3个百分点，训练速度快1.6倍。

论文模型压缩知识蒸馏混合专家模型

推荐理由：这个框架解决了MoE模型在内存受限设备上部署的痛点，做模型压缩和边缘部署的团队可以直接参考其方法，比传统剪枝效果更好且训练更快。

原文

5月27日

07:14

官方一手marktechpost@Sana Hassan

本文教程介绍了如何使用 ZeroEntropy 的 Zerank-2 重排序器（基于 Qwen3 的 4B 交叉编码器）来提升检索质量。教程从设置运行环境、加载模型开始，逐步讲解如何对查询-文档对进行评分。接着，从简单的成对评分过渡到实用的两阶段检索-重排序管道：先用快速的双编码器检索候选文档，再用 Zerank-2 进行精排。该方案能显著提高检索精度，适合需要高准确率的信息检索场景。

AI模型检索增强生成重排序交叉编码器

推荐理由：做 RAG 或搜索系统的开发者，这个教程直接教你用 Zerank-2 搭建两阶段管道，从环境配置到实战代码都有，值得跟着跑一遍。

原文

5月25日

02:52

rohanpaul_ai@rohanpaul_ai

精选72°

研究发现，大型混合专家（MoE）模型在处理许多简单token时，浪费了约一半的专家计算资源。新提出的ZEDA（零专家自蒸馏适应）框架，通过为路由器添加“零专家”选项，让模型在token不需要复杂处理时直接跳过专家计算。该方法无需重新训练，而是将原MoE模型作为冻结教师，通过自蒸馏学习何时安全跳过计算。在Qwen3-30B-A3B和GLM-4.7-Flash上测试，去除了约50%的专家计算，精度损失极小，实际推理速度提升约20%。这表明计算消耗并不简单跟随任务难度，而是与不确定性相关，为部署MoE模型提供了更经济的方案。

论文 MoE 模型优化推理加速

推荐理由：部署MoE模型的团队终于可以省下一半专家计算——ZEDA让Qwen3和GLM等模型自动跳过简单token，推理速度提升20%且几乎不掉精度，做模型推理优化的开发者可以直接参考论文方法。

原文

5月19日

14:46

官方账号arXiv cs.LG@Minrui Xu, Zilin Wang, Mengyi DENG, Zhiwei Li, Zhicheng Yang, Xiao Zhu, Yinhong Liu, Boyu Zhu, Baiyu Huang, Chao Chen, Heyuan Deng, Fei Mi, Lifeng Shang, Xingshan Zeng, Zhijiang Guo

精选72°

EnvFactory是一个全自动框架，解决了Agentic RL中可扩展执行环境缺失和真实训练数据稀缺两大瓶颈。它从真实资源中自主探索并验证有状态、可执行的工具环境，通过拓扑感知采样和校准精炼合成自然的多轮轨迹，生成带有隐式意图的查询。仅用85个已验证环境（远少于此前工作的5倍以上），EnvFactory就生成了2575条SFT和RL轨迹，并在BFCLv3、MCP-Atlas等基准上提升Qwen3系列模型最高15%。该框架完全自动化环境构建和轨迹合成，为Agentic RL提供了可扩展、可扩展且鲁棒的基础。

论文 Agentic RL 工具使用环境合成

推荐理由：做Agentic RL的团队终于有了自动化环境构建方案——EnvFactory只用85个环境就碾压了此前5倍数据量的方法，想省掉手动造环境成本的开发者可以直接用。

原文

5月13日

19:12