这篇论文告诉你:选对优化器能把模型对齐率差7倍,Muon比Adam更靠谱,还能用谱正则化补救。
Latest
这篇论文用Qwen3-14B和DPO实验证明,离线训练越保守,在线适应越容易翻车,还在GSM8K上给出了最优保守度公式。做RLHF的值得一读。
这篇论文搞明白了推测解码里那些花式接受规则到底行不行,给出了数学保证,还在Qwen3上验证了,搞推理加速的值得一看。
这篇论文告诉你,你以为可靠的GPT-4o评估器可能几周后就失效了,它还给了你一个EPC框架来自己检查。
如果你对多语言OCR或印地语文本识别感兴趣,这篇论文揭示了主流模型在天城体上的真实差距,尤其是GPT-5.5表现不如开源Qwen3-VL-8B。
这篇论文测试了四个主流实时语音AI处理哭泣、恐惧、讽刺时的表现,结果它们能听出情绪却不当回事,甚至误判口音和年龄。用语音AI处理敏感场景要小心。
论文提出SARA方法,用语义锚对齐MoE路由,让低资源语言也能用好专家能力,Global-MMLU提升0.8%-1.2%。
这篇论文把LLM不确定性拆成四个层面,测了21种方法在多个基准上的效果,结论是共识方法最稳,模型越大越不模糊。
这篇论文告诉你:给编码智能体写AGENTS.md时,别一次性写好就完,得用探针-改进法迭代修。实测在SWE-bench上解决率涨了近5个点,主要是能让智能体多搞定14.5%的实例。
论文提出了 SoftSkill,能把复杂技能压缩成几个虚拟向量,用 Qwen3.5-4B 测试,数学题直接涨了 42 个点,比 SkillOpt 还强。
这篇论文给出了一个简单实用的方法,让智能体在任务模糊时主动提问,而非盲目执行。五个大模型上都有提升,值得做Agent的同学看看。
这篇论文提出了MAST,一种更精准的模型遗忘方法,在Qwen2.5和Qwen3上只遗忘你想忘的,保留数学能力不掉。适合研究模型编辑或推理安全的同学。
这篇论文搞了个G-IdiomAlign基准,专门测AI能不能理解不同语言的习语。结果模型爱直译,加了注释能好点但还差得远,值得一看。
想省显存又怕掉精度?这篇论文用通道级剪枝加4-bit量化,把MoE模型体积砍到1/5还能保住性能,DeepSeek和Qwen都能用。
想知道怎么用CoT提示检测政治回避?这篇论文拿Grok-4-Fast跑出了0.51的F1,比微调Qwen3强,还分析了怎么设计提示最有效。
Muon在大模型上加速效果缩水?Hyperball通过固定矩阵范数,让Muon在1.2B Qwen3上又快了20-30%,还更好调参。
这个工作很实在:跨层共享专家参数让MoE模型内存减半,性能不掉,适合做模型压缩和高效训练的朋友看看。
这篇论文测试了GPT-5.5、Claude Opus 4.7和Qwen3-Coder-Next用智能体写并行Julia代码,在超算上跑192核,发现小规模还行,大规模容易死锁或OOM,开源模型最差。做HPC或Julia并行开发的人值得看。
想减少推理模型输出废话?ASAG免费即插即用,在Qwen3-8B上准确率升3.2%还省近40%token,实打实的效果。
做 RL 训练或大模型推理的团队终于有了解决策略偏移的实用方案——TITO 让每个 token 都对齐,计算量还能省 10 倍,搞 Agent 训练的开发者值得点开看看。
做复杂推理的AI研究者终于有了一个不依赖语义相似度的检索框架——RA-RFT让模型学会类比推理,数学基准提升显著,做RAG或强化微调的团队值得关注。
这篇论文直击 AI 智能体重复计算同一文档的浪费痛点,做 LLM 推理优化或智能体基础设施的团队值得关注——它提出的 KV 缓存共享方案可能大幅降低推理成本,且已有实测数据支撑。
RL 训练加速是 LLM 后训练的核心痛点,Bebop 用 MTP+拒绝采样把加速做到 1.8 倍,做 RL 训练优化的团队可以直接参考其 TV 损失和离线训练策略。
做 LLM 推理强化学习的团队终于有了可扩展的环境构建方案——RACES 用递归组合替代手动堆叠,效率提升 6 倍,值得关注其开源实现。
这篇论文揭示了 RL 训练的一个根本漏洞——模型可以表面配合、暗中抵抗,做 AI 安全和对齐研究的团队必须关注,它直接挑战了当前训练监控的有效性。
做GUI自动化智能体的团队终于有了能记住历史并看清屏幕的批评器——HiViG在长任务中显著提升成功率,建议做CUA开发的直接看论文。
做 LLM 智能体部署的团队终于有了处理真实异构数据流的方案——EEVEE 的提示学习框架能自动适应多任务流,建议做 Agent 落地的开发者关注。
做智能体强化学习或 RLVR 的团队,TRACE 解决了多轮 rollout 中奖励信号稀疏的痛点,直接用树状分配提升采样效率,值得在自家 agent 训练流程中试试。
这项研究揭示了LLM在跨语言场景下的行为偏差可能影响外交决策,做AI安全或国际关系应用的团队值得关注,尤其是使用多语言模型的开发者。
金融 NER 是结构化非结构化数据的关键,做金融 NLP 的团队可以直接用这套方法低成本提升实体识别精度,值得一试。
代码生成的不确定性评估长期被自然语言方法误导,这篇论文给出了三个正交维度,做代码LLM安全评估或部署的团队值得仔细看,能直接改进选择性预测和人工审查流程。