全部 AI 动态 · AI 热点

7月3日

10:05

官方账号arXiv cs.AI@Haonan Huang

该论文提出一个端到端自主研究流水线，从11,083篇凝聚态物理arXiv论文出发，自动生成包含三个实质物理发现（关于交变磁性压电性）的稿件。流水线分为六个阶段，历经47次全新对话会话，共执行2,162次文献查阅事件。容错机制通过冗余设计实现：隔离上下文、分布式接地和对抗性审查弥补单次会话的遗漏。对比预架构基线和无pilot消融实验，结构强制数值对抗被识别为关键接地机制。

论文 LLM 自主研究容错

推荐理由：这篇论文展示了一个真正端到端的自主科研代理，从读论文到写论文全自动，还能发现新的物理现象，值得科研人员看看。

原文

10:03

官方账号arXiv cs.AI@Wanyun Cui

精选

HOLA 为线性注意力模型引入一个专用的精确 KV 缓存作为海马体补丁，与原有的压缩状态共同形成半参数化记忆。在 340M 参数、15B SlimPajama tokens 训练下，HOLA 将 Wikitext 困惑度从 27.32 降至 22.92（-16.1%），甚至低于完整注意力 Transformer++（26.88）；LAMBADA 困惑度从 30.95 降至 30.26。在 RULER 的 needle-in-a-haystack 召回任务中，HOLA 在 32k tokens（16 倍训练长度）下仍保持稳健，优于 GDN 和同类缓存方法。

论文 HOLA 线性注意力海马体

事件专题

推荐理由：线性注意力模型容易忘事？HOLA 加了个小型精确缓存，长上下文检索比全注意力还强。

原文

10:01

官方账号arXiv cs.AI@Rintaro Otsubo, Ryo Fujii, Reina Ishikawa, Taiki Kanaya, Kanta Sawafuji, Hiroki Kajita, Shigeki Sakai, Hideo Saito, Ryo Hachiuma

AnyGroundBench是一个域适应基准测试，将时空视频定位评估从静态零样本测试转向严格的域适应。它覆盖动物、工业、运动、手术和公共安全五个专业领域，提供新拍摄视频（如专家标注的小鼠行为）与现有数据集配对，并配备密集的高保真时空标注。评估了15个SOTA视觉语言模型（VLM）的零样本泛化和上下文学习（ICL）能力。结果表明，当前模型在专业领域上的零样本和基于ICL的适应均失败，暴露出时空推理的关键缺陷。

论文 AnyGroundBench VLM 视频定位

推荐理由：想看看现在的VLM在专业视频场景下有多拉胯？这篇论文搞了个AnyGroundBench基准，测了15个模型在动物、手术等5个领域的表现，结果全翻车了。

原文

09:59

官方账号arXiv cs.AI@Xiangchen Cheng, Yunwei Jiang, Jianwen Sun, Zizhen Li, Chuanhao Li, Xiangcheng Cao, Yihao Liu, Fanrui Zhang, Li Jin, Kaipeng Zhang

AgenticSTS提出了一种有界记忆合同，通过类型化检索为每个决策组装新提示，避免跨决策原始记录累计。在Slay the Spire 2游戏中，前沿LLM在不同配置下最低难度胜率为0%，而人类开发者报告胜率为16%。固定A0消融实验中，无记忆基线获胜3/10局，添加策略技能层后获胜6/10局，但差异统计不显著（Fisher精确p≈0.37）。研究发布了298条完整轨迹、冻结记忆/技能快照、提示记录和分析脚本的可重复测试平台。

论文 AgenticSTS Slay the Spire 2 LLM智能体

推荐理由：AgenticSTS用Slay the Spire 2游戏测试LLM智能体记忆：无记忆胜率3/10，加技能6/10，人类16%。做长时域智能体研究可以参考这个方法论。

原文

09:58

官方账号arXiv cs.AI@Seren Yenikent, Jack Vinijtrongjit, Katherine Ng

Copewell 是一个多智能体群组系统，旨在扩大心理健康支持的可及性。其架构包含三项技术创新：多源评估框架整合自报告、生理和上下文数据以减少算法偏见；基于Russell的环状情绪模型进行价态-唤醒情绪映射，将用户路由至专业化AI智能体；以及双模式干预，结合对话支持与基于证据的感官健康协议。系统还设有专用伦理监督智能体以嵌入道德监督。早期从业者参与和beta部署已为设计提供信息，但该研究尚未进行大规模实证评估。

论文 Copewell 多智能体心理健康

推荐理由：Arxiv上发了篇Copewell的论文，搞多智能体群组做心理支持，用情绪模型路由到不同专家AI，还有伦理监督。想了解AI心理健康新架构可以看看。

原文

09:57

官方账号arXiv cs.AI@A. Seza Doğruöz, Xixian Liao, Verena Blaschke, Jakob Prange, Senyu Li, David Ifeoluwa Adelani

该论文分析了ACL Anthology中650篇提及LLM-as-a-Judge的论文，发现仅33篇关注低资源或多语言场景。研究发现存在不一致的评价结果、对LLM判断过度信任以及普遍依赖单一评判模型的问题。作者基于分析提出了针对多语言和低资源环境下使用LLM-as-a-Judge的具体建议。

论文 LLM-as-a-Judge 低资源语言多语言

推荐理由：这篇论文很实在，直接指出LLM-as-a-Judge在多语言场景下不靠谱，只找出33篇相关研究还一堆问题。做NLP评估的朋友建议看看。

原文

09:55

官方账号arXiv cs.AI@Mohammed Fahad Ali, Dominique Briechle, Marit Briechle-Mathiszig, Tobias Geger, Andreas Rausch

该研究比较了One-Vs-All和One-Vs-Rest两种分类策略在德国戈斯拉尔市垃圾分类数据集上的表现，数据集包含该市特定的垃圾分类方案。通过设置不同置信度阈值，识别可能误分类的样本并引入人工审核，旨在平衡误分类率与人工标注成本。实验结果表明，OvR策略在较低阈值下能更有效地减少误分类。该工作为定制化AI垃圾分类应用提供了参考。

论文垃圾分类 OvA OvR

推荐理由：这篇论文用德国戈斯拉尔的真实垃圾分类数据，比较了OvA和OvR两种策略，还加入了人工检查的环节，减少误分类的同时控制成本，挺实用的。

原文

09:54

官方账号arXiv cs.AI@Haokun Liu, Zhaoqi Ma, Yicheng Chen, Wentao Zhang, Masaki Kitagawa, Zicen Xiong, Jinjie Li, Moju Zhao

论文提出CoFL-S，一种低层视觉-语言-动作框架，通过预测机器人局部可见扇区的语言条件流场来生成连续轨迹。为训练这一表示，作者将VLN-CE中的整段指令与动作序列转换为帧级局部监督（含子指令、动作、轨迹和密集流场目标）。评估引入连续时间Habitat基准，隔离低层动作接口并使用共享速度命令控制器进行闭环对比，覆盖不同规划频率。在匹配编码器和训练设置下，CoFL-S在所有规划频率上优于动作token和动作块基线，零样本真实世界部署也进一步展示了其对两者的优势。

论文 CoFL-S VLN-CE Habitat

推荐理由：CoFL-S用预测流场代替离散动作，在Habitat基准上比动作token和动作块方法都强，还能直接跑真实机器人，做语言导航的可以看看。

原文

09:53

官方一手arXiv: DeepSeek@Jian Xu, Delu Zeng, John Paisley, Qibin Zhao

论文提出偏差感知贝叶斯主动排名方法，解决LLM裁判偏好冗长、格式和位置效应导致的系统偏差。在16个真实LLM（Llama、Qwen、Phi-4、GPT-4o-mini/5.1/5.5、Gemini、DeepSeek、Claude Haiku/Sonnet/Opus）的基准测试中，朴素聚合在偏差裁判上无法识别正确top-k，而该模型将召回率从约0.5-0.6提升至0.84-1.0。Top-k感知获取规则比循环赛或全局不确定性规则更少比较次数达到相同性能。

论文 LLM Claude GPT

推荐理由：用贝叶斯方法修LLM当裁判时的废话偏好和位置偏差，实测召回从0.5拉到接近1，比直接投票靠谱多了。

原文

09:49

官方一手arXiv: DeepSeek@Anna Chorna

SPLIT基准测试包含500个提示，覆盖压力、恐慌、孤独、内部流离失所和紧张五类。评估了Gemini-2.5-Flash、LLaMA-3.3-70B-Instruct和DeepSeek-V3三个模型。结果显示DeepSeek-V3在转向乌克兰语时保持稳定，而前两个模型性能下降。人类和AI评估者在共情和自然度上弱一致，但在文化基础上分歧明显。研究强调生成乌克兰语文本不等于提供乌克兰语情感支持。

论文 SPLIT Gemini-2.5-Flash LLaMA-3.3-70B-Instruct

推荐理由：新基准SPLIT专门测LLM跨语言共情，发现DeepSeek-V3在乌克兰语上最稳，文化基础评价人和AI有分歧。

原文

09:48

官方一手arXiv: DeepSeek@Shrikara Arun, Anjaly Parayil, Srikant Bharadwaj, Renee St. Amant, Victor Rühle

精选

该论文针对分离式LLM服务中预填充节点过载而解码节点空闲的问题，提出了一种主动预填充偏转调度器。在2个预填充节点和2个解码节点的A100集群上，预填充执行仅占P95首次令牌延迟的2-23%，其余为排队和KV-cache传输。该调度器让解码节点以分块预填充步骤穿插解码批次的方式处理请求，消除节点间KV传输。基于vLLM和DeepSeek-V2-Lite的实验显示，相比最优分离式调度器，P95 TTFT降低81%，SLO达成率提升79%。

论文 Disaggregated LLM serving prefill deflection vLLM

推荐理由：这篇论文讲了个很实在的优化：让空闲的解码节点分担预填充活儿，不用等KV传输，TTFT降了81%

原文

09:47

官方一手arXiv: DeepSeek@ Yonghui, Huang, Lin Ma, Amjed Tahir, Qian Zhang, Liwen Xiao, Lysa Xiao

研究发现，在对六个LLM模型（包括DeepSeek-V3、Llama-3.1-8B等）进行26,016次多轮编程测试中，40%至73%的任务在8轮对话中丢失了之前正确的行为。论文构建了542个基于HumanEval+和MBPP+的任务，并扩展为8轮需求演化链。手动分析384个失败案例后，确定了跨轮冲突是主要失效模式。Verification Gate策略（对先前测试进行新代码验证并回滚重试）能将DeepSeek-V3的最终轮质量从75.8%提升至87.9%，Llama-3.1-8B从31.6%提升至47.3%。

论文 LLM 编程助手回归累积

推荐理由：这篇论文揭示了多轮编程时模型容易忘掉之前写对的东西，甚至四成以上任务会翻车。他们发现一个验证门控策略能显著改善，值得做AI编程工具的人看看。

原文

09:46

官方一手arXiv: DeepSeek@Gabriel Hurtado

精选

该论文提出一种无需阈值的审计方法，结合两种内部信号——参考锚定的激活拒绝间隙与基础到候选权重的恢复能量——来检测开放权重检查点是否被剥离拒绝机制。在包含Qwen、DeepSeek-distilled Qwen、Llama和Gemma的273个检查点注册表上，两个信号的z-sum分离了57个公开的abliterations与37个良性微调、合并和指令微调，AUROC达到0.95，显著高于任一单独信号（0.84和0.90）。经Youden校准的阈值在留出族上达到平衡准确率0.89（FPR 0.11），仅漏掉57个中的4个。论文还映射了两种失败模式：伪造参考可无训练规避两个信号，白盒所有者可训练出超过阈值但仍不安全且连贯的检查点。

论文 Qwen DeepSeek Llama

推荐理由：想知道模型有没有被偷偷去掉安全护栏？这篇论文用两个内部信号在273个模型上做到95%的准确率，比单信号靠谱多了。

原文

09:45

官方一手arXiv: DeepSeek@Zirui Chen, Zhipeng Xue, Jiayuan Zhou, Xing Hu, Xin Xia, Xiaohu Yang

Refploit是一个基于LLM的轨迹恢复框架，用于从公开漏洞利用参考中重现漏洞利用。它通过差异化执行验证智能体生成的漏洞利用，当无效时分析重现进度、定位轨迹片段并推导约束以指导恢复。在三个开源Java漏洞数据集（172个漏洞引用，143个漏洞）上，使用DeepSeek-V4-Flash时，Refploit成功重现138个漏洞利用，重现率达80.2%。相比初始轨迹提升64.3%，超过现有方法PoCGen及基于GPT-5.4的Codex等高级代码智能体。

论文 Refploit 漏洞利用 DeepSeek-V4-Flash

事件专题

推荐理由：Refploit能自动修复代码智能体生成漏洞利用时出错的部分，用DeepSeek-V4-Flash在143个Java漏洞上做到80.2%成功率，比PoCGen和GPT-5.4驱动的Codex都强。搞漏洞研究的人可以关注。

原文

09:44

官方一手arXiv: DeepSeek@Yongqin Zeng, Sicheng Pan, Jiale Wang, Hai-tao Zheng, Hong-Gee Kim, Chunxia Ma, XiuTeng Zhou

该论文提出Generic TB-Coverage方法，仅使用WikiText2和C4两个通用语料进行校准。通过分别评估每个语料库上的专家效用并执行固定预算覆盖规则来构建剪枝掩码。在Qwen1.5-MoE-A2.7B和DeepSeek-MoE-16B-Base上，以25%、50%、75%的保留预算测试，六个零样本基准的平均准确率均优于随机剪枝、REAP和ExpertSparsity，同时WikiText2和C4的困惑度退化更小。在激进剪枝（25%和50%保留）下增益最为显著。

论文 MoE 专家剪枝 Qwen1.5-MoE

推荐理由：这篇论文用两个通用语料就能做好MoE剪枝，在Qwen和DeepSeek模型上准确率更高，尤其适合需要极限压缩的场景。

原文

09:43

官方一手arXiv: DeepSeek@Zewen Liu

精选

BOUNDARY_SYNC协议通过耦合放大因子(CAF=JSD_cond/JSD_baseline)测量多智能体LLM系统的表示耦合。在GPT-4o实验(N=30,约9900次API调用)中，文本通信导致显著同质化(CAF=0.803, p<0.001)。图像通信也出现同质化(CAF=0.834)。群组规模K=5时同质化，K=3时出现分化趋势(CAF>1.0)。跨模型复现显示极端变异(CAF 0.034-0.803)，且耦合由提示上下文驱动而非累积更新。

论文 BOUNDARY_SYNC GPT-4o LLM

推荐理由：这篇论文用BOUNDARY_SYNC协议发现LLM智能体交流越多想法越趋同，对设计多智能体系统很有启发。

原文

09:42

官方一手arXiv: Google DeepMind@Ismail Ismail Tijjani, Ahmad Abubakar Mustapaha, Sunusi Ibrahim Muhammad, Muhammad Bashir Aliyu

本研究评估了五种视觉语言模型（Gemini 2.0 Flash Exp、Qwen2.5-VL-7B-Instruct、GPT-4o、Claude 4 Sonnet、Llama 3.2 Vision 90b）在尼日利亚车牌识别中的零样本学习表现。使用包含88张真实环境图像的测试集，基于字符错误率（CER）指标，Gemini与Qwen在准确性和鲁棒性上显著优于其他模型。该工作对比了VLM与传统YOLO+OCR管线的优劣，并质疑了模型提供商的性能宣称。

论文 Gemini 2.0 Flash Exp Qwen2.5-VL-7B-Instruct 零样本学习

推荐理由：用真实非洲场景测了5个主流VLM，发现Gemini和Qwen在车牌识别上比YOLO+OCR更准，有数据有对比。

原文

09:41

官方账号arXiv cs.AI@Ravi Kant Sharma

论文提出Guard Rail Validation（GRV）框架，用于拦截和验证自主电信网络（Level 4-5）中AI代理的实时决策。框架评估六个维度：行动范围、行动类型、服务关键性、代理自主级别、可逆性和时间行为模式，以确定关键性级别。根据级别应用四种验证机制：仅日志执行、边界检查、独立代理验证或多代理共识。框架还提供跨代理冲突检测和符合EU AI Act Article 14的运行时日志，并评估了对已知AI/ML攻击的威胁覆盖。

论文 GRV O-RAN EU AI Act

推荐理由：这篇论文搞了个GRV框架，专门防止AI在电信网络里乱做决定，按关键性分级检查，还能满足欧盟AI法规，挺实用的。

原文

09:40

官方账号arXiv cs.AI@Gemma Galdon Clavell, Pablo Accuosto, Usman Gohar

该论文指出至少74种现有AI风险分类法几乎都止步于风险目录，缺乏实操。Eticas AI Risk Taxonomy v2.0.0 提出从概念到可衡量发现的桥梁，涵盖10个类别、20个子组、76个活跃子类别，并映射到18个外部框架。以GPT-4-0314上的PII泄露风险为例，在对抗性条件增强下披露率从0%升至84%，对应SYSTEMIC模式E级评分。分类法和子组以CC BY 4.0开源发布，提供稳定URI和SKOS/JSON-LD分发。

论文 Eticas AI Risk Taxonomy GPT-4-0314 AI审计

推荐理由：这篇论文真正解决了AI审计“光列风险但不教你怎么测”的痛点，用GPT-4实测PII泄露，给了一个可复现的评分样例。分类法开源了，想搞审计的可以直接用。

原文

09:38

官方账号arXiv cs.AI@Nathan Hughes, Ibrahim Habli

本研究系统分析了53篇关于人机团队的论文，基于心理学团队分类法将其归纳为5个集群：AI助手、临时依赖、临时强制依赖、配对平衡和群体平衡。每个集群代表不同的整体团队特征，表明同一术语下存在多种异质团队类型。研究指出，不同论文间的见解是否可迁移存疑，并提供了识别人机团队类型的指南和研究报告清单。

论文 Human-AI团队团队分类论文

推荐理由：这篇论文帮你理清了人机团队到底有几种类型，看了53篇文献给你分了5类，读完就知道不同研究到底在聊什么、结论能不能通用。

原文

09:36

官方账号arXiv cs.AI@Javier Irigoyen, Roberto Daza, Aythami Morales, Julian Fierrez, Ruben Tolosana, Ruben Vera-Rodriguez, Francisco Jurado, Alvaro Ortigosa

这篇论文基于欧盟AI Act等新兴监管框架，分析了AI系统风险评估与管理的需求。它梳理了从技术故障到伦理社会影响的风险谱系，并评述了多种AI风险识别与分析的方法论。论文还指出了当前方法论中的最佳实践与研究空白，为后续研究提供了方向。

论文 AI Act 风险评估智能系统

推荐理由：想了解AI风险评估的学术框架？这篇综述覆盖了AI Act等监管背景，适合研究者快速掌握现状。

原文

09:35

官方账号arXiv cs.AI@Temitayo Olamilekan Ogunsusi, Lijun Qian, Xishuang Dong

UA-ChatDev是一个基于不确定性感知的多智能体软件开发框架，用于解决多智能体协作中幻觉传播问题。它通过token级对数概率评估智能体响应置信度，并采用阶段感知阈值校准，在不确定性过高时触发检索验证。在SRDD基准测试中，UA-ChatDev在完整性、可执行性、一致性和整体质量指标上全面超越单智能体和多智能体基线。消融实验和通信分析表明，不确定性感知机制有效提升了代码执行可靠性。

论文 UA-ChatDev 多智能体协作代码生成

推荐理由：这篇论文教你让AI写代码时自己能判断靠不靠谱，比之前的ChatDev更稳，特别适合做复杂软件项目。

原文

09:33

官方账号arXiv cs.AI@Mohammad Amanour Rahman

RadiomicNet是一种两流混合架构，在MobileNetV2编码器-解码器中集成手工GLCM和LBP放射组学特征。其Radiomics Attention Gate (RAG)通过这些特征调制跳跃连接注意力，实现前置可解释性。新提出的Radiomics Consistency Loss将期望校准误差(ECE)从0.142降至0.118。在BUSI数据集上Dice系数达0.763，Kvasir-SEG上达0.854，分别超越U-KAN 1.2%和1.8%（p<0.05）。模型仅3.27M参数，比标准U-Net少9.5倍，比U-KAN少4.3倍，GLCM差异(15.24%)、GLCM能量(14.56%)和LBP熵(11.49%)是主导解释特征。

论文 RadiomicNet 医学图像分割放射组学

推荐理由：医学图像分割新论文，RadiomicNet用放射组学特征让模型更可解释，参数少但性能超过U-KAN，值得看看。

原文

09:26

官方账号arXiv cs.LG@Zichao Wei

论文提出用CCG方向类型替换AM-Parser的无方向AM代数，使用确定性CKY算法和单线性解码器，仅30K可学习参数。在BERT-base编码器下，LF exact match达75.9±6.4%，超过AM-Parser的70.8±4.3%。SLOG测试中，CCG在5个位置偏移类别上高出29.9个百分点，但AM-Parser在6个递归深度类别上更优。换用DeBERTa-v3-large后成绩升至90.7±4.9%，且编码器升级主要提升递归深度类别。实验证明方向性表示将瓶颈从符号层转向神经层。

论文 CCG AM-Parser SLOG

推荐理由：这篇论文用CCG方向类型替换AM-Parser的代数，在结构泛化基准上提升了5个百分点的LF精确匹配，尤其在位置偏移任务上提升近30个百分点。

原文

09:25

官方账号arXiv cs.LG@Juan Agustín Duque, Sergio García Heredia, Vinicius Hernandes, Eliška Greplová, Thomas Spriggs, Aaron Courville, Anna Dawid

该论文将变分能量最小化重新表述为Born分布上的策略梯度问题，并提出信任域算法PWO（Proximal Wavefunction Optimization）。PWO分别裁剪振幅通道的概率比变化和相位通道的相位增量，避免了显式矩阵求逆，并可重用样本进行多次更新。在Ising和受挫J1-J2一维/二维自旋系统上，PWO的稳定性和收敛速度优于Adam、minSR和SPRING。作者还使用1.5B参数的RWKV-7模型微调，将NQS优化规模提升到此前工作的千倍以上。

论文 PWO RWKV-7 神经量子态

推荐理由：这篇把强化学习的信任域优化用在神经量子态上，新算法PWO比Adam稳，还能用1.5B的RWKV-7跑，规模大了三个数量级。

原文

09:24

官方账号arXiv cs.LG@Ruihang Li, Mengde Xu, Shuyang Gu, Leigang Qu, Fuli Feng, Han Hu, Wenjie Wang

论文提出分布级奖励（Distribution-wise Rewards）框架，替代传统样本级奖励函数，以解决视觉生成中的奖励作弊和模式坍塌问题。通过子集替换策略降低计算成本，并应用强化学习优化模型合并系数，缓解训练-推理不一致。在SiT模型上FID-50K从8.30降至5.77，在EDM2模型上从3.74降至3.52。定性评估显示该方法在保持多样性的同时提升了感知质量。

论文 SiT EDM2 分布奖励

推荐理由：这篇论文提出用分布级奖励替代样本级奖励，解决了生成模型奖励作弊的老问题，SiT和EDM2的FID分数都显著提升。

原文

09:23

官方账号arXiv cs.LG@Max Weltevrede, Matthijs T. J. Spaan, Wendelin Böhmer

论文证明在上下文MDP中，过度悲观不会阻碍最优泛化，但必须尊重最优解的对称性。通过理论分析，适度悲观但非对称的值函数可能比过度悲观且对称的值函数泛化更差。数据增强应通过在策略提取时施加一致性损失来提升泛化，而非在增强数据集上常规训练。使用IQL和CQL在旋转对称reacher环境中验证了该方法。

论文离线强化学习泛化数据增强

推荐理由：这篇论文用理论和实验告诉你，离线RL里悲观多少不重要，悲观的结构对不对才关键，还给出了数据增强的正确用法。

原文

09:22

官方账号arXiv cs.LG@Juwei Shen, Yujie Wu, Changwen Chen

现有脉冲神经网络（SNN）在Garg-2022上下文学习基准上无法应对非平凡任务维度。DendriCL通过将单个树突区室作为计算基质，其顶端递归结构与leaky online Widrow-Hoff LMS在动力学上等价。该单层架构在超维Garg-2022任务上保持种子稳定性，而密集Transformer出现grokking式不稳定并失败。线性探针从顶端膜电位直接恢复参考online-LMS轨迹，R²达0.93，表明算法内嵌于动力学而非训练隐式发现。

论文 DendriCL SNN 上下文学习

推荐理由：这篇论文证明了单层脉冲神经网络就能实现上下文学习，比Transformer更稳定，在Garg-2022基准上表现亮眼。

原文

09:21

官方账号arXiv cs.LG@Ziyun Qiao, Yue Min, Ruining Chen, Yujun Li

HERMES提出一种数据驱动的层次化标签系统，通过Learned Semantic Transform与3阶段残差向量量化将每个文档标注为粗到细的代码，粒度可达约130k个单元。在1B参数、25B token的预训练实验中，粗粒度下与KMeans类方法性能持平，但层次结构揭示了固定粒度管道无法测试的交互：特定前缀长度下，Stage-2规则对比使16任务能力宏观平均提升+0.0253，而更细粒度时候选池缩小约5倍，该优势消失。HERMES将数据混合设计从固定标签集选择重构为可复用的数据驱动粒度层次导航。

论文 HERMES 预训练数据混合标签系统

推荐理由：这篇论文用HERMES提供了一种可调节粒度的数据标签方法，比固定标签更灵活，能发现不同粒度下混合规则的效果差异。

原文

09:19

官方账号arXiv cs.LG@Zhanming Shen, Jintao Tong, Shaotian Yan, Chen Shen, Hao Chen, Wentao Ye, Xiaomeng Hu, Rui Miao, Haobo Wang, Junbo Zhao, Gang Chen, Jieping Ye

研究发现在线自蒸馏(OPSD)在长思维链推理模型上效果有限且破坏推理稳定性。通过分解教师监督信号，发现参考导致的成分驱动死记硬背，而可迁移的问题条件成分被忽略。提出两步解法：首先构建仅参考教师以隔离不可迁移成分，再用点互信息(PMI)过滤掉参考捷径。在4个长思维链模型和2个数据集上，该方法相比基线和标准OPSD均取得一致改进。

论文 OPSD long-CoT self-distillation

推荐理由：这篇论文解决了OPSD在长推理模型上越蒸馏越笨的问题，用PMI过滤器保留思考能力，值得做推理优化的朋友看看。

原文

09:18