AITOP
精选
过去 24 小时，从 649 条中筛出 45 条
全部模型产品行业论文技巧
标签：无需训练×
6月11日
15:28
15:23
15:07
6月5日
12:10
12:10arXiv cs.AI@Paul Jünger, Justin Lovelace, Linxi Zhao, Dongyoung Go, Kilian Q. Weinberger
精选
离散扩散语言模型通过并行去噪生成文本，每一步会预测掩码位置的候选词，并丢弃低置信度的预测。研究者发现这些丢弃的token实际上包含有用的前瞻信号，能提前揭示关键实体，从而在输出最终确定前检索到更强证据。基于此，他们提出了SARDI（自增强检索扩散语言模型），一种无需训练、与检索器无关的动态RAG框架。在五个多跳问答基准测试中，SARDI以高达8倍的吞吐量超越了当前无需训练的扩散和自回归检索基线。
论文扩散语言模型检索增强生成多跳问答SARDI无需训练
推荐理由：SARDI巧妙利用了扩散模型去噪过程中的“废料”token，为RAG提供了一种零成本的前瞻信号，做问答系统或检索增强生成的团队值得关注，可以直接集成到现有扩散模型中提升效果。
原文
6月1日
00:09
5月29日
08:02
AITOP5月29日 08:02
Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？🔥Anthropic 把 AI 编程的“确认键”彻底删掉了！Claude Code 搭载全新 Opus 4.8 模型，长时间任务不跑偏、不废话、不中断，像一个资深工程师一样默默干活，从功能开发到漏洞清扫全包圆，你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”，现在它直接交完整交付物……自主编程的最后一层窗户纸，被捅破了。做自动化开发和代码审查的团队，这个模型建议直接上手，效率差距肉眼可见……Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？
5月25日
11:24
11:24arXiv cs.LG@Lizhang Chen, Jonathan Li, Chen Liang, Ni Lao, Qiang Liu
精选
研究者提出了一种无需训练的循环Transformer方法，通过在推理时对冻结的预训练模型进行轻量级循环包装，无需微调或架构改动即可提升性能。该方法将Transformer块视为ODE的欧拉步，通过阻尼子步替代大步更新，避免了简单重复块导致的性能下降。在7个模型家族（包括密集、稀疏MoE和MLA+MoE）上验证有效，如Qwen3-4B-Instruct在MMLU-Pro上提升2.64个百分点，Qwen3-30B-A3B-Instruct在CommonsenseQA上提升1.14个百分点。该方法为利用现有模型提升推理能力提供了低成本方案。
论文循环Transformer推理优化无需训练预训练模型ODE视角
推荐理由：这项研究让使用冻结模型的团队无需重新训练就能提升推理性能，做模型部署或推理优化的开发者值得关注，可以直接在现有模型上尝试。
原文
5月21日
09:46
09:46arXiv cs.AI@Yutong Xie, Zhenglin Hua, Ran Wang, Wing W. Y. Ng, Xizhao Wang, Yuheng Jia
精选
大型视觉语言模型（LVLMs）在视觉语言任务中表现出色，但仍易产生与视觉内容不一致的幻觉。研究发现，幻觉源于模型对正确视觉证据关注不足，并在生成过程中逐渐遗忘。作者提出基于层间视觉注意力差异（ILVAD）的无需训练方法，通过识别并增强对视觉证据的注意力，同时选择与视觉证据强相关的文本token进行强调。在五个最新模型上的多项基准测试中，该方法一致地缓解了幻觉，且即插即用。代码已开源。
论文幻觉缓解视觉语言模型注意力机制无需训练开源/仓库
推荐理由：做LVLM幻觉研究的开发者可以直接用这个无需训练的方法来提升模型可靠性，代码已开源，值得一试。
原文
5月19日
11:41
11:41arXiv cs.AI@Tej Sanibh Ranade
精选72°
TRACE 是一种无需训练的推理时幻觉纠正算法，它通过分析大模型内部各层的候选轨迹，动态选择最合适的纠正方式（如标量反转、早期状态恢复或候选空间修正），而不是固定使用单一干预形式。实验覆盖 15 个模型、8 个模型家族和 3 个事实性基准，所有评估指标均有提升，平均 MC1 提高 12.26 点，MC2 提高 8.65 点，最高提升分别达 47.20 和 43.38 点。该方法无需标签、检索、预训练、微调或逐模型校准。
论文大模型幻觉纠正推理优化无需训练TRACE
推荐理由：TRACE 解决了大模型幻觉纠正中“一刀切”干预的缺陷，做 LLM 推理优化或事实性研究的开发者可以直接在现有模型上试用，无需额外训练成本。
原文
5月13日
19:12
19:12arXiv cs.AI@Alireza Nadali, Patrick Cooper, Ashutosh Trivedi, Alvaro Velasquez
精选
KV-Fold 是一种无需训练的长上下文推理协议，将键值（KV）缓存视为序列块上的左折叠累加器。模型在处理每个块时，基于累积的缓存进行条件处理，追加新生成的键和值，并将扩展后的缓存传递到下一步，重复这一单步更新过程。该方法在 Llama-3.1-8B 模型上的“大海捞针”基准测试中，在 152 次试验中实现了 100% 的精确匹配检索，覆盖 16K 到 128K 令牌的上下文和最多 511 层的链深度，且仅需单块 40GB GPU 内存。KV-Fold 的递归过程稳定，每步漂移短暂上升后饱和为平坦平台，对数值精度变化不敏感，跨块大小和模型家族表现一致。这项工作表明，冻结的预训练 Transformer 已经支持稳定的 KV 缓存递归形式，为无需架构更改或训练的长上下文推理提供了实用路径。
论文长上下文推理KV缓存递归无需训练Transformer
推荐理由：KV-Fold 用简单的左折叠思路解决了长上下文推理的内存和精度痛点，做 LLM 推理优化或长文档处理的团队可以直接在现有模型上尝试，无需额外训练。
原文