全部 AI 动态 · AI 热点

6月26日

03:07

Ate-a-Pi@svpino

Santiago Valdarrama 分享智能体自我改进的三个途径：模型层（仅适用于代码和数学，由大实验室负责）、执行框架层（步骤、工具和安全检查，容易控制且回报大）、上下文层（纯文本记录学习内容，最易入手）。他还强调从用户纠正智能体决策的每个实例中学习，真实反馈无可替代。文章提供了明确的优先级和实操建议。

技巧智能体反馈学习 Agent系统设计上下文学习

推荐理由：想让你家智能体越用越聪明？这个线程给了三个可落地的改进方向，尤其是从用户操作中学习那块，不少人都忽略了。

原文

6月19日

11:43

arXiv cs.LG@Qingyang Zhu, Eric Karl Oermann, Kyunghyun Cho

该研究提出多任务上下文学习框架用于分层贝叶斯预测推理，将先验信息表示为上下文数据集的前缀。使用Transformer在序列先验和目标任务上训练，学会跨先验家族调整预测。在包含元分布外先验和高维潜在结构的评估中，该方法匹配oracle贝叶斯预测器，速度提升数个数量级。在真实世界时空温度预测基准上验证了实际效果。

论文贝叶斯推理上下文学习多任务学习 Transformer

推荐理由：这篇论文提出多任务贝叶斯ICL框架，速度比传统方法快几个数量级，还能适应新先验，在温度预测上表现很好。

原文

6月16日

20:46

AITOP6月16日 20:46

600亿美元买下Cursor，xAI终于拿到了编程工具，但真正值得跟踪的或许不是AI

6月12日

12:57

AITOP6月12日 12:57

Claude代码里藏了个20260612，18个月后的AI记忆革命已经开始倒计时

6月11日

15:28

AITOP6月11日 15:28

1107 vs 303：谷歌悄悄开源了一个“拆打字机”的模型，把大模型速度翻了4倍

15:23

AITOP6月11日 15:23

DiffusionGemma颠覆文本生成？自回归模型的“统治”要结束了

15:07

AITOP6月11日 15:07

每秒1107个token，Google开源的扩散模型为什么能改变本地推理格局？

6月10日

12:36

arXiv cs.AI@Xuan Han, Yihao Zhao, Mingyu You

精选

Pose-ICL 是一种无需微调的框架，通过3D感知的上下文学习（ICL）实现姿态可控的主体定制。其核心机制 Surface-Anchored Position Embedding (SAPE) 将图像标记锚定到体积边界框的表面坐标，赋予模型显式的3D感知能力。该方法解决了现有2D模型在主体定制中姿态不准确和跨姿态外观不一致的问题。实验表明，Pose-ICL 在3D资产和真实主体上均显著优于现有方法，在姿态准确性和身份一致性上表现突出。该框架与现有DiT模型兼容，可直接应用。

论文主体定制 3D感知上下文学习姿态控制 DiT

推荐理由：做图像生成和主体定制的团队终于有了一个能精准控制姿态的方案——Pose-ICL 用3D感知解决了2D模型的老大难问题，做定制化生成的开发者可以直接试试。

原文

6月9日

11:39

arXiv cs.LG@Tuan A. Vu, Harri Lähdesmäki, Julien Martinelli

精选

潜空间贝叶斯优化（LSBO）用于分子和蛋白质等结构化对象的设计，但现有上下文学习模型（如TabPFN）在LSBO中存在任务不匹配问题：它们预训练于标准回归任务，而LSBO中潜码到目标值的映射差异显著。研究者提出通过分子VAE的潜空间合成优化任务对表格基础模型进行持续预训练，并加入正则化项保持原始回归先验。在分子优化基准上，该模型表现强劲，验证了LSBO特定适配对上下文代理的重要性。这项工作为AI驱动的分子设计提供了更高效的优化方法。

论文贝叶斯优化潜空间优化分子设计上下文学习 TabPFN

推荐理由：做分子设计或材料优化的团队终于有了适配LSBO的上下文学习代理——它解决了预训练任务与潜空间优化不匹配的痛点，直接提升分子优化效率，建议做AI制药或计算化学的开发者试试。

原文

6月8日

09:38

arXiv cs.AI@Sercan Karakaş, Yusuf Şimşek

该研究针对土耳其语中具有歧义的轻动词结构（LVC）进行分类，区分其字面义与习语义。研究者对比了监督学习模型（BERTurk）与三种指令微调大语言模型（LLM）在零样本、单样本和少样本提示下的表现。结果显示，零样本下LLM对LVC召回率低，单样本提示虽提升检测但引入模型特定偏差，而少样本提示能改善校准。最终，监督基线仍具竞争力，但精心设计的示例可使LLM在LVC分类上达到或超越监督模型。

论文多词表达土耳其语上下文学习提示敏感性分类任务

推荐理由：这项研究揭示了提示设计对多词表达分类的关键影响，做自然语言处理尤其是低资源语言语义分析的团队值得关注，直接参考其示例构建策略可提升模型效果。

原文

6月7日

03:17

elvis@omarsar0

精选

Continual Learning Bench 是一个新的基准测试，用于评估智能体是否真正从经验中学习。研究发现，在六个专家验证的领域内，简单的上下文学习（ICL）表现优于专门为记忆管理设计的系统。该基准引入了一个增益指标来隔离真正的学习效果，结果显示智能体经常过度拟合即时观察或未能跨实例复用知识。这表明许多记忆架构实际上增加了开销而非学习能力。

论文持续学习基准测试记忆系统上下文学习智能体

推荐理由：如果你在构建或研究持续学习智能体，这个基准测试直接挑战了当前记忆系统的有效性——简单ICL反而更好，值得所有AI研究者点开看看。

原文

6月5日

12:02

arXiv cs.AI@Alexander Möllers, Marvin Sextro, Julius Hense, Gabriel Dernbach, Klaus-Robert Müller

精选

多实例学习（MIL）处理的是包级别监督的问题，在计算病理学、卫星图像等领域有广泛应用。但现有算法在低标签数据场景下表现不佳，灵活模型容易过拟合，刚性模型难以适应新任务。本文提出一种基于Perceiver架构的上下文学习器，在合成数据上预训练后，仅需少量标注包即可解决新任务，推理时单次前向传播完成，无需梯度更新。研究设计了多种合成数据生成器，它们捕获互补的归纳偏置，混合预训练模型在12个MIL基准上平均性能最优，超越需要任务特定训练的监督基线。

论文多实例学习上下文学习 Perceiver架构弱监督学习合成数据

推荐理由：做弱监督学习或医疗图像分析的团队，终于有了一个无需微调就能从少量标注包中学习的方案——单次前向传播搞定，值得直接试试。

原文

6月4日

11:29

arXiv cs.LG@Yaseen M. Osman, Geoff V. Merrett, Stuart E. Middleton

精选

该论文系统检验了基于MLP激活值的深度主动学习方法在LLM上下文学习（ICL）样本选择中的有效性。研究者使用Llama-3.2-3B和Qwen2.5-3B模型，在分类和生成任务上测试了多种注意力掩码策略，发现MLP输出的激活值（包括大规模激活和前四阶矩）与样本质量或任务性能的Spearman相关系数最高仅0.33，表明该方法不可靠。论文推测失败原因可能是“叠加”现象（模型表示的特征数超过维度数），并指出稀疏自编码器（SAE）可能是未来方向。这是目前最全面的MLP激活值主动学习在ICL中的分析，但结论为负。

论文上下文学习主动学习 MLP激活值 Llama-3.2-3B Qwen2.5-3B

推荐理由：如果你在做ICL样本选择或主动学习，这篇论文用实验告诉你MLP激活值这条路走不通，省下试错时间。做LLM推理效率或特征分析的开发者，看完会理解为什么SAE可能是更好的方向。

原文

11:10

arXiv cs.LG@Sepehr Dehdashtian, Jacob H Seidman, Vishnu N Boddeti, Gaurav Bharaj

音频深度伪造检测（ADD）模型对防御恶意TTS至关重要，但现有数据集构建面临手动收集和盲点发现低效的挑战。FoeGlass是首个黑盒自动化红队测试方法，利用LLM的上下文学习能力探索TTS输入空间，仅需黑盒访问即可生成欺骗ADD的音频样本。通过基于多样性度量的上下文设计，FoeGlass缓解了模式崩溃问题，在多个开源ADD和TTS模型上使假阴性率比基线提升高达94%。生成的攻击可跨不同ADD迁移，且用FoeGlass样本微调ADD模型可提升鲁棒性达41%。

论文音频深度伪造红队测试上下文学习 LLM 安全/对抗

推荐理由：做音频安全或深度伪造检测的团队，终于有了一个无需手动标注就能自动发现模型盲点的工具——FoeGlass用LLM上下文学习就搞定了，建议直接跑一下开源代码看看效果。

原文

11:08

arXiv cs.LG@Minh An Pham, Anton Segeler, Thomas Wiegand, Wojciech Samek, Sebastian Lapuschkin, Patrick Kahardipraja, Reduan Achtibat

函数向量（FVs）是在上下文学习中提取的任务表示，可用于引导大型语言模型（LLMs）。本研究探讨了不同FV定义对指令的影响，主要关注注意力头选择和引导两个自由度。在头选择上，使用基于梯度的归因方法（如层相关性传播LRP）显著提高了效率和准确性。在FV引导方面，分布式应用比简单聚合获得了更高的准确性。代码已公开。

论文函数向量上下文学习 LLM引导注意力头选择层相关性传播

推荐理由：这项研究为LLM任务表示提供了更高效、更准确的方法，做模型微调或上下文学习的开发者可以直接参考其开源代码来优化自己的应用。

原文

6月2日

12:05

arXiv: DeepSeek@Yiming Liao, Zeno Franco, Jose Eduardo Lizarraga Mazaba, Keke Chen

医疗大语言模型在临床决策支持中常出现幻觉，带来严重风险。现有基准缺乏真实临床背景，且对缓解幻觉的指导有限。Med-HEAL框架基于EHRNoteQA基准和MIMIC-IV数据，构建了幻觉数据集，通过LLM-as-a-Judge和人工审核双重标注。研究测试了自我批评和检索增强上下文学习两种策略，在五个开源模型上，自我批评策略显著提升了其中三个模型的准确性。该框架提供了可复用的数据集和实用方法，有助于医疗AI的安全部署。

论文医疗LLM 幻觉缓解上下文学习 EHR 开源/仓库

推荐理由：医疗AI的幻觉问题直接关系到患者安全，Med-HEAL给出了可落地的缓解方案——做临床NLP或医疗AI部署的团队，可以直接用其公开数据集和代码来评估和优化自己的模型。

原文

5月29日

11:07

arXiv cs.AI@Zhenyu Sun, Zheng Xu, Ermin Wei

传统RLHF依赖静态奖励模型，但人类偏好多样且异构，单一模型难以泛化到未见领域。现有多奖励框架局限于固定领域，无法适应新偏好分布。本文提出In-Context Reward Adaptation，一种基于Transformer的框架，通过上下文学习从少量偏好演示中自适应推断奖励结构。研究发现标准Transformer存在渐近偏差，而引入人类响应时间作为辅助信号可成功适应未见领域偏好。该方法为偏好建模提供了更鲁棒的基础，支持异构奖励和偏好分布偏移，是实现灵活人机对齐的可扩展路径。

论文 RLHF 偏好建模上下文学习 Transformer 人机对齐

推荐理由：做RLHF对齐的团队终于有了处理偏好多样性的实用方案——无需重新训练就能适应新人群，做AI安全或个性化推荐的开发者值得关注。

原文

5月13日

21:35

21:35Anthropic: Transformer Circuits（资讯）

Transformer Circuits 团队发布了 2025 年 9 月的小更新，主要介绍了新功能和对上下文学习（in-context learning）机制的改进。更新包括对模型内部表示的可视化工具增强，以及更高效的上下文学习算法。这些改进有助于研究人员更好地理解 Transformer 模型的行为，并推动可解释性研究。该更新对于关注 AI 可解释性和模型内部机制的开发者与研究者具有参考价值。

论文 Transformer Circuits 上下文学习可解释性模型可视化研究更新

推荐理由：Transformer Circuits 的更新为理解模型内部机制提供了新工具，做可解释性研究或模型调试的开发者值得关注。

原文

19:12

arXiv cs.AI@Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana

精选

该研究提出大语言模型（LLM）的上下文学习可视为在低维几何空间（概念信念空间）中的轨迹更新。通过故事理解任务，结合行为与表征分析发现：信念更新在低维结构化流形上可被良好描述；模型行为与内部表征一致反映该结构，且可用简单线性探针解码预测行为；对表征的干预能因果性地引导信念轨迹，效果可从概念空间几何预测。该工作为 LLM 的贝叶斯解释提供了结构化几何基础。

论文上下文学习信念空间几何表征可解释性贝叶斯推理

推荐理由：这项研究把 LLM 上下文学习的黑箱过程可视化成了几何轨迹，做可解释性、推理机制或认知建模的研究者值得关注——它提供了干预模型信念的实操方法，看完会有启发。

原文

19:12

arXiv: DeepSeek@Pruthvinath Jeripity Venkata

精选70°

该研究提出一个三机制框架，解释大语言模型在处理训练知识与上下文文档冲突时的矛盾现象。先前研究结果不一：有的发现模型顽固保留训练答案，有的则发现模型几乎完全遵循上下文。研究者认为这是因为未区分三种不同的处理情境：机制1（单源更新，主导因素为证据连贯性）、机制2（竞争整合，主导因素为参数确定性）、机制3（任务适配选择，主导因素为任务知识需求）。通过 9970 次 API 调用，在 Claude Sonnet 4.6、GPT-5.5、Gemini 2.5 Flash、Llama 4 Maverick 和 DeepSeek V3 上验证了该框架，确认了机制2的确定性梯度，并发现任务框架能将上下文遵循率从近100%翻转至6-71%。

论文 LLM行为知识冲突上下文学习评测框架 Claude/GPT/Llama/DeepSeek

推荐理由：这个框架解决了 LLM 行为研究中一个长期矛盾的谜题——为什么有的实验说模型死记硬背，有的说模型灵活跟随。做 LLM 评测或 prompt 工程的人，看完能更精准地预测模型在知识冲突场景下的行为，建议直接读原文的机制划分部分。

原文

19:12

arXiv cs.AI@Rishabh Tiwari, Kusha Sareen, Lakshya A Agrawal, Joseph E. Gonzalez, Matei Zaharia, Kurt Keutzer, Inderjit S Dhillon, Rishabh Agarwal, Devvrit Khatri

精选70°

这篇论文提出了一种名为Fast-Slow Training（FST）的框架，将LLM的参数视为“慢权重”，优化后的上下文视为“快权重”。快权重通过文本反馈吸收任务特定信息，慢权重则保持基础模型的一般推理能力。实验表明，FST在推理任务上比仅用强化学习（慢学习）样本效率提升3倍，且性能上限更高。FST训练的模型与基础LLM的KL散度降低70%，显著减少灾难性遗忘，并保持可塑性——在连续学习场景中，FST能持续获取新任务，而参数仅更新的RL方法会停滞。

论文持续学习灾难性遗忘上下文学习强化学习 Fast-Slow Training

推荐理由：这篇论文解决了LLM在持续学习中灾难性遗忘和可塑性丧失的痛点，做模型微调、持续学习或Agent长期记忆的团队值得关注——FST框架让你不用在参数更新和上下文学习之间二选一，直接结合两者优势。

原文