09:50arXiv cs.AI@Hanli Xu, Fengxiang He, Sarat Moka该论文引入质量指数(Mass Index)记录贝叶斯推断中局部质量的幂和对数衰减尺度,并提出正则化扩展KL散度(RE-KL)以处理奇异成分。作者证明在KL散度的两个方向下,局部小球质量的绝对、相对和方向性不等式。实验提供了受控的局部行为示意图。代码已开源。论文Mass IndexRE-KL贝叶斯推理KL散度局部质量推荐理由:这篇论文从局部质量角度拆解贝叶斯推理,用Mass Index和RE-KL两个新工具分析了KL散度忽略的局部行为,做变分推断的朋友可以看看。原文
11:43arXiv cs.LG@Qingyang Zhu, Eric Karl Oermann, Kyunghyun Cho该研究提出多任务上下文学习框架用于分层贝叶斯预测推理,将先验信息表示为上下文数据集的前缀。使用Transformer在序列先验和目标任务上训练,学会跨先验家族调整预测。在包含元分布外先验和高维潜在结构的评估中,该方法匹配oracle贝叶斯预测器,速度提升数个数量级。在真实世界时空温度预测基准上验证了实际效果。论文贝叶斯推理上下文学习多任务学习Transformer推荐理由:这篇论文提出多任务贝叶斯ICL框架,速度比传统方法快几个数量级,还能适应新先验,在温度预测上表现很好。原文
19:12arXiv cs.AI@Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana精选该研究提出大语言模型(LLM)的上下文学习可视为在低维几何空间(概念信念空间)中的轨迹更新。通过故事理解任务,结合行为与表征分析发现:信念更新在低维结构化流形上可被良好描述;模型行为与内部表征一致反映该结构,且可用简单线性探针解码预测行为;对表征的干预能因果性地引导信念轨迹,效果可从概念空间几何预测。该工作为 LLM 的贝叶斯解释提供了结构化几何基础。论文上下文学习信念空间几何表征可解释性贝叶斯推理推荐理由:这项研究把 LLM 上下文学习的黑箱过程可视化成了几何轨迹,做可解释性、推理机制或认知建模的研究者值得关注——它提供了干预模型信念的实操方法,看完会有启发。原文