6月26日
09:50
09:50官方账号arXiv cs.AI@Hanli Xu, Fengxiang He, Sarat Moka
该论文引入质量指数(Mass Index)记录贝叶斯推断中局部质量的幂和对数衰减尺度,并提出正则化扩展KL散度(RE-KL)以处理奇异成分。作者证明在KL散度的两个方向下,局部小球质量的绝对、相对和方向性不等式。实验提供了受控的局部行为示意图。代码已开源。
推荐理由:这篇论文从局部质量角度拆解贝叶斯推理,用Mass Index和RE-KL两个新工具分析了KL散度忽略的局部行为,做变分推断的朋友可以看看。
5月13日
19:12
19:12官方账号arXiv cs.AI@Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana
精选
该研究提出大语言模型(LLM)的上下文学习可视为在低维几何空间(概念信念空间)中的轨迹更新。通过故事理解任务,结合行为与表征分析发现:信念更新在低维结构化流形上可被良好描述;模型行为与内部表征一致反映该结构,且可用简单线性探针解码预测行为;对表征的干预能因果性地引导信念轨迹,效果可从概念空间几何预测。该工作为 LLM 的贝叶斯解释提供了结构化几何基础。
推荐理由:这项研究把 LLM 上下文学习的黑箱过程可视化成了几何轨迹,做可解释性、推理机制或认知建模的研究者值得关注——它提供了干预模型信念的实操方法,看完会有启发。