09:36
官方账号arXiv cs.LG@Afiq Abdillah Effiezal Aswadi, Haotong Ma, Susan Wei
推荐理由：这篇论文提出了PMC方法，能直接看穿BFT模型内部认为的贝叶斯先验是什么，比传统对比法更靠谱。做可解释性研究的朋友可以试试。
BFT
共 1 条相关 AI 资讯
7月21日
09:36
贝叶斯滤波变压器（BFT）是一种在两阶段生成序列上训练的 Transformer：先由先验抽取潜在任务，再根据该任务生成观测。在理想极限下，BFT 的下一词预测等于贝叶斯后验预测分布（PPD），但实际训练仅逼近该分布。论文提出预测蒙特卡洛（PMC）方法作为可解释性工具，仅利用下一词生成即可近似 BFT 内部隐含的先验和后验分布。PMC 被应用于三个任务族（0-Markov 和 1-Markov 可交换性），揭示了此前在预测空间观察到的现象在隐空间中依然存在。