多任务贝叶斯In-Context学习

Multi-Task Bayesian In-Context Learning

精选理由

这篇论文提出多任务贝叶斯ICL框架,速度比传统方法快几个数量级,还能适应新先验,在温度预测上表现很好。

AI 摘要

该研究提出多任务上下文学习框架用于分层贝叶斯预测推理,将先验信息表示为上下文数据集的前缀。使用Transformer在序列先验和目标任务上训练,学会跨先验家族调整预测。在包含元分布外先验和高维潜在结构的评估中,该方法匹配oracle贝叶斯预测器,速度提升数个数量级。在真实世界时空温度预测基准上验证了实际效果。

AI 翻译 · 中文

该研究提出多任务上下文学习框架用于分层贝叶斯预测推理,将先验信息表示为上下文数据集的前缀。使用Transformer在序列先验和目标任务上训练,学会跨先验家族调整预测。在包含元分布外先验和高维潜在结构的评估中,该方法匹配oracle贝叶斯预测器,速度提升数个数量级。在真实世界时空温度预测基准上验证了实际效果。

arXiv cs.LGBayesian predictive inference provides a principled framework for uncertainty quantification, data efficiency, and robust generalization. However, exact inference is often intractable, and scalable approximations may rem