#贝叶斯深度学习

共 2 条 · 7 天 1 条 · 30 天 1 条

DP-Adam 1 DP-SGD 1 IVON 1 Laplace近似 1 μP 1 不确定性量化 1 差分隐私 1

信息流里打上「贝叶斯深度学习」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月9日

σTransfer：基于 μP 的先验精度零样本迁移方法

这篇论文挺实用的：想给大模型做 Laplace 近似的话，小模型上调好精度直接搬到大模型，7B 模型最高能省 330 倍搜索量。

#μP #Laplace近似 #不确定性量化 #贝叶斯深度学习

arXiv cs.LG@Richard Bergna 等 5 人原文

7月28日

DP-IVON-Gradsq：差分隐私的平方梯度改进变分在线牛顿法

想在不牺牲太多性能的前提下给贝叶斯神经网络加差分隐私？这篇论文的DP-IVON-Gradsq方法在CIFAR-10上中低隐私保护时表现不错，兼容Adam效率，值得一看。

#IVON #DP-SGD #DP-Adam #差分隐私

arXiv cs.LG@Nour Jamoussi 等 4 人原文