精选理由
这篇论文为需要可靠不确定性估计的连续时间序列建模场景提供了新思路，做概率机器学习或自动驾驶感知的团队可以关注其神经元级可解释性带来的调试优势。
论文提出了一种名为 Neuronal Stochastic Attention Circuit (NSAC) 的新型连续时间注意力架构，受线虫神经回路启发，将注意力 logit 计算建模为 Ornstein-Uhlenbeck 随机微分方程的解。该方法通过引入高斯分布到 logits，并利用 logistic-normal 分布传播随机性，实现了对注意力权重的概率化输出。NSAC 结合了高斯负对数似然和认知分离正则化器，能够联合量化偶然不确定性和认知不确定性。实验表明，NSAC 在连续时间函数逼近、多变量回归、长程预测、工业4.0和自动驾驶车道保持等任务中，在保持准确性的同时，提供了校准良好的不确定性估计，并具有神经元级别的可解释性。
AI 翻译 · 中文
论文提出了一种名为 Neuronal Stochastic Attention Circuit (NSAC) 的新型连续时间注意力架构，受线虫神经回路启发，将注意力 logit 计算建模为 Ornstein-Uhlenbeck 随机微分方程的解。该方法通过引入高斯分布到 logits，并利用 logistic-normal 分布传播随机性，实现了对注意力权重的概率化输出。NSAC 结合了高斯负对数似然和认知分离正则化器，能够联合量化偶然不确定性和认知不确定性。实验表明，NSAC 在连续时间函数逼近、多变量回归、长程预测、工业4.0和自动驾驶车道保持等任务中，在保持准确性的同时，提供了校准良好的不确定性估计，并具有神经元级别的可解释性。
Reliable quantification of uncertainty estimates in continuous-time (CT) representation learning remains nascent, particularly within CT attention architectures. We introduce the Neuronal Stochastic Attention Circuit (NS…