AITOP

归一化流

共 3 条相关 AI 资讯
8月12日
16:46
16:46官方账号arXiv cs.AI@Kiran Madhusudhanan, Christian Klötergens, Lars Schmidt-Thieme, Vijaya Krishna Yalavarthi
TORF框架将均值预测与不确定性估计解耦，第一阶段用预训练确定性模型生成准确均值，第二阶段用严格奇函数的受限归一化流学习残差分布，无需采样即可保证均值保持。实验表明TORF在短长期预测中同时达到最优确定性精度（NMAE）和强密度估计性能（CRPS）。该方法解决了传统参数方法在联合NLL训练下点精度下降和生成模型采样成本高的问题。
论文TORF时间序列预测归一化流
推荐理由：时间序列预测想同时要准均值和好分布？TORF用两阶段把这两件事拆开做，不用采样就能保住均值，短长期都跑赢了现有方法。
原文
8月6日
09:27
6月5日
13:07
13:07官方账号arXiv cs.LG@Guancheng Tu, Xiangjun Fu, Suhao Yu, Yao Tang, Haoqiang Kang, Lianhui Qin, Yizhe Zhang, Jiatao Gu
精选
大型语言模型通过显式思维链（CoT）提升推理能力，但文本CoT强制中间计算通过离散、串行的令牌流进行，效率低下。潜在推理通过在紧凑连续状态中进行中间计算，提供了更高带宽的替代方案。然而，现有潜在推理方法牺牲了CoT的关键优势，如从左到右生成、概率采样、KV缓存兼容性和可处理似然估计。本文提出NF-CoT框架，通过在LLM骨干网络内实例化TARFlow风格的归一化流，对从显式CoT中提取的紧凑连续思维进行可处理概率建模。NF-CoT在代码生成基准测试中，相比显式CoT和先前潜在推理基线，提高了通过率，同时大幅降低了中间推理成本。
论文潜在推理归一化流思维链
推荐理由：NF-CoT解决了潜在推理中丢失CoT关键优势的痛点，做LLM推理优化和代码生成的开发者可以直接参考其方法，提升效率。
原文