#theoretical analysis

17 stories · 2 in 7 days · 4 in 30 days

arXiv 2 Consistency models 1 ReLU networks 1 Scaling Law 1 SE(3) 1 convolutional neural networks 1 diffusion models 1 reasoning models 1

Stories, products and papers tagged "theoretical analysis", newest first.

Nov 13

Papers11:58

Chinese content研究证明单步流生成模型可绕过维度灾难

做生成模型理论研究的人可以看看这篇。它回答了 Consistency models 这类单步生成器为什么有效：在低维曲面加高斯噪声的数据假设下，误差界不随维度爆炸。这是首个绕开维度灾难的单步生成器理论分析。

#Consistency models #diffusion models #theoretical analysis

arXiv cs.LG@Konstantin YakovlevSource

Nov 11

Papers11:41

Chinese content浅层 ReLU^k 网络逼近速率的几何依赖性与稳定性分析

这篇论文把浅层 ReLU^k 网络的逼近误差和参数几何量 h 与分离距离 h̲ 直接挂上钩，还给出 Gram 矩阵谱和系数稳定性的估计。做理论或想搞懂为什么收敛速率能反映目标函数正则性的人可以看看，比单纯跑实验的逼近论文扎实。

#ReLU networks #theoretical analysis #arXiv

arXiv cs.LG@Yuqing Liu et al. (3)Source

Oct 22

Papers10:48

Chinese content局部性与权重共享如何影响卷积神经网络学习

这篇论文用理论推导拆解了卷积网络两大核心假设：c=0 时权重共享只带来 P 倍加速，c>0 时局部连接反而可能更好，结论挺反直觉。

#convolutional neural networks #theoretical analysis #sample complexity

arXiv cs.LG@Francesco Mori, Melanie WeberSource

Oct 21

Papers09:46

Chinese contentScaling Law 的理论基础：一份三步推导的技术笔记

想搞懂 Scaling Law 为什么长那样的人看这篇：它把损失下降拆成几何、谱、优化三步推导，emergence 和 grokking 也讲清楚了。

#Scaling Law #SE(3)#arXiv #theoretical analysis

arXiv cs.LG@Tianyu Zhao, Zhixiang RenSource

Jul 14

Papers12:20

Chinese contentTransformer在归纳推理任务中的不变学习动力学

这篇论文用数学方法搞清楚了Transformer在归纳推理任务中怎么学习不同策略，还解释了in-context和in-weights学习谁赢跟数据统计有关，挺有启发性。

#Transformer #theoretical analysis

arXiv cs.LG@Tiberiu Musat et al. (4)Source

Papers12:00

Chinese content从表达性到样本复杂度：C-RASP为Transformer设计窄教师网络

这篇论文讲了Transformer的理论短板——表达性研究够了，但学不学得会还不知道。他们用C-RASP给出了样本复杂度的初步界限，对想深挖模型理论的人很有用。

#Transformer #C-RASP #sample complexity #theoretical analysis

arXiv cs.LG@Michael Rizvi-Martel et al. (4)Source

Jul 3

Papers09:08

Chinese content连续随机消耗在线资源分配：退化情况下的遗憾

这篇论文分析了连续随机消耗下在线资源分配的遗憾理论，给出了具体的下界和上界，还拿两个常见分布举例说明p值怎么算，挺实用。

#Regret #theoretical analysis

arXiv cs.LG@Jiawei ZhangSource

Jun 30

Papers15:10

Chinese content同质深度网络中持续学习的收敛性研究

这篇论文从理论上搞清楚了持续学习中同质深度网络的收敛性质，比之前只分析线性模型或单任务模型的结果更通用。

#Continual Learning #Homogeneous Deep Networks #Deep Networks #theoretical analysis

arXiv cs.LG@Matan Schliserman et al. (4)Source

Jun 25

Papers10:42

Chinese content合成数据增强何时改善基于分数的类别不平衡分类

这篇论文把合成数据增强对不平衡分类的效果掰开了讲：模型对的时候加数据没提升，模型错的时候加数据有救但别指望线性增益。

#AUROC #AUPRC #theoretical analysis

arXiv cs.LG@Zhengchi Ma et al. (3)Source

Jun 23

Papers13:28

Chinese content提示条件语言模型作为通用学习器的局限性

这篇论文用理论证明告诉你，为什么光靠提示词调教，LLM永远无法解决所有任务，别盲目相信'万能模型'的宣传。

#LLM #theoretical analysis

arXiv cs.LG@David Mguni et al. (3)Source

Jun 18

Papers10:40

Chinese content局部总体风险证书：一种风险可控的模型更新方法

这篇论文用置信带兜底，保证模型更新不会越改越差，适合需要稳妥迭代的场景。

#risk control #model updates #theoretical analysis

arXiv cs.LG@Mingzhi SongSource

Jun 15

Papers11:11

Chinese contentMuon在重尾非凸优化中的理论优势：最优样本复杂度

Muon为何能训练Transformer？

#Muon #Scion #optimization algorithms #theoretical analysis

arXiv cs.LG@Florian Hübler et al. (3)Source

Papers11:10

Chinese contentGraph Structured Combinatorial Semi-Bandit论文提出可分离信号非线性奖励关联策略

新策略搞定图结构非线性关联

#graph structure #theoretical analysis

arXiv cs.LG@Christoph Bauschmann, Setareh MaghsudiSource

Jun 10

PapersSelected09:32

Chinese contentRange Penalization：联邦学习中的理论突破与极值聚类新方法

联邦学习团队终于有了一个兼顾理论严谨和实际效率的正则化方案——极值聚类能显著提升模型压缩和通信效率，做分布式系统或资源受限场景的开发者可以直接参考实验设置。

#federated learning #regularization #theoretical analysis #optimization algorithms

arXiv cs.LG@Yiyuan She et al. (3)Source

Jun 2

Papers12:05

Chinese content稀疏自编码器理论新进展：最优性如何结构化稀疏字典

这篇论文为SAE的可解释性提供了理论根基，做可解释AI或模型控制的开发者可以直接参考其结论来设计更可靠的SAE变体。

#sparse autoencoders #interpretability #dictionary learning #theoretical analysis

arXiv cs.LG@William DorrellSource

PapersSelected11:18

Chinese content复杂度最小化理论证明元学习数据规模定律

这篇论文为预训练数据规模定律提供了首个理论证明，做元学习或预训练研究的学者值得关注，可以直接参考其复杂度正则化方法改进现有模型。

#meta-learning #pretraining #theoretical analysis

arXiv cs.LG@Kazuto Fukuchi et al. (3)Source

May 25

Papers10:01

Chinese content基于偏好反馈的核MDP学习：理论分析与遗憾界

偏好反馈是 RLHF 的核心，但理论分析一直稀缺。这篇论文把核 MDP 和偏好学习结合，给出了亚线性遗憾界，做理论强化学习或 RLHF 算法设计的研究者值得细读。

#reinforcement learning #RLHF #theoretical analysis

arXiv cs.LG@Nikola Pavlovic et al. (3)Source