AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：VC维×
6月29日
10:15
10:15arXiv cs.LG@Shai Ben-David, Farnam Mansouri, Anay Mehrotra, Manolis Zampetakis
精选
揭示了仅从正样本进行二分类的proper可学习性的完整刻画：一个概念类可proper学习当且仅当其VC维有限且满足新引入的组合条件“均匀外部可分离性”。该研究证明proper与improper学习在此设定下可分离，随机与确定性proper学习间也存在分离。存在概念类无ERM可作为学习器，且有限VC维对非一致学习不足。这些结果通过新组合维度得到，丰富了学习理论。
论文正样本学习PAC学习proper学习VC维均匀外部可分离性
推荐理由：这篇论文搞清楚了只给正样本时proper学习到底能学啥，发现了VC维不够用，还新造了个叫“均匀外部可分离性”的条件，搞理论的人值得看。
原文
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月9日
12:12
12:12arXiv cs.LG@Chenxiao Yang, Nathan Srebro, Zhiyuan Li
精选
该论文严格刻画了深度L、总参数W的Transformer的VC维，上界为O(L W log(T W))，下界为Ω(L W log(T W / L))，其中T为输入序列长度。进一步，论文给出了思维链学习（chain-of-thought）的样本复杂度紧界：教师强制（teacher forcing）方法需要O(L W log((T+T')W))个样本，而任何利用思维链数据的学习规则至少需要Ω(L W log((T+T')W / L))个样本，T'为自回归步数。这些结果首次为Transformer的泛化能力提供了理论保证，对理解大模型的数据效率有重要意义。
论文TransformerVC维样本复杂度思维链泛化理论
推荐理由：理论研究者终于有了Transformer样本复杂度的紧界——VC维和思维链学习的下界都算清楚了，做深度学习理论的团队值得细读。
原文