10:15arXiv cs.LG@Shai Ben-David, Farnam Mansouri, Anay Mehrotra, Manolis Zampetakis精选揭示了仅从正样本进行二分类的proper可学习性的完整刻画:一个概念类可proper学习当且仅当其VC维有限且满足新引入的组合条件“均匀外部可分离性”。该研究证明proper与improper学习在此设定下可分离,随机与确定性proper学习间也存在分离。存在概念类无ERM可作为学习器,且有限VC维对非一致学习不足。这些结果通过新组合维度得到,丰富了学习理论。论文正样本学习PAC学习proper学习VC维均匀外部可分离性推荐理由:这篇论文搞清楚了只给正样本时proper学习到底能学啥,发现了VC维不够用,还新造了个叫“均匀外部可分离性”的条件,搞理论的人值得看。原文
12:12arXiv cs.LG@Chenxiao Yang, Nathan Srebro, Zhiyuan Li精选该论文严格刻画了深度L、总参数W的Transformer的VC维,上界为O(L W log(T W)),下界为Ω(L W log(T W / L)),其中T为输入序列长度。进一步,论文给出了思维链学习(chain-of-thought)的样本复杂度紧界:教师强制(teacher forcing)方法需要O(L W log((T+T')W))个样本,而任何利用思维链数据的学习规则至少需要Ω(L W log((T+T')W / L))个样本,T'为自回归步数。这些结果首次为Transformer的泛化能力提供了理论保证,对理解大模型的数据效率有重要意义。论文TransformerVC维样本复杂度思维链泛化理论推荐理由:理论研究者终于有了Transformer样本复杂度的紧界——VC维和思维链学习的下界都算清楚了,做深度学习理论的团队值得细读。原文
AITOP5月29日 08:02Opus 4.8发布:编程助手的“静默时刻”,是解放开发者,还是新门槛?🔥Anthropic 把 AI 编程的“确认键”彻底删掉了!Claude Code 搭载全新 Opus 4.8 模型,长时间任务不跑偏、不废话、不中断,像一个资深工程师一样默默干活,从功能开发到漏洞清扫全包圆,你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”,现在它直接交完整交付物……自主编程的最后一层窗户纸,被捅破了。做自动化开发和代码审查的团队,这个模型建议直接上手,效率差距肉眼可见……