AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：有界记忆×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月29日
11:06
11:06arXiv cs.AI@Jon Kleinberg, Anay Mehrotra, Amin Saberi, Grigoris Velegkas
这篇论文研究了在有限记忆条件下语言生成的理论极限。传统研究假设学习者能访问全部历史数据，但现实算法只能保留有限信息。作者首先证明了在温和的枚举限制下，即使没有记忆，任何可数无限语言集合仍可生成；否则，他们精确刻画了无记忆生成可行的条件。对于有限集合，他们利用Sperner定理和对称链分解给出了无记忆生成器能达到的最优极小极大密度。进一步发现，滑动窗口（最近W个样本）不改善最坏情况密度，而自适应存储b个历史样本则能提升密度。最后，他们重新审视了极限识别问题，证明在仅记忆上一次猜测的增量变体中，精确识别对三个语言集合即失败，但放宽到“近似”版本后，对任何有限集合都可行。
论文语言生成有界记忆学习理论极限识别Sperner定理
推荐理由：这篇论文为有界记忆下的语言生成建立了理论基础，对设计内存受限的AI生成系统（如边缘设备上的语言模型）有直接指导意义。做理论或系统优化的开发者值得关注其中的密度与识别界限。
原文