12:21
官方账号arXiv cs.AI@Maruthi Vemula, Neeraj Praneeth Gajula
推荐理由：这篇论文没吹牛，诚实地告诉你RMM在标准基准上跟H2O差不多，甚至不如SnapKV，但解释清楚了为什么，适合想搞内存优化的人看看。
RMM
共 1 条相关 AI 资讯
7月28日
12:21
本文提出将语言模型有界工作记忆的驱逐问题重新定义为对隐藏信号的估计，引入固定滞后平滑（fixed-lag smoothing）视角，并实例化为无需训练的RMM策略，它是H2O的严格泛化。在控制实验中，RMM能比累积注意力更好地识别有用记忆，但在NVIDIA KVPress基准上，RMM与H2O性能相当，在多轮对话中甚至输给SnapKV和H2O。原因在于自然文本中模型对大多数标记的预测正确，使得演示效用与累积注意力接近。本文贡献在于框架及对何时测量优于积累的诚实分析。