驱逐即估计：测试时记忆的固定滞后平滑框架

本文提出将语言模型有界工作记忆的驱逐问题重新定义为对隐藏信号的估计，引入固定滞后平滑（fixed-lag smoothing）视角，并实例化为无需训练的RMM策略，它是H2O的严格泛化。在控制实验中，RMM能比累积注意力更好地识别有用记忆，但在NVIDIA KVPress基准上，RMM与H2O性能相当，在多轮对话中甚至输给SnapKV和H2O。原因在于自然文本中模型对大多数标记的预测正确，使得演示效用与累积注意力接近。本文贡献在于框架及对何时测量优于积累的诚实分析。