10:50
官方账号arXiv cs.LG@Asa Shepard
推荐理由：论文揭示了预计算内存的重建成本和更新策略，对优化大模型上下文处理有实用价值。
预计算内存
共 1 条相关 AI 资讯
9月1日
10:50
该论文研究了Llama-3.1-8B-Instruct模型中预计算内存的保存与修正问题。实验表明，预计算内存由单独准备的部分组装时会降低准确性，重建成本接近完整重新准备的很大比例。研究还发现，预计算内存会忽略基于措辞条件的修正信息。通过训练压缩的键值缓存热重建和特定措辞更新，可以在重建间隔期间保持内存更新。