滑动窗口 KV 缓存可传递窗口外信息：Qwen、Llama、Mistral 等五模型实验
研究者测了五个开源模型，发现 Mistral 7B 和 Muse Glimmer 能从已滑出窗口的缓存里找回信息，做长上下文推理的可以看看。
#滑动窗口注意力
共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「滑动窗口注意力」标签的资讯、产品与论文，按刊登时间排，新的在上。
9月29日
研究者测了五个开源模型，发现 Mistral 7B 和 Muse Glimmer 能从已滑出窗口的缓存里找回信息，做长上下文推理的可以看看。