斯坦福开源 Memorilla：16 个记忆 token 让冻结 LLM 具备文档记忆
Stanford Research Open-Sources Memorilla, a Latent Memory Module for Frozen LLMs
斯坦福这次开源的 Memorilla 思路很巧：不微调 Qwen3-8B，只塞 16 个压缩 token 就记下整个文档库，输入量比全上下文少 108 倍还在 FactKG 拿到 84.33%。做长文档问答或想省 token 成本的开发者可以拿代码直接试。
斯坦福研究人员发布开源记忆系统 Memorilla，将文档集合压缩为 16 个潜空间记忆 token，注入冻结的 Qwen3-8B 中，无需微调模型参数。在 FactKG 基准上取得 84.33% 的成绩，相比完整上下文输入减少了 108 倍的文档 token 用量。
技术机制上，Memorilla 属于潜空间记忆模块：它在模型之外训练一个压缩器，把整份文档集合的信息浓缩到 16 个连续向量（记忆 token）里，与查询一起送入冻结的 Qwen3-8B。由于基座模型参数完全不动，部署时只需维护这套轻量记忆模块，就能让同一个模型在不同文档集合间切换，省去每轮对话重复喂入长文档的开销。
对开发者而言，这类方法与 RAG 形成互补路线：RAG 每次检索都要处理数千 token 的原文，Memorilla 则把检索后的压缩成本降到 16 个 token。在长文档问答、知识库客服等 token 成本敏感的场景，108 倍的输入压缩意味着推理费用和延迟都显著下降。
Stanford Research Open-Sources Memorilla, a Latent Memory Module for Frozen LLMs
Stanford researchers released Memorilla, an open-source memory system that compresses a document collection into 16 memory tokens for a frozen Qwen3-8B. It reaches 84.33% on FactKG using 108x fewer document tokens than full context. The post Stanford Research Open-Sources Memorilla, a Latent Memory Module for Frozen LLMs appeared first on MarkTechPost .
This report is categorized under AITOP's "Models" desk, focusing on US frontier AI labs and Silicon Valley technology leaders. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows and US-China foundation model benchmarks and commercialization comparison. Key entities and technical topics under continuous tracking include Memorilla, Qwen3-8B, RAG, open-source models.
Primary source verification: published directly by marktechpost with first-party authority.
