精选理由
CO-LMLM用360M参数打平gpt-4o-mini，事实准确度比Claude还高，这是用更小模型做更好知识检索的路线。
CO-LMLM将知识库中的连续键与文本知识值配对，摆脱了传统关系型知识库的查询限制。在Wikipedia和FineWeb-Edu上预训练，360M参数模型困惑度低于使用40倍数据训练的LLM。SimpleQA验证显示其性能与gpt-4o-mini相当，且高于Claude Sonnet 4.5。该架构在多个规模下均优于先前LMLM和普通LLM。
AI 翻译 · 中文
CO-LMLM将知识库中的连续键与文本知识值配对，摆脱了传统关系型知识库的查询限制。在Wikipedia和FineWeb-Edu上预训练，360M参数模型困惑度低于使用40倍数据训练的LLM。SimpleQA验证显示其性能与gpt-4o-mini相当，且高于Claude Sonnet 4.5。该架构在多个规模下均优于先前LMLM和普通LLM。
Limited memory language models (LMLMs) externalize factual knowledge during pretraining to a knowledge base (KB), rather than memorizing it in their weights. During generation, the model then fetches knowledge from the K…