10:17
官方账号arXiv cs.LG@Yair Feldman, Linxi Zhao, Nathan Godey, Dongyoung Go, Yilun Hua, Kilian Q. Weinberger, Jennifer J. Sun, Yoav Artzi
推荐理由：CO-LMLM用360M参数打平gpt-4o-mini，事实准确度比Claude还高，这是用更小模型做更好知识检索的路线。
LMLM
共 1 条相关 AI 资讯
7月9日
10:17
CO-LMLM将知识库中的连续键与文本知识值配对，摆脱了传统关系型知识库的查询限制。在Wikipedia和FineWeb-Edu上预训练，360M参数模型困惑度低于使用40倍数据训练的LLM。SimpleQA验证显示其性能与gpt-4o-mini相当，且高于Claude Sonnet 4.5。该架构在多个规模下均优于先前LMLM和普通LLM。