10:15
官方账号arXiv cs.LG@Anna Kuzina, Paul N. Whatmough, Babak Ehteshami Bejnordi
72°
推荐理由：这篇论文搞清楚了Transformer线性化为什么delta式更厉害，还给出了具体修补方案，在LLaMA和Qwen上跑到了32B，MMLU成绩比之前的后验方法好。
MMLU
共 3 条相关 AI 资讯
7月9日
10:15
论文揭示了因果自注意力二次复杂度对长上下文推理的瓶颈，在冻结骨干网络下隔离了状态更新设计的效果。研究表明Softmax依赖key相关的秩1正交投影，解释了为何delta式网络优于纯门控累积。作者通过引入sink token、短卷积和固定预算缓存路由等结构干预，减少了近似误差。在LLaMA和Qwen模型上扩展至32B参数，MMLU基准超越了先前后验线性化方法，长上下文检索匹配复杂自适应缓存框架。
7月2日
20:13
20:13
量子位@闻乐
72°
推荐理由：有个模型不用英伟达显卡就做到了万亿参数，性能还比Llama强，成本更低，开源可商用，搞大模型的可以试试。
5月13日
12:33
12:33官方一手Claude: Blog（资讯）
精选
推荐理由：推理编程都碾压，性价比高