09:12
官方一手arXiv: DeepSeek@Alexander Tian, Aditya Ghai, Sanjit Neelam, Zaal Vasania, Akshay Mishra
精选
推荐理由：COBS在NSA基础上加了个二阶统计量，长上下文检索分数从0.3拉到0.82，接近稠密注意力但省了十几倍带宽，很实用。
COBS
共 1 条相关 AI 资讯
7月13日
09:12
COBS通过引入压缩的二阶统计量改进了DeepSeek Native Sparse Attention（NSA）的块选择策略。在32k RULER长上下文检索基准上，COBS将平均分从NSA基线的0.2999提升至0.8195，接近稠密注意力的0.9040，缩小了约86%的差距。其KV缓存读取流量仅为稠密注意力的1/15.15，比NSA基线高1.21倍。模型保持短上下文行为，并在位置负对数似然上低于稠密注意力。